Quand l'IA croit encore ce qui n'est plus vrai
Stéphane Commenge, avec Claude ·
Le Fait
Une étude de l'université de Californie à Berkeley montre que, sur des journaux de 2 048 opérations, deux des modèles les plus avancés répondent juste à 9 et à 18 questions d'état courant sur 40. Avec un instantané de l'état courant sous les yeux, ils répondent juste aux 40.
Le Signal
Le modèle ne manque pas de mémoire, il manque de calendrier. Quand deux phrases se contredisent, il ne sait pas, de lui-même, que la seconde annule la première.
Une mémoire utile ne garde pas seulement ce qu'on lui dit. Elle sait ce qui a été remplacé.
L'Action
Quand vous changez d'avis dans une conversation avec votre IA, dites-le en clair : « ceci remplace ce que je t'ai dit le 12 ».
Pour un projet qui dure, tenez une courte fiche « état actuel » et recollez-la en début de conversation.
Série « La mémoire des IA », épisode 4. Épisode précédent : avoir tout sous les yeux n'est pas savoir ce qui compte.
Le 12 octobre, j'ai décidé de publier un article de blog par mois. Le 29 octobre, j'ai changé d'avis.
Mon carnet ne s'en offusque pas : la première ligne est barrée. Dans la mémoire d'une IA, les deux phrases dorment côte à côte, et disent le contraire. Laquelle va-t-elle croire ?
Trois équipes de chercheurs ont posé la question cette année. Leurs résultats vont dans le même sens.
Berkeley : l'ancienne valeur l'emporte
Fin septembre, une équipe de l'université de Californie à Berkeley a publié « When Context Changes: Understanding Update Failures in LLMs ». Le principe : au fil d'une longue conversation, des informations évoluent. Puis on demande au modèle où on en est.
Les chiffres qui parlent ne sont pas dans le résumé. Ils sont en section 2.
Une erreur, une cause. Sur Qwen2.5-7B, 331 erreurs sur 333 renvoient l'ancienne valeur. Le modèle ne divague pas. Il répond avec ce qui était vrai avant. La nouvelle valeur était pourtant dans la conversation.
Les meilleurs aussi. Sur des journaux de 2 048 opérations, deux des modèles les plus avancés du moment répondent juste à 9 et à 18 questions d'état courant sur 40. Plus d'une erreur sur deux, dans les deux cas.
La parade. Avec un instantané de l'état courant sous les yeux, les deux mêmes modèles répondent juste aux 40 questions. Quarante sur quarante.
Le modèle ne manque pas de mémoire. Il manque de calendrier.
UIUC : la dérive d'état
En août, une équipe de l'université de l'Illinois à Urbana-Champaign a construit StateMemBench, un banc d'essai synthétique pour les mémoires d'agents : 234 scénarios, 322 questions, une situation qui évolue au fil du temps.
Le meilleur système de mémoire classique donne la réponse à jour dans 20,5 % des cas. En confiant tout l'historique à un long contexte, on descend à 14,9 %. Les auteurs nomment le défaut « state drift », la dérive d'état. La mémoire garde les faits. Elle perd le fil de ce qui vaut aujourd'hui.
STALE : savoir qu'un souvenir a expiré
En mai, le banc STALE a posé la question plus directement : un agent sait-il quand ses souvenirs ne valent plus ? 400 scénarios de conflit, 1 200 questions, des contextes jusqu'à 150 000 tokens (les morceaux de mots que lit le modèle). Le meilleur modèle testé atteint 55,2 % de précision globale. Un peu plus d'une fois sur deux.
Pourquoi l'instantané marche
Nous faisons pareil, remarquez. Qui n'a pas appelé un collègue à son ancien poste ? La différence : nous savons qu'une décision peut en remplacer une autre. Une IA lit deux phrases. Elle ne sait pas, d'elle-même, que la seconde annule la première.
L'instantané fait le tri avant la question. Au lieu de l'historique (« le 12, on décide A ; le 29, on décide B »), le modèle reçoit l'état : « aujourd'hui, B ». Il n'a plus rien à reconstituer.
Lire tous les avenants d'un contrat, ou lire le contrat consolidé. Une mémoire utile ne garde pas seulement ce qu'on lui dit. Elle sait ce qui a été remplacé.
Une astuce
Quand vous changez d'avis dans une conversation avec votre IA, dites-le en clair : « ceci remplace ce que je t'ai dit le 12 ». Pour un projet qui dure, tenez une courte fiche « état actuel » que vous recollez en début de conversation. L'instantané de Berkeley, fait à la main.
Retournons la question
Combien de vos décisions d'il y a trois mois tiennent encore ? Le fournisseur choisi au printemps, le tarif fixé avant l'été, la consigne donnée à l'équipe en juillet. Si votre IA les lit encore comme en vigueur, elle vous conseille avec un dossier d'hier.
Ce que je construis avec Mycelora
Chaque souvenir porte un type, une date et, si besoin, sa condition de péremption.
Un souvenir remplacé ou réfuté sort du rappel. L'historique reste consultable.
Depuis le 10 octobre 2026, à chaque nouveau souvenir, un modèle cherche dans le même projet celui qu'il rend faux et le marque remplacé. C'est réversible.
Si l'IA dit le contraire d'une décision en vigueur, une alerte arrive dans la conversation.
Ce tri, un modèle le fait, projet par projet. Il peut manquer un cas. D'où l'historique consultable et le remplacement réversible.
La bêta est ouverte : mycelora.ai
Prochain épisode
Deux IA, deux mémoires. Le prochain épisode parle d'une mémoire pour toutes vos IA.
Sources
- Guo, Fang, Gu, Spanos, Demmel, Lavaei (UC Berkeley), « When Context Changes: Understanding Update Failures in LLMs », arXiv, 30/09/2026 : arxiv.org/abs/2609.38866
- Fan, Liu, Yang, Ouyang, Han (UIUC), « Can Agent Memory Systems Track Evolving State? », arXiv, 20/08/2026 : arxiv.org/abs/2608.19652
- Chao, Bai, Sheng, Li, Sun, « STALE: Can LLM Agents Know When Their Memories Are No Longer Valid? », arXiv, 07/05/2026 : arxiv.org/abs/2605.06527