Benchmarks de Mycelora
Version : 1.0
Mise à jour : 6 novembre 2026
Sur BEAM, le test de mémoire conversationnelle le plus exigeant publié à ce jour, Mycelora obtient 75,6 % sur des historiques de 100 000 jetons et 66,1 % sur un million. Parmi les systèmes dont le protocole est publié et ne donne au modèle aucun élément du corrigé, c'est la meilleure note publiée aux deux tailles.
BEAM : note par taille d'historique
| Système | 100K | 1M | Modèle qui répond | Juge | Questions |
|---|---|---|---|---|---|
| Mycelora | 75,6 % | 66,1 % | Claude Opus 5.5 | gpt-5, consigne de Mem0 | 340 par taille (17 conversations) |
| Mem0 | non publié | 64,1 % | non précisé | gpt-5 par défaut dans son banc, consigne de Mem0 | non précisé |
| Honcho | 63,0 % | 61,8 % | non précisé pour BEAM | non nommé, présenté comme celui de l'article | 400 au 100K (20 conversations) |
Ces trois systèmes notent la réponse d'un modèle qui ne reçoit que la question et ce que la mémoire lui sert. Les juges diffèrent en partie : l'écart avec Honcho est à lire comme un ordre de grandeur. Avec Mem0, juge et consigne de notation sont les mêmes.
Part des questions notées 0,5 ou plus : 85,0 % au 100K, 73,2 % au 1M (Mem0 annonce 70,1 % au 1M sur la même mesure).
La note 1M de Mycelora porte sur la version du 27 octobre 2026, antérieure aux améliorations du 5 novembre 2026 ; elle sera remesurée.
BEAM 100K : note par capacité
| Capacité | Mycelora (n = 34) | Honcho |
|---|---|---|
| Repérer les contradictions | 90,4 % | 70,6 % |
| Suivre les consignes | 90,4 % | 84,4 % |
| Suivre les préférences | 87,5 % | 85,6 % |
| Retrouver une information | 83,6 % | 78,4 % |
| Raisonner dans le temps | 80,9 % | 64,4 % |
| Relier plusieurs séances | 69,2 % | 63,1 % |
| Suivre les mises à jour | 68,4 % | 46,3 % |
| Dire « je ne sais pas » | 67,6 % | 36,3 % |
| Remettre des événements dans l'ordre | 63,3 % | 52,3 % |
| Résumer | 54,4 % | 49,0 % |
| Note globale | 75,6 % | 63,0 % |
BEAM 1M : note par capacité
| Capacité | Mycelora (n = 34) | Mem0 |
|---|---|---|
| Suivre les consignes | 86,8 % | 85,2 % |
| Suivre les préférences | 80,4 % | 88,3 % |
| Suivre les mises à jour | 73,5 % | 65,0 % |
| Repérer les contradictions | 66,9 % | 35,7 % |
| Raisonner dans le temps | 66,9 % | 61,8 % |
| Dire « je ne sais pas » | 66,2 % | 52,5 % |
| Retrouver une information | 63,2 % | 70,0 % |
| Relier plusieurs séances | 55,3 % | 65,2 % |
| Remettre des événements dans l'ordre | 53,3 % | 53,6 % |
| Résumer | 48,6 % | 63,5 % |
| Note globale | 66,1 % | 64,1 % |
Méthode de Mycelora
| Élément | Choix |
|---|---|
| Jeu de test | BEAM (ICLR 2026), code et données officiels, tailles 100K et 1M |
| Conversations notées | 100K : 17 sur 20 ; les conversations 1, 5 et 14 ont servi aux réglages et sont exclues de la note. 1M : 17 conversations passées avec les mêmes réglages |
| Mémoire testée | Mycelora en production, telle qu'un utilisateur la vit, sans réglage propre au test |
| Chemin testé | Chaque séance est close comme un vrai fil de travail ; à chaque question, le modèle reçoit le bloc d'ouverture de Mycelora puis son rappel |
| Ce que reçoit le modèle qui répond | La question et ce que Mycelora lui sert, dans la consigne de réponse officielle de BEAM (answer_generation_for_rag) reprise telle quelle ; rien d'autre : ni le type de question, ni aucune annotation du jeu de test |
| Modèle qui répond | Claude Opus 5.5, sans outil |
| Juge | gpt-5 avec la consigne de notation de Mem0 ; jamais le modèle qui répond, car un modèle ne note pas ses propres réponses |
| Calcul | Critères notés 0, ½ ou 1 ; moyenne par capacité, puis moyenne des dix capacités |
| Passage | Un passage, mémoire vidée avant chaque conversation |
Pourquoi ce juge. Sur 23 critères vérifiés à la main, gpt-5 avec la consigne de Mem0 est d'accord avec la vérité dans 98 % des cas ; le juge de l'article BEAM (gpt-4.1-mini) dans 57 à 67 %, et il change d'avis d'un passage à l'autre.
Points faibles connus
- Résumer et remettre dans l'ordre sont nos capacités les plus faibles. La matière est en grande partie servie au modèle mais pas entièrement utilisée dans la réponse.
- Dire « je ne sais pas » : un choix produit. Quand l'information demandée n'existe pas, Mycelora fait répondre que rien n'est noté sur ce point, puis donne ce qui s'en approche. BEAM compte cet ajout comme une faute ; pour un utilisateur réel, il est le plus souvent utile. Nous le gardons.
Limites
- Bruit. Deux passages identiques diffèrent de 1 à 5 points sur la note globale, davantage par capacité.
- Un passage par note, sur 17 conversations par taille.
- Conversations en anglais, sur les thèmes générés par BEAM.
- Un modèle donné : la note mesure Mycelora avec Claude Opus 5.5.
Autres résultats publiés, non retenus dans la comparaison
Ces résultats sont obtenus avec un protocole qui donne au modèle qui répond des éléments du corrigé, ou qui n'est pas assez documenté pour être comparé. Ils sont rapportés tels que publiés.
| Système | Chiffre publié | Pourquoi il n'est pas comparé |
|---|---|---|
| past.dev | 100K : 92,1 % ; 1M : 90,7 % | Consigne de réponse d'Exabase, reprise telle quelle et décrite dans son propre dépôt : selon le type de question, le modèle reçoit les sujets à ordonner, les points que le résumé doit couvrir, la préférence ou la consigne testée, la raison pour laquelle une question est sans réponse, les dates clés et un indice de calcul. Le même modèle répond et juge |
| Exabase M-1 | 100K : 76,9 % | Même consigne de réponse que ci-dessus ; le même modèle répond et juge |
| Hindsight | 100K : 73,4 % ; 1M : 73,9 % | Banc AMB, édité par la société d'Hindsight ; la version qui a produit le chiffre 100K donnait au modèle des éléments du corrigé, retirés le 9 octobre 2026 |
| Cognee | 100K : 79 % | Une seule conversation passée de bout en bout ; juge et modèle qui répond non publiés |
Reproduire
Réponses brutes, critères notés par le juge avec sa raison, consigne de réponse, pour le 100K et le 1M : github.com/EvidencAI/mycelora-benchmarks, sous licence CC BY-SA 4.0, celle du jeu BEAM.
Sources
- BEAM : Tavakoli et al., ICLR 2026, arXiv 2510.27246.
- Mem0 : docs.mem0.ai ; banc mem0ai/memory-benchmarks.
- Honcho : honcho.dev/evals ; résultats plastic-labs/honcho-benchmarks.
- past.dev : past.dev/benchmarks ; pastdotdev/benchmarks.
- Exabase : exabase.io.
- Hindsight : hindsight.vectorize.io ; vectorize-io/agent-memory-benchmark.
- Cognee : cognee.ai.