Comment le benchmark AGI Google évalue-t-il l’IA ?

Un benchmark AGI utile ne résume pas l’intelligence à une note. Il trace un profil cognitif par capacité, comparé à l’humain. C’est plus exigeant, mais aussi plus honnête pour repérer les vraies forces, les angles morts et les risques d’un modèle IA.

Pourquoi un score unique trompe-t-il ?

Un score unique trompe parce qu’il agrège des capacités très différentes et masque les faiblesses critiques d’un modèle.

Un benchmark est un protocole de test standardisé utilisé pour comparer des modèles dans les mêmes conditions. Le principe paraît simple : on donne les mêmes questions, on mesure les réponses, puis on produit un score. Le problème commence quand ce score devient une vérité générale.

MMLU, pour Massive Multitask Language Understanding, illustre bien cette limite. Ce test académique, introduit par Hendrycks et al. en 2021, mesure des connaissances sur 57 domaines, dont les mathématiques, le droit, la médecine, l’histoire ou l’informatique. Un modèle peut obtenir une très bonne moyenne sur MMLU tout en restant fragile sur une compétence précise. Par exemple, il peut bien répondre à des questions de biologie, mais échouer dès qu’il doit suivre une instruction longue, raisonner sur plusieurs documents, comprendre un signal audio avec du bruit, ou maintenir une mémoire de travail cohérente sur plusieurs étapes.

Cette moyenne donne donc une vue pratique, mais compressée. Elle aide à classer rapidement des modèles, surtout quand il faut comparer plusieurs versions. Elle ne suffit pas à décider si un modèle est fiable dans un usage business réel. Une IA utilisée pour analyser des contrats, surveiller des incidents techniques ou assister un support client ne doit pas seulement être “bonne en moyenne”. Elle doit être robuste sur les capacités qui comptent pour votre cas d’usage.

Le même problème existe avec l’AGI, pour artificial general intelligence, souvent traduit par intelligence artificielle générale. L’AGI désigne un système capable de s’adapter à une large variété de tâches, au lieu d’être spécialisé dans une seule. Mais une large variété ne veut pas dire une performance homogène partout.

Approche	Ce qu’elle montre	Ce qu’elle cache
Score unique	Classement rapide	Faiblesses par capacité
Profil cognitif	Forces et limites par dimension	Moins simple à résumer

La bonne question n’est donc pas seulement “Quel modèle a le meilleur score ?”. Elle devient : “Sur quelles capacités est-il fiable, et dans quelles conditions échoue-t-il ?”. Si le score unique est insuffisant, il faut ensuite regarder pourquoi les performances des modèles restent irrégulières, et pourquoi les jeux de test peuvent eux-mêmes être contaminés.

Quels biais faussent les benchmarks IA ?

Deux biais faussent fortement les benchmarks IA : la frontière irrégulière des capacités et la contamination des tests.

La jagged frontier, ou frontière irrégulière, désigne un phénomène simple à observer mais difficile à mesurer : un même modèle peut réussir une tâche complexe et échouer sur une tâche qui semble plus simple. La difficulté ne forme pas une ligne droite. Elle ressemble plutôt à une frontière dentelée, avec des zones solides et des zones fragiles.

L’étude Navigating the Jagged Technological Frontier, publiée en 2023 par Dell’Acqua et al., illustre bien ce problème. Les chercheurs ont observé 758 consultants de Boston Consulting Group. Sur des tâches situées dans le périmètre de forces de l’IA, les consultants assistés par IA ont produit plus vite et mieux. Sur une tâche située hors de ce périmètre, leur performance a au contraire baissé, avec environ 19 points de pourcentage de réponses correctes en moins selon l’étude. Ce n’est pas un benchmark AGI, mais l’analogie est utile : la performance dépend fortement de la tâche exacte, pas seulement du niveau général du modèle.

La contamination pose un autre problème. Un benchmark est contaminé quand ses questions, ses réponses ou des variantes proches ont été vues pendant l’entraînement du modèle. Dans ce cas, le modèle peut reconnaître un exercice, restituer une solution mémorisée ou suivre un schéma déjà rencontré, au lieu de raisonner réellement. L’évaluation devient alors trop optimiste.

Le GPT-4 Technical Report d’OpenAI discute explicitement les contrôles de contamination sur les jeux de tests publics. Ce point est important : le sujet n’est pas une critique extérieure marginale, il est reconnu par les laboratoires eux-mêmes.

Ces deux biais expliquent pourquoi un benchmark AGI sérieux doit s’appuyer sur un framework cognitif. La bonne question n’est pas seulement : “Quel modèle est le meilleur ?”. La question utile devient : “Sur quelles capacités précises ce modèle est-il meilleur, stable ou fragile ?”.

• Frontière irrégulière : Les compétences ne progressent pas toutes au même rythme.
• Contamination : Les tests publics peuvent être indirectement appris.
• Conséquence : Un indicateur unique devient trop pauvre pour juger la fiabilité.

Comment fonctionne le framework cognitif ?

Le framework cognitif de Google DeepMind évalue un modèle par dimensions cognitives, puis compare chaque score à une performance humaine de référence.

L’idée change assez nettement par rapport aux benchmarks classiques. Il ne s’agit plus seulement de produire un classement global, avec un modèle numéro 1 et les autres derrière. Le but est de construire un profil cognitif, dimension par dimension, pour mieux voir où un système d’IA est réellement fort, moyen ou faible.

Chaque dimension correspond à une famille de tâches inspirées de la psychologie cognitive. La mémoire de travail, par exemple, désigne la capacité à garder temporairement des informations actives pour les manipuler, comme retenir une consigne tout en résolvant un problème. Alan Baddeley en a proposé un modèle influent dès les années 1970. L’attention sélective, étudiée classiquement avec l’effet Stroop, mesure la capacité à se concentrer sur une information pertinente malgré des distractions. La perception concerne la manière dont un système interprète des signaux visuels, auditifs ou multimodaux.

Le score est normalisé autour d’une baseline humaine, c’est-à-dire une référence mesurée chez des humains. Dans ce cadre, 1.0 représente la performance humaine moyenne. Cette normalisation rend la lecture plus utile qu’un score brut, car elle permet de comparer des capacités très différentes sur une même échelle.

Score	Interprétation
< 1.0	Performance inférieure à la moyenne humaine
1.0	Performance humaine moyenne
> 1.0	Performance supérieure à la moyenne humaine sur la tâche testée

L’intérêt est concret. Un modèle peut être sous-humain en mémoire de travail, proche de l’humain en attention sélective, et sur-humain sur certaines tâches perceptives. Cette lecture évite de résumer une IA à une note unique, souvent trop flatteuse ou trop floue.

Le contenu disponible indique dix dimensions cognitives, mais ne documente explicitement que certaines dimensions détaillées. Je ne vais donc pas compléter artificiellement la liste avec sept catégories non vérifiées. Cette prudence compte. En évaluation IA, ajouter des catégories non sourcées revient à recréer le problème que l’on critique : donner une apparence de précision à une mesure qui ne l’est pas encore.

Quelles dimensions sont déjà visibles ?

Les dimensions explicitement visibles sont la perception, l’attention sélective et la mémoire de travail, chacune révélant un type différent de limite IA, c’est-à-dire de limite d’intelligence artificielle.

La perception mesure la capacité d’un modèle à interpréter des informations sensorielles : une image, une séquence vidéo, un son, une voix. Dans ce type de benchmark, les tâches disponibles permettent de tester des cas plus proches du réel qu’une image propre et bien cadrée.

• Reconnaissance d’objets sous occlusion, quand une partie de l’objet est cachée.
• Analyse de scènes dégradées, par exemple avec du flou, une faible luminosité ou des artefacts visuels.
• Compréhension vocale avec bruit de fond, quand plusieurs sons perturbent le signal principal.

Les grands modèles multimodaux, capables de traiter plusieurs types de données comme le texte et l’image, atteignent souvent un bon niveau sur des images statiques. Le signal audio bruité reste plus difficile, car le modèle doit isoler une voix utile dans un environnement instable. C’est une contrainte très concrète pour les assistants vocaux, les centres d’appel ou l’analyse de réunions.

L’attention sélective teste autre chose : la capacité à ignorer les distracteurs, à maintenir l’attention sur une tâche longue et à sélectionner les caractéristiques pertinentes dans une entrée complexe. Le parallèle avec le test de Stroop est utile. Dans ce test psychologique publié en 1935, un humain doit nommer la couleur d’un mot tout en inhibant la lecture automatique du mot lui-même. Pour une IA, le problème ressemble à ceci : ne pas se laisser entraîner par une information saillante mais inutile.

Les modèles à long contexte progressent, car ils peuvent recevoir beaucoup plus de texte en entrée. Mais stocker plus ne veut pas dire mieux raisonner. Des travaux comme “Lost in the Middle” de Liu et al., 2023, ont montré que les modèles peuvent moins bien utiliser une information placée au milieu d’un long contexte.

La mémoire de travail désigne la capacité à maintenir et manipuler temporairement des informations. Elle soutient le raisonnement complexe, la compréhension du langage et le suivi d’instructions. Pour les modèles, la limite de contexte fonctionne un peu comme une mémoire disponible, mais une grande fenêtre de tokens, c’est-à-dire de fragments de texte, ne garantit pas que l’information utile sera correctement exploitée.

Dimension	Question utile	Risque si elle est faible
Perception	Le modèle comprend-il bien les signaux visuels ou audio ?	Erreurs sur images dégradées ou audio bruité
Attention sélective	Sait-il ignorer les informations inutiles ?	Réponses influencées par des distracteurs
Mémoire de travail	Sait-il manipuler plusieurs éléments à court terme ?	Perte de cohérence dans les tâches longues

Comment l’utiliser en business ?

En business, un profil cognitif sert à choisir un modèle selon l’usage réel, pas selon son rang dans un classement général. Un benchmark AGI, pour Artificial General Intelligence ou intelligence artificielle générale, devient utile quand il aide à comprendre quelles capacités un modèle maîtrise vraiment : mémoire, raisonnement, perception, attention, planification.

La bonne méthode consiste à traduire ce framework en décision opérationnelle. Je pars d’abord des tâches critiques : analyse de documents longs, support client vocal, extraction d’informations visuelles, génération de code, automatisation de workflows ou contrôle qualité sur des données métier. Ensuite, chaque tâche est associée à une dimension cognitive dominante.

Tâche business	Capacité à tester
Analyser des tickets clients longs	Mémoire de travail et attention sélective
Traiter des appels audio	Perception auditive, surtout en environnement bruité
Extraire des données depuis des factures scannées	Perception visuelle et raisonnement structuré
Automatiser un workflow multi-étapes	Planification, fiabilité et gestion des erreurs

Le test doit ensuite se faire sur des cas internes non publics. Cette précaution réduit le risque de contamination, c’est-à-dire le risque qu’un modèle ait déjà vu des exemples proches pendant son entraînement. Un bon score sur un benchmark public ne garantit pas une bonne tenue sur vos tickets, vos contrats, vos appels ou vos règles métier.

Prenons un assistant IA qui analyse des tickets clients longs dans un outil de support. Le score global de culture générale importe peu si le modèle oublie le début du ticket, confond deux clients ou rate une contrainte technique au milieu du texte. Ici, l’attention sélective et la mémoire de travail valent plus qu’un classement flatteur. Pour une automatisation qui traite des appels audio, le critère critique devient la perception auditive en environnement bruité, avec accents, coupures et vocabulaire métier.

Le bon choix n’est donc pas toujours le modèle le plus haut dans les benchmarks publics. C’est celui qui tient le mieux sous vos contraintes de production : coût, latence, sécurité, stabilité, explicabilité et taux d’erreur acceptable.

• Tester sur vos données plutôt que seulement sur des benchmarks publics.
• Mesurer par capacité plutôt qu’avec une moyenne globale.
• Comparer à une baseline humaine quand c’est possible, c’est-à-dire à un niveau de référence mesuré chez vos équipes.
• Documenter les échecs aussi sérieusement que les réussites.
• Mettre des garde-fous pour les tâches à risque.

Alors, faut-il encore croire aux benchmarks IA ?

Les benchmarks IA restent utiles, mais seulement si on arrête de leur demander ce qu’ils ne peuvent pas donner. Une note globale classe des modèles, elle ne décrit pas leur intelligence. L’approche par profil cognitif va dans le bon sens : perception, attention, mémoire de travail et autres capacités doivent être évaluées séparément, comparées à une baseline humaine et testées sur des cas proches du réel. Je retiens surtout une règle simple : pour choisir une IA, regardez ses limites aussi attentivement que ses records. Le bénéfice pour vous est clair : décider avec moins de bruit, moins de risque et plus de pertinence business.

FAQ

• Qu’est-ce qu’un benchmark AGI ?
  Un benchmark AGI est un protocole de test conçu pour évaluer des capacités proches de l’intelligence générale : raisonnement, perception, attention, mémoire ou adaptation à des tâches variées. Le problème est qu’un seul score ne suffit pas à décrire ces capacités.
• Pourquoi un score unique est-il insuffisant pour mesurer une IA ?
  Parce qu’il mélange des compétences différentes dans une moyenne. Un modèle peut être excellent sur des questions académiques, mais fragile sur l’audio bruité, les tâches longues ou les consignes avec distracteurs. Le score global masque ces écarts.
• Que signifie une baseline humaine à 1.0 ?
  Une baseline humaine à 1.0 signifie que la performance du modèle est comparée à la performance moyenne d’humains sur une tâche donnée. En dessous de 1.0, le modèle est sous la moyenne humaine. Au-dessus, il dépasse cette référence sur le test concerné.
• Qu’est-ce que la contamination des benchmarks ?
  La contamination se produit quand un modèle a vu pendant son entraînement des questions, réponses ou contenus très proches du benchmark. Dans ce cas, le test ne mesure plus seulement la capacité réelle du modèle, mais aussi une forme de mémorisation.
• Comment utiliser ces évaluations pour choisir un modèle IA ?
  Il faut partir de votre cas d’usage. Pour des documents longs, regardez l’attention et la mémoire de travail. Pour l’audio ou l’image, regardez la perception. Le bon modèle est celui qui tient sur vos tâches critiques, pas forcément celui qui domine les classements publics.

 

 

A propos de l’auteur

Je suis Franck Scandolera, responsable de l’agence webAnalyste et de l’organisme Formations Analytics. J’accompagne les entreprises sur le tracking avancé server-side, l’Analytics Engineering, l’automatisation No/Low Code avec n8n, l’intégration de l’IA, le SEO et le GEO. J’ai travaillé pour des acteurs comme Logis Hôtel, Yelloh Village, BazarChic, la Fédération Française de Football ou Texdecor. Si vous voulez évaluer, intégrer ou automatiser l’IA avec une approche concrète et mesurable, contactez-moi.