HomeRessources, Guides & Actualités – Actualités de l’intelligence artificielleIntelligence artificielleNext Concept Modeling (NCM) : 7 faits sur les recherches de Stanford pour sortir l’IA du token par token

Next Concept Modeling (NCM) : 7 faits sur les recherches de Stanford pour sortir l’IA du token par token

La quasi-totalité des modèles de langage actuels écrivent et raisonnent de la même manière : en prédisant laborieusement le mot suivant, un token après l’autre. Deux publications récentes issues de Stanford et de Together AI explorent une rupture avec ce mécanisme.

La première repense l’écriture via une génération par couches successives, tandis que la seconde déplace le raisonnement dans un espace de calcul silencieux. Entre gains de vitesse réels et limites techniques, voici ce que révèlent concrètement ces travaux.

1. Le goulot d’étranglement : pourquoi la génération autorégressive sature le calcul

Pour comprendre ces recherches, il faut d’abord isoler la contrainte qu’elles cherchent à éliminer. Dans un modèle autorégressif classique, chaque nouveau token exige de réévaluer l’ensemble du contexte précédent. Pour écrire une phrase de 12 tokens, le modèle doit exécuter 12 passes séquentielles, la douzième dépendant strictement de la onzième.

Même si les puces graphiques actuelles excellent dans le calcul massivement parallèle, la génération reste bloquée par cette file d’attente séquentielle. Le problème s’aggrave avec les modèles dits de raisonnement : pour formuler une réponse, ils génèrent de longues chaînes de tokens internes. OpenAI le rappelle dans sa propre documentation : ces tokens de réflexion restent masqués pour l’utilisateur, encombrent la fenêtre de contexte et sont facturés comme de la sortie brute.

2. Next Concept Modeling (NCM) : écrire un texte comme on esquisse une image

Le premier article, porté par l’équipe Hazy Research de Stanford, s’attaque à l’écriture textuelle à travers une approche baptisée Next Concept Modeling (NCM). Plutôt que de rédiger de gauche à droite, NCM s’inspire directement des modèles de vision par ordinateur, qui ébauchent d’abord une image en basse résolution avant d’en affiner les détails.

Sur le plan technique, NCM ne remplace pas l’architecture Transformer, mais modifie ce qu’elle prédit :

  • Un tokenizer résiduel à plusieurs échelles (VQ-VAE) : il convertit le texte en un empilement de codes discrets répartis sur plusieurs niveaux.
  • Un niveau supérieur très court : quelques codes forment l’armature globale du passage.
  • Des niveaux intermédiaires progressifs : chaque étage inférieur comporte davantage de positions et n’enregistre que les erreurs ou les manques des niveaux situés au-dessus.
  • Un niveau inférieur complet : il correspond à la longueur totale de la séquence.

Un modèle générateur remplit ensuite un niveau entier par passe, sur toutes les positions en parallèle. Lors d’un test de traduction d’une phrase allemande vers l’anglais, le modèle a nécessité 11 passes pour reconstruire une formulation correcte. Fait notable : le brouillon n’évolue pas de manière strictement linéaire, la huitième passe affichant parfois un meilleur score que la neuvième. Une fois tous les niveaux additionnés, le taux de reconstruction sur des résumés d’actualité atteint 99,8 %.

3. Des gains de vitesse mesurés face aux modèles de diffusion (et non face à ChatGPT)

L’annonce d’une accélération d’un facteur 31 a rapidement circulé, mais ce chiffre exige une mise en contexte rigoureuse. Les comparaisons de vitesse de NCM ne sont pas faites contre des modèles autorégressifs standards comme ChatGPT, mais contre des modèles de diffusion de texte de taille comparable (comme Aurora LM), une autre approche générant plusieurs positions en parallèle.

Sur un serveur équipé d’un GPU Nvidia H100 SXM (taille de lot de 16 pour 1 024 séquences), les mesures rapportées par les auteurs indiquent :

  • 31 fois plus rapide sur le jeu de résumés XSUM, à score Rouge-L comparable.
  • 21 fois plus rapide sur le benchmark de modélisation linguistique LM1B, avec une meilleure perplexité générative.
  • 10 fois plus rapide sur OpenWebText, tout en utilisant environ cinq fois moins de tokens lors de l’entraînement.

La méthode ne s’impose pas partout. Sur la traduction allemand-anglais (WMT14), NCM a terminé derrière le modèle de diffusion et derrière un petit modèle autorégressif. Pour améliorer ses traductions, le système a dû recourir au décodage par risque de Bayes minimal (MBR), qui consiste à générer plusieurs variantes pour sélectionner la plus cohérente, ce qui entraîne un coût de calcul supplémentaire.

4. La validation sur des contraintes globales : le cas du Sudoku

Pour prouver que NCM ne se limite pas à produire du texte en surface, les chercheurs l’ont évalué sur des grilles de Sudoku complexes ne comportant que 30 indices de départ, avec des modèles miniatures de 25 millions de paramètres.

Le Sudoku impose une contrainte globale : un chiffre placé dans une case dicte ou bloque les possibilités sur l’ensemble de la ligne, de la colonne et du bloc. Un modèle de gauche à droite classique ne peut pas revenir en arrière sans mécanismes lourds. Résultat :

  • Modèle autorégressif standard : 1 % de grilles résolues.
  • Modèle de diffusion de référence : 81 % de grilles résolues.
  • Next Concept Modeling (NCM) : 86 % de grilles résolues.

Dans l’un des exemples documentés, le nombre de cases exactes passe progressivement de 16 à l’intégralité des 81 cases au cours de 12 passes de raffinement successives.

5. Les agents de raisonnement hybrides : remplacer les mots par des nombres bruts

Le second article, mené par Jaru Zo, se concentre sur la chaîne de réflexion interne de l’IA. Au lieu de verbaliser chaque étape sous forme de texte, cet agent hybride alterne entre rédaction lisible et calcul silencieux.

Lors d’une requête demandant où se situe le siège de l’entreprise où a travaillé un ingénieur spécifique, l’agent procède ainsi :

  1. Il écrit 30 étapes de texte standard pour établir son plan de travail.
  2. Il génère un token spécial déclenchant le passage en mode silencieux.
  3. Pendant 56 étapes consécutives, aucun texte n’est produit. Son état caché (une séquence de nombres) passe par un module nommé hybrid link qui réinjecte directement ce vecteur dans le modèle.
  4. À chaque étape muette, le système calcule quel mot de son vocabulaire est le plus proche de son vecteur numérique. Dès que le mot le plus proche est le signal de fin de silence, il repasse en texte clair et lance une recherche web (ici sur Tata Consultancy Services).
  5. Après 49 nouvelles étapes silencieuses, il produit la réponse finale : Mumbai.

Entraîné sur 54 000 exemples générés automatiquement sans annotation humaine, le modèle a appris seul quand entrer et sortir du mode silencieux.

6. Performances de l’agent hybride et dilemme pour la sécurité de l’IA

Sur le benchmark GAIA, le modèle hybride de 14 milliards de paramètres a obtenu une moyenne de 52,4, dépassant le modèle frontière Luna (37,9) ainsi que Coconut (6,8), une précédente méthode de réflexion muette conçue par Meta. Comparé aux agents purement textuels entraînés de manière identique, les auteurs relèvent 35 à 55 % de tokens en moins, une vitesse doublée et un coût en calcul estimé entre 2,7 et 3,7 fois inférieur (calculé sur le temps machine, hors tarification API).

En revanche, face à des épreuves plus complexes comme Humanity’s Last Exam, deux modèles frontière majeurs ont obtenu des scores près de deux fois supérieurs à cet agent hybride.

ApprocheCœur de la méthodeBénéfice mesuréLimite documentée
NCM (Next Concept Modeling)Empilement de couches de codes discrets (du grossier au fin)31x plus rapide qu’un modèle de diffusion sur résumés ; 86 % au SudokuEn retrait sur la traduction WMT14 ; limité à 725M de paramètres
Agents HybridesAlternance de texte et d’états cachés transmis via hybrid link35 à 55 % de tokens économisés ; score de 52,4 sur GAIAInférieur aux modèles frontière sur Humanity’s Last Exam ; opacité totale

Ce mode silencieux soulève une vive controverse éthique. Si les laboratoires ferment les chaînes de pensée pour préserver leur propriété intellectuelle, le système hybride va plus loin : les pensées n’existent que sous forme vectorielle, déchiffrables uniquement par le hybrid link du fournisseur. Aucun texte ne peut fuiter. En réponse à la publication, le chercheur Peter Barett a souligné que cette technique détruit l’un des rares moyens dont nous disposons pour auditer le raisonnement des IA, qualifiant cette avancée de particulièrement néfaste pour la sécurité du secteur.

7. Disponibilité du code : des briques de recherche, pas des produits prêts à l’emploi

Les deux projets ont publié une partie de leurs ressources, mais aucun ne constitue une alternative prête à être intégrée à la place d’un assistant conversationnel du quotidien.

Pour NCM, les points de contrôle sont accessibles sous licence MIT sur HuggingFace pour des tâches ciblées (XSUM, WMT14 allemand-anglais, Sudoku, TinyStories et LM1B, tandis qu’OpenWebText est marqué en attente). Le code d’entraînement complet n’a toutefois pas été publié, et le plus grand modèle testé plafonne à 725 millions de paramètres, bien loin de l’échelle des grands modèles commerciaux.

Pour les agents hybrides, les modèles de 8 et 14 milliards de paramètres ainsi que les données d’entraînement ont été mis à disposition. Cependant, les moteurs d’inférence standard ne savent pas gérer la transition dynamique entre écriture textuelle et vecteurs silencieux : l’équipe a dû modifier son propre serveur d’inférence pour exécuter les modèles.

Les perspectives décrites par les chercheurs confirment le caractère exploratoire de ces travaux : l’équipe de NCM envisage un modèle capable d’ajuster son nombre de couches à la difficulté du texte, tandis que les auteurs des agents hybrides préconisent de concevoir les futurs outils logiciels directement autour de cette mémoire de travail silencieuse.

Leave a Reply

Your email address will not be published. Required fields are marked *