Le paramètre Top-K structure la génération de texte dans les grands modèles de langage (LLM). Il fixe une limite numérique stricte au réservoir de mots, ou jetons, disponibles pour l’étape suivante d’une phrase. Sans lui, le modèle s’égare fréquemment dans des choix absurdes. Ce filtre maintient la cohérence globale du texte.
Lorsqu’un LLM reçoit une consigne, il ne choisit pas au hasard dans le vide. Il calcule un score de probabilité pour chaque terme de son dictionnaire. Le processus comporte trois étapes claires.
D’abord, le tri : le modèle classe les options de la probabilité la plus forte à la plus faible. Ensuite, la coupure : la lettre “K” désigne le nombre précis de mots conservés par le système.
Enfin, la sélection : le modèle élimine le reste puis tire au sort un terme uniquement dans cette liste restreinte.
Prenons un exemple simple avec la phrase : “Le ciel est…”. [Analyse de l'algorithme en cours] Les probabilités s’organisent ainsi : bleu (80 %), nuageux (10 %), dégagé (5 %), sombre (3 %), banane (0,0001 %). Si vous configurez un Top-K égal à 3, l’outil examine de façon exclusive les trois premières options. Il efface “sombre” et “banane” de sa mémoire immédiate. Même un mode créatif n’y changera rien.
Les valeurs attribuées modifient le comportement du système. Un Top-K bas, situé entre 1 et 10, rend la production prévisible et factuelle. Choisir un Top-K de 1 déclenche le décodage dit glouton, ou “greedy decoding”. L’intelligence artificielle sélectionne alors à chaque fois le terme le plus probable. La réponse devient déterministe. À l’inverse, un Top-K élevé, entre 50 et 100, élargit le cercle des candidats acceptés. Cela apporte de la variété stylistique. La plupart des architectures modernes adoptent une valeur par défaut de 50.
La nuance fondamentale entre Top-K et Top-P
Une distinction majeure s’impose avec le Top-P. Le Top-K utilise un nombre fixe de mots. Le Top-P, ou échantillonnage nucléaire, s’appuie sur un bassin dynamique défini par un pourcentage de probabilité cumulée, comme les premiers 90 % de probabilité. Les ingénieurs combinent généralement le Top-K, le Top-P et la température pour sculpter les réactions du modèle.
Comprendre ce mécanisme exige d’observer le cerveau de l’IA. Le principal problème résolu s’appelle la longue traîne. Sans ce filtre, un LLM explore l’intégralité de son vocabulaire, souvent supérieur à cent mille termes.
Des milliers de mots hors sujet conservent une chance infime d’apparaître, par exemple 0,00001 %. Comme la génération s’effectue mot par mot, un seul tirage malchanceux dans cette traîne détruit la cohérence de la discussion. Le Top-K élimine ce risque.
Visualisons cette coupure mathématique avec la phrase suivante : “J’ai commandé une part de…”.
| Mot | Probabilité | Rang | Conservé si Top-K = 3 ? |
|---|---|---|---|
| pizza | 50% | #1 | Oui |
| gâteau | 25% | #2 | Oui |
| tarte | 15% | #3 | Oui |
| pastèque | 5% | #4 | Non (Éliminé) |
| papier | 0.01% | #10 000 | Non (Éliminé) |
Après la coupure, le système recalcule les proportions des mots restants pour retrouver un total de 100 %. Ici, seuls pizza, gâteau et tarte subsistent pour le tirage final.
L’utilisation de ce paramètre implique un arbitrage. Un K faible favorise la concentration. C’est idéal pour le code ou les calculs mathématiques, mais cela engendre des répétitions fréquentes de phrases identiques. Un K élevé offre un vocabulaire riche, idéal pour la fiction. Le risque de dérive factuelle augmente en contrepartie.
L’action combinée avec la température
La température agit en synergie avec le Top-K, bien que leurs rôles diffèrent. Le Top-K joue le rôle de vigile à l’entrée. Il exclut les indésirables. La température modifie la répartition interne des probabilités au sein du groupe sélectionné. Une température élevée nivelle les chances des survivants. Une température basse favorise le leader du classement.
Le parcours d’un jeton unique suit un chemin mathématique précis lors de chaque prédiction. L’ordinateur calcule d’abord des scores bruts nommés logits. Puis, la fonction Softmax transforme ces valeurs en pourcentages exploitables.
C’est à cette étape que le couperet du Top-K intervient pour neutraliser les rangs inférieurs. Enfin, la renormalisation ajuste les probabilités restantes avant le choix définitif par échantillonnage.
La rigidité du Top-K pose parfois problème. Prenons deux situations contrastées pour l’illustrer.
Dans le cas d’une certitude absolue, comme pour la phrase “La capitale de la France est…”, le mot “Paris” écrase la concurrence avec 99,9 % de probabilité. Les quarante-neuf options suivantes se partagent des miettes. Avec un Top-K de 50, l’algorithme conserve pourtant des dizaines de termes inutiles. Une température élevée peut alors provoquer une erreur en sélectionnant un intrus.
À l’inverse, face à une phrase ouverte comme “En ouvrant la porte du placard, elle vit un…”, la suite logique tolère de multiples réponses valides. Fantôme, monstre, manteau ou chat possèdent tous des probabilités proches de 0,5 %. Si la liste comporte deux cents mots pertinents, un Top-K de 50 élimine sans distinction les options de cinquante et un à deux cents. La créativité se trouve bridée.
La réponse à cette limite s’appelle le Top-P. Cette approche adapte la taille de la sélection de manière dynamique. Au lieu de figer un nombre de mots, elle accumule les candidats jusqu’à atteindre un seuil de probabilité, souvent fixé à 90 %.
Dans notre exemple sur Paris, la sélection se réduit à un seul mot. Pour le placard, elle s’élargit pour englober la totalité des options plausibles.
Pour vos projets, considérez ces réglages comme un entonnoir successif. Voici une grille de configuration pour orienter vos choix :
| Objectif | Tâche cible | Réglages conseillés | Effet produit |
|---|---|---|---|
| Précision stricte | Code, calculs, formulaires | Température: 0.0 à 0.2 Top-K: 1 à 5 Top-P: 0.1 à 0.4 | Sélection exclusive des meilleures probabilités. Réduction des dérives. |
| Équilibre conversationnel | Support client, rédaction d’e-mails | Température: 0.7 Top-K: 40 Top-P: 0.85 | Rythme naturel proche de l’expression humaine. Évite les excentricités. |
| Créativité élevée | Écriture fictionnelle, remue-méninges | Température: 1.0 à 1.2 Top-K: 100+ (ou désactivé) Top-P: 0.95 | Liberté maximale du vocabulaire. Associations originales autorisées. |
Notez que l’accès à ces options varie selon les plateformes. Les modèles ouverts comme Llama de Meta permettent d’ajuster le Top-K sans intermédiaire via des interfaces comme vLLM ou Ollama.
OpenAI fait un choix différent. L’entreprise masque ce paramètre dans son interface de programmation pour inciter à utiliser la température et le Top-P.