Imaginez un chef cuisinier face à un plan de travail couvert d’ingrédients. L’algorithme ne choisit pas une réponse unique d’un seul coup. Il génère une liste de mots potentiels, appelés jetons ou tokens. À chaque étape, chaque token reçoit une note de probabilité.
Les paramètres de configuration guident le système dans cette liste. Ils établissent l’équilibre entre une imagination débordante et une rigueur froide. Ces outils influencent la sélection finale selon des rôles opérationnels précis.
- Les paramètres de génération guident la sélection des mots en ajustant une distribution de probabilités brute.
- La température lisse ou accentue les écarts de probabilité, agissant comme un curseur de créativité.
- Le Top-K, le Top-P et le récent Min-P coupent la liste des choix pour éviter les termes absurdes.
- Les pénalités de fréquence et de présence combattent les bégaiements en sanctionnant les mots déjà générés.
L’adoucissement des probabilités (La Température)
La température module le hasard en modifiant la courbe de distribution. Une valeur basse, inférieure à 0,3, rend le modèle déterministe. Le système choisit seuls les mots dotés de la probabilité la plus élevée, une configuration idéale pour le code ou les réponses factuelles.
À l’inverse, une valeur supérieure à 0,7 aplatit les scores. Les mots moins probables gagnent une chance de triompher. Cela stimule l’originalité, mais augmente le risque de dérive ou d’hallucination.
Le découpage du vocabulaire
Ces filtres limitent le bassin de candidats avant le tirage final. Le paramètre Top-K fixe une limite en retenant un nombre précis de mots. Si K vaut 50, l’algorithme examine seuls les 50 meilleurs termes, ignorant le reste. Le Top-P, ou échantillonnage nucléaire, ajuste cette sélection de manière dynamique. Il utilise un seuil de probabilité cumulée.
Avec un P à 0,90, le modèle classe les jetons et conserve les premiers dont la somme des probabilités atteint 90 %. Le Min-P offre une alternative moderne.
Ce filtre écarte les jetons dont la probabilité individuelle est inférieure à un pourcentage défini par rapport au mot de tête. Si l’option principale affiche 80 % de chances et que le Min-P est réglé sur 0,1, tout mot sous la barre des 8 % subit une élimination sans détour.
Le contrôle des répétitions
Ces variables modifient les scores selon l’historique de la conversation. La pénalité de fréquence (Frequency Penalty) décourage l’usage répété des mêmes termes. Son action est proportionnelle au nombre d’apparitions du mot dans le texte.
La pénalité de présence (Presence Penalty) favorise l’exploration de nouveaux sujets. Elle applique une taxe fixe dès qu’un mot apparaît une fois, peu importe sa fréquence globale.
Les limites de longueur et d’arrêt
Le paramètre Max Tokens impose une limite physique au volume de texte produit, protégeant vos budgets de calcul. Les séquences d’arrêt (Stop Sequences) stoppent la génération lorsque des caractères spécifiques surviennent, comme un saut de ligne ou une balise utilisateur.
Pour observer l’effet de ces curseurs, jetons un œil sous le capot de la machine. Face à l’amorce « Le ciel est… », le réseau de neurones n’a pas de certitude absolue. Il calcule des pourcentages pour des milliers de mots :
- bleu (60 % de chance)
- nuageux (20 % de chance)
- sombre (10 % de chance)
- tombant (5 % de chance)
- vert (1 % de chance)
Les paramètres définissent comment piocher dans cette liste de candidats.
La Température : le déformateur de pourcentages
Ce calcul modifie les probabilités initiales avant le choix final. À une température de 0, le modèle devient un robot rigide. Il choisit l’option numéro un, « bleu », à chaque essai. À une température équilibrée de 0,7, les rapports de force restent naturels.
Le mot « bleu » l’emporte souvent, mais « nuageux » ou « sombre » s’imposent parfois. À une température extrême de 1,5, le calcul lisse les écarts. L’option « bleu » chute à 25 % tandis que « tombant » ou « vert » grimpe à 15 %. La production devient poétique, bizarre ou dénuée de sens.
Top-K contre Top-P : les arbitres de la liste
Ces filtres éliminent les termes incongrus comme « vert » ou « banane » appliqués au ciel. Le Top-K tranche par le nombre. Si le Top-K est fixé à 3, les options « tombant » et « vert » disparaissent. Le modèle choisit parmi les trois premiers termes. Le Top-P filtre selon la somme des pourcentages.
Si le Top-P vaut 0,80, le système additionne les probabilités du haut vers le bas. L’association de « bleu » (60 %) et « nuageux » (20 %) atteint le seuil de 80 %. Le modèle s’arrête là, éliminant « sombre », « tombant » et « vert ».
Face à une certitude forte sur un mot unique, le Top-P réduit le choix à ce seul terme. Si le doute persiste, il élargit la sélection à des dizaines d’alternatives.
Fréquence contre Présence : les ennemis de l’écho
Quand l’intelligence artificielle bégaie, ces pénalités interviennent comme un carton jaune. La pénalité de fréquence agit comme un multiplicateur. Chaque utilisation du mot « très » augmente la sanction. Le premier usage reste gratuit, le second subit une taxe légère, le troisième une taxe lourde.
Ce mécanisme pousse le système à enrichir son vocabulaire, transformant une phrase répétitive en une tournure plus fluide. La pénalité de présence fonctionne différemment.
C’est une taxe fixe. Dès que le mot « espace » apparaît, il reçoit une amende unique. Le cerveau artificiel comprend qu’il a déjà ouvert ce dossier et s’oriente vers un autre sujet.
Aide-mémoire des configurations cibles
| Objectif | Température | Top-P / Top-K | Pénalités |
|---|---|---|---|
| Code / Mathématiques | 0.0 (Strict) | 1.0 (Désactivé) | 0.0 (Désactivé) |
| Questions Médicales / Juridiques | 0.1 à 0.3 (Précis) | 0.8 (Étroit) | 0.0 (Désactivé) |
| Chatbots / Service Client | 0.5 à 0.7 (Naturel) | 0.9 (Standard) | 0.1 à 0.3 (Léger) |
| Écriture Créative / Brainstorming | 0.9 à 1.2 (Créatif) | 0.95 (Large) | 0.5 (Élevé) |
Le pipeline de génération en quatre étapes
Chaque mot généré traverse un circuit de traitement en quatre étapes distinctes.
[ Données Brutes du Modèle ]
│
▼
1. TEMPÉRATURE ──► Modifie les probabilités brutes (élargit ou réduit les écarts)
│
▼
2. TOP-K / TOP-P ──► Élimine les mots interdits ou trop faibles
│
▼
3. PÉNALITÉS ──► Abaisse le score des mots déjà utilisés dans l’historique
│
▼
[ Tirage Aléatoire Final ] ──► Calcule le mot de sortie final
Étape 1 : Les scores bruts (Logits)
Avant d’appliquer le moindre filtre, le réseau produit des valeurs brutes nommées logits pour l’ensemble de son lexique, qui dépasse souvent 50 000 termes. Ces logits représentent des scores de confiance non formatés.
Imaginons l’amorce suivante : « Le détective entra dans le… » Les scores initiaux s’établissent ainsi :
- bureau : 12.5
- salon : 11.0
- brouillard : 8.2
- banane : -4.1
Étape 2 : Le calcul de la Température
Le système utilise une fonction mathématique appelée Softmax pour transformer ces scores bruts en pourcentages exploitables. La température intervient comme un diviseur clé dans cette équation :
Logit modifié = Logit brut / Température
Avec une température basse de 0,5, l’écart entre les options se creuse. Le terme « bureau » grimpe à 90 % de probabilité, tandis que « salon » s’effondre à 9 %. Le choix devient prévisible.
Avec une température élevée de 1,5, les écarts se réduisent. Le terme « bureau » descend à 40 %, « salon » remonte à 30 %, et « brouillard » atteint 20 %. L’algorithme gagne en liberté d’exploration.
Étape 3 : Le filtrage par troncature (Top-P et Min-P)
Cette phase définit le bassin de sécurité des mots disponibles. Le paramètre Min-P remplace l’ancien Top-K dans les architectures modernes car il s’adapte à l’échelle des probabilités. Min-P fixe un seuil minimal par rapport au score du mot le mieux classé.
Prenons un réglage Min-P à 0,05 (soit 5 %). Si le mot dominant « bureau » obtient une probabilité de 60 %, le seuil de survie s’établit à : 60 % x 0,05 = 3 %. Tout terme affichant une probabilité inférieure à 3 % disparaît sans attendre. Ce mécanisme protège un modèle à haute température contre la sélection de termes absurdes comme « banane », tout en préservant l’accès à des variantes riches comme « brouillard ».
Étape 4 : L’ajustement de l’historique (Pénalités)
Juste avant le tirage final, le système analyse la liste des mots précédemment générés. Si vous appliquez une pénalité de fréquence de 0,5, l’algorithme calcule le nombre d’occurrences d’un terme et soustrait cette valeur de son score de probabilité.
Si le mot « brouillard » est apparu trois fois dans le paragraphe, sa note s’effondre. Cette soustraction mathématique force le modèle à emprunter d’autres pistes, comme l’utilisation du mot « salon ».
Le tirage final
Une fois les probabilités modifiées, filtrées et pénalisées, l’algorithme lance une roue de loterie virtuelle. Si « bureau » conserve 85 % de la surface de la roue et « salon » 15 %, le modèle tire un nombre au hasard. Le système choisira « bureau » dans 85 % des cas, et « salon » dans 15 % des cas. Ce processus complet se répète pour chaque jeton produit.
Scénarios d’application pratiques
Analysons l’impact de ces paramètres à travers des cas d’usage concrets.
Exemple 1 : Le test d’écriture créative
Amorce : « Le vaisseau spatial flottait au-dessus de l’océan de cristal, attendant… »
Option A : Créative et variée
- Réglages : Température : 1.1, Top-P : 0.95, Pénalité de fréquence : 0.6
- Analyse : Une température élevée favorise des termes surprenants. Un Top-P large maintient un horizon de choix ouvert. La pénalité de fréquence évite les répétitions de mots clés.
- Résultat : « Le vaisseau spatial flottait au-dessus de l’océan de cristal, attendant que les marées bioluminescentes se fissurent pour révéler les monolithes chantants des anciens peuples des profondeurs. »
Option B : Sécurisée et générique
- Réglages : Température : 0.2, Top-P : 0.3, Pénalité de fréquence : 0.0
- Analyse : Des valeurs basses contraignent le modèle à choisir des mots attendus et sans prise de risque.
- Résultat : « Le vaisseau spatial flottait au-dessus de l’océan de cristal, attendant le signal de la base principale pour commencer la procédure d’atterrissage. »
Exemple 2 : Le filtre d’information médicale ou juridique
Amorce : « Quelles sont les interactions principales entre le Médicament A et le Médicament B ? »
Option A : Configuration à risque (Paramètres inappropriés)
- Réglages : Température : 0.9, Top-P : 0.95
- Analyse : Une forte dose de hasard pousse le modèle à inventer des effets plausibles mais scientifiquement erronés.
- Résultat : « L’interaction peut provoquer des vertiges soudains, des fluctuations hépatiques aiguës ou une légère dissonance cognitive selon le profil du patient. » (Données inventées, hautement dangereuses).
Option B : Configuration factuelle (Paramètres adaptés)
- Réglages : Température : 0.0 (ou 0.1), Top-P : 1.0 (le Top-P perd son utilité quand la température tombe à zéro)
- Analyse : Une température nulle force un comportement déterministe. Le modèle extrait les vérités de sa base de connaissances sans déviation.
- Résultat : « Le Médicament A inhibe l’enzyme CYP3A4, ce qui augmente la concentration plasmatique du Médicament B, élevant ainsi le risque de toxicité. »
Exemple 3 : La rupture d’une boucle infinie
Amorce : « Raconte une histoire sur un très long voyage en train. »
Cas clinique : Le modèle tourne en boucle (Pénalité de fréquence : 0.0)
Résultat : « Le train continuait d’avancer sur la voie. C’était un train très long. Le train avançait encore et encore. Le train passa dans un tunnel très long, et le train continuait d’avancer sur la voie. »
Pourquoi ce blocage survient-il ? Le mot « train » possède initialement un score élevé. Sa sélection successive maintient sa probabilité au sommet, piégeant l’algorithme dans une boucle répétitive.
Cas corrigé : L’application des pénalités (Pénalité de fréquence : 0.8)
Résultat : « La locomotive filait sur les rails de fer. Ce voyage immense traversait les continents. Les wagons résonnaient dans l’obscurité d’un tunnel de montagne avant que l’express du soir ne franchisse le col. »
Pourquoi cela fonctionne-t-il ? Chaque occurrence du mot « train » effondre son score temporaire. L’algorithme doit piocher des synonymes comme « locomotive », « wagons » ou « express ».
Mise en œuvre avec l’API de développement
Voici l’intégration de ces paramètres de génération à l’aide d’un script d’appel standard en Python :
import openai
response = openai.chat.completions.create(
model="gpt-4o",
messages=[
{"role": "user", "content": "Rédige une accroche percutante pour une marque de café."}
],
# --- PARAMÈTRES DE GÉNÉRATION ---
temperature=0.85, # Donne un peu d'audace à l'écriture
top_p=0.90, # Conserve un bassin de mots naturel et ouvert
frequency_penalty=0.4, # Évite la répétition de mots comme "café" ou "grain"
presence_penalty=0.2, # Pousse le modèle vers des idées nouvelles
max_tokens=20 # Arrêt strict après 20 jetons pour garantir la concision
)
print(response.choices[0].message.content)