Former un grand modèle de langage ressemble à un voyage initiatique. Nous transformons une simple formule mathématique en un assistant capable de coder, de disserter et de raisonner.
Trois points clés à retenir immédiatement :
- L’apprentissage se déroule en plusieurs étapes successives, du texte brut à la logique pure.
- Le modèle ne stocke aucune base de données ; il ajuste des curseurs numériques appelés paramètres.
- La puissance de calcul requise impose des limites physiques et financières colossales aux ingénieurs.
Qu’est-ce que l’entraînement ? C’est le processus informatique par lequel un réseau de neurones vierge apprend la grammaire, les faits et le raisonnement.
[ Texte Brut du Web ] ──> ( Pré-entraînement ) ──> [ Modèle de Base : Prédicteur de Token ]
│
[ Données de Conversation ] ─> ( Post-entraînement ) <┘
│
▼
[ Assistant de Chat Aligné ]Cette évolution comporte quatre phases distinctes. Chaque étape apporte une couche d’intelligence supplémentaire.
[ Étape 1 : Pré-entraînement ] ──> [ Étape 2 : Fine-Tuning d'Instructions ]
│
[ Étape 4 : Fine-Tuning de Raisonnement ] <── [ Étape 3 : Fine-Tuning de Préférences ]1. Le Pré-entraînement (La Fondation)
Le modèle ingère des milliards de mots issus du web, de livres et de code. Par auto-apprentissage, il devine le mot masqué dans une phrase. Par exemple, devant “Le chat boit du…”, il propose “lait”. Nous obtenons un Modèle de Base. C’est un moteur d’autocomplétion géant, incapable de tenir une conversation fluide.
2. Le Fine-Tuning d’Instructions (Le virage conversationnel)
Nous passons de la prédiction brute à un dialogue structuré. Les développeurs utilisent le Fine-Tuning Supervisé. Le modèle s’entraîne sur des paires de questions-réponses de haute qualité.
Entrée : “Résume cet article.” → Sortie : [Le résumé correct].
Le système adopte la posture d’un assistant utile.
3. Le Fine-Tuning de Préférences (L’alignement)
Cette phase polit le comportement du chatbot. L’objectif consiste à éliminer les réponses toxiques, fausses ou dangereuses. Nous utilisons l’apprentissage par renforcement à partir des commentaires humains ou des optimisations directes de préférences. Le modèle apprend à préférer les réponses sûres et précises.
4. Le Fine-Tuning de Raisonnement (L’affûtage logique)
Ici, nous ciblons les mathématiques, le code et la logique pure. Ces tâches possèdent une réponse binaire : vraie ou fausse. Nous forçons le modèle à détailler son cheminement de pensée étape par étape. Les récompenses dépendent de la justesse finale du résultat.
Comment fonctionne la prédiction de token ?
Le modèle ne comprend pas le sens des mots comme un humain. Il manipule des probabilités mathématiques.
Le texte subit une tokenisation. Nous découpons les phrases en morceaux de trois ou quatre caractères appelés tokens.
Chaque token devient un vecteur, une liste de nombres appelée embedding. Les mots sémantiquement proches, comme “roi” et “reine”, se positionnent à proximité dans cet espace mathématique.
Puis commence le jeu des devinettes. Si le modèle lit “La navette spatiale décolle vers…”, et qu’il prédit “l’eau”, l’algorithme calcule l’erreur via une fonction de perte. Le signal remonte le réseau de neurones par rétropropagation. Cette action ajuste les connexions internes : les poids.
La transition du prédicteur à l’assistant
Sans réglage précis, un modèle de base reste inutilisable. Demandez-lui une recette de cookies. Il risque de vous répondre par une liste d’autres titres de recettes. Il imite la structure du web sans chercher à vous aider.
Le Fine-Tuning Supervisé corrige ce défaut grâce à des milliers d’exemples rédigés avec soin.
| Requête de l’utilisateur | Réponse attendue du modèle |
| “Explique la photosynthèse.” | “La photosynthèse est le processus par lequel les plantes convertissent la lumière en énergie chimique…” |
Même après cette étape, le modèle peut mentir ou déraper. L’apprentissage par renforcement basé sur les commentaires humains crée un juge interne.
[ Réponse A générée ] ──┐
├──> [ Juge Humain / Modèle de Récompense ] ──> Mise à jour des poids
[ Réponse B générée ] ──┘Le modèle produit deux réponses. Des évaluateurs choisissent la plus sûre et la plus concise. Un modèle de récompense distinct apprend ces préférences pour guider le modèle principal à grande échelle.
Le moteur de cette révolution s’appelle le Transformer
Créé en 2017 par Google, il traite les blocs de texte d’un seul coup grâce au calcul parallèle.
La clé réside dans le mécanisme d’attention. Il calcule l’importance relative de chaque mot par rapport aux autres.
Prenons la phrase : “La banque de la rivière était boueuse, je n’ai pas pu y déposer mon argent.” Le mot “banque” possède un double sens. L’attention permet de lier le premier “banque” aux mots “rivière” et “boueuse”, fixant son sens géographique. Elle lie le verbe “déposer” à “argent”, clarifiant l’aspect financier.
Phrase : [ La ] [ banque ] [ de ] [ la ] [ rivière ] ...
│ ▲ │
└─────────┼──────────────────────────┘
(Poids d'attention élevé)Où dorment ces connaissances ? Pas dans une base de données. Le modèle supprime les textes d’origine après l’entraînement. Il ne conserve que ses poids, ces milliards de curseurs numériques ajustés au fil des erreurs. Interroger un LLM revient à recalculer une réponse à travers ce réseau de curseurs.
Cette mémoire possède ses limites : la fenêtre de contexte. Elle représente la mémoire vive du modèle lors d’un échange.
La physique impose ses règles : doubler cette fenêtre multiplie par quatre les besoins en calcul. Lors d’une longue discussion, l’historique complet est renvoyé au modèle. Si la limite est dépassée, les premiers messages s’effacent de sa mémoire.
Trois concepts techniques indispensables :
- Fenêtre de contexte : Quantité maximale de tokens traitée simultanément.
- Calcul (FLOPs) : Nombre total d’opérations mathématiques nécessaires à l’apprentissage.
- Surapprentissage (Overfitting) : Piège où le modèle mémorise les données par cœur au lieu d’apprendre les concepts sous-jacents.
Combien de temps dure l’entraînement ? De quelques heures à plusieurs mois. Tout dépend de votre point de départ.
1. Adapter un modèle existant (Heures ou jours)
La majorité des entreprises exploitent des modèles existants aux poids ouverts, comme Llama ou Mistral. Elles les adaptent à leurs besoins.
- Le Fine-Tuning léger (LoRA / QLoRA) sur un modèle de taille moyenne prend entre 1 et 8 heures avec une seule carte graphique professionnelle.
- Le Fine-Tuning complet de tous les paramètres nécessite un cluster de 8 à 32 cartes graphiques durant 2 à 5 jours.
2. Créer un modèle à partir de zéro (Semaines ou mois)
Bâtir un modèle fondateur exige un effort colossal. Les géants de la technologie visent des cycles de calcul continu de 50 à 100 jours.
- Llama 3 (405 milliards de paramètres) a nécessité 54 jours de calcul non-stop.
- GPT-4 a demandé entre 90 et 100 jours pour son pré-entraînement initial.
Pourquoi ne pas multiplier les serveurs pour réduire ce temps à quelques jours ? La physique impose ses limites.
Le goulot d’étranglement réseau freine la vitesse. Les milliers de puces doivent synchroniser leurs calculs chaque fraction de seconde. Trop de machines provoquent une surcharge de communication sur les câbles réseau.
Les pannes matérielles perturbent le flux. Durant l’entraînement de Llama 3, l’équipe a subi 466 interruptions dues à des défaillances physiques. Il a fallu relancer le processus à de multiples reprises.
Enfin, la stabilité du réseau électrique vacille sous la charge. Les pics d’énergie obligent parfois les ingénieurs à brider la vitesse pour préserver l’infrastructure.