Vous cherchez un grand modèle de langage réellement libre, sans restrictions commerciales cachées ni données d’entraînement gardées secrètes ? La quasi-totalité des modèles populaires présentés comme « ouverts » relèvent en réalité des poids ouverts (open-weights). Cette sélection présente 5 projets majeurs qui respectent les critères stricts de la science ouverte et publient l’intégralité de leurs ressources, du code aux jeux de données, conformément aux principes de l’Open Source Initiative.
Poids ouverts ou vrai open source : la distinction indispensable
La confusion entretenue par l’industrie repose sur un glissement de vocabulaire. Des modèles majeurs comme Llama 4 (Meta), Qwen 3 (Alibaba), Gemma 4 (Google) ou DeepSeek V4 sont souvent qualifiés d’open source. Ce sont en réalité d’excellents modèles à poids ouverts. Vous pouvez les télécharger et les exécuter sur votre propre machine, mais leurs données d’entraînement précises restent secrètes. Leurs licences imposent également des garde-fous stricts, comme des seuils maximaux d’utilisateurs ou l’interdiction formelle d’utiliser leurs réponses pour entraîner d’autres architectures.
D’autres modèles adoptent des licences très permissives (Apache 2.0 ou MIT), à l’image de GLM 5.2 ou GPT OSS 120B, sans pour autant rendre public l’ensemble de leur pipeline de données initial.
Pour qu’un modèle soit reconnu comme pleinement open source selon la charte OSAID 1.0 de l’Open Source Initiative (OSI), l’organisme créateur doit obligatoirement fournir trois éléments :
- Les poids du modèle : l’ensemble des paramètres issus de l’entraînement.
- Le code source complet : l’architecture logicielle, les scripts d’entraînement, de filtrage des textes et d’inférence.
- Des informations exploitables sur les données : une description transparente et suffisante pour permettre à un tiers de reproduire substantiellement le modèle.
| Composant ou droit | Pleinement Open-Source | Poids Ouverts (Open-Weights) |
|---|---|---|
| Poids du modèle | Disponibles publiquement | Disponibles publiquement |
| Code d’entraînement | Entièrement partagé | Souvent gardé secret |
| Données d’entraînement | Sources détaillées et partagées | Secrètes ou non reproductibles |
| Licence d’utilisation | Permissive (ex. Apache 2.0, MIT) | Restrictions commerciales ou d’usage |
Les 5 projets phares du « True Open-Source »
1. La suite OLMo (Allen Institute for AI)
Développé par l’organisme à but non lucratif Allen Institute for AI (AI2), le projet OLMo (Open Language Model) représente l’approche la plus stricte en matière de transparence scientifique. Contrairement aux laboratoires commerciaux, AI2 distribue chaque composant sans rétention d’information.
- Les corpus de données : AI2 fournit
Dolma(un jeu de 3 000 milliards de tokens) etDOMA, composés de textes web filtrés, de code informatique et de publications scientifiques. Pour la phase d’alignement et d’instructions, le datasetDessert Dolidévoile les dialogues utilisés pour calibrer la politesse et la structure des réponses. - Le code de filtrage : Les scripts de déduplication, d’exclusion des contenus toxiques et d’anonymisation des données personnelles sont intégralement accessibles.
- Les modèles disponibles : La suite comprend OLMo 1 et sa déclinaison Mixture of Experts
OLMoE(conçue pour tourner en local ou sur mobile), la gamme OLMo 2 (déclinée en 1B, 7B, 13B et 32B), ainsi qu’OLMo 3. La version OLMo 2 32B égale ou dépasse des modèles comme GPT-3.5-Turbo ou GPT-4o mini sur plusieurs évaluations de référence. OLMo 3 introduit des variantes d’entraînement rapides et des versions axées sur le raisonnement intermédiaire, telles qu’OLMo 3-Think 32B. - L’auditabilité du cycle de vie : AI2 publie plus de 500 sauvegardes d’étapes (checkpoints), enregistrées tous les 1 000 pas d’entraînement. Le code d’entraînement est regroupé dans
OLMo-coresur GitHub et les tests s’appuient sur la suite d’évaluationCatwalk.
Retrouvez l’ensemble des ressources directement sur le site de la suite OLMo.
2. Le projet Pythia (EleutherAI)
Mené par le collectif de recherche à but non lucratif EleutherAI, Pythia n’a pas été conçu pour battre des records de vitesse brute, mais pour servir d’outil d’observation scientifique. Il permet de disséquer la manière dont un modèle mémorise des données et acquiert des compétences au fil du temps.
- Une architecture standardisée : Pythia réunit 16 modèles allant de 70 millions à 12 milliards de paramètres. Ils partagent exactement la même architecture et les mêmes hyperparamètres. Les modèles sont séparés en deux groupes distincts pour étudier scientifiquement l’impact des données brutes face à des données modifiées ciblant les biais de genre.
- Des radiographies de l’apprentissage : EleutherAI met à disposition 143 sauvegardes intermédiaires (plus de 150 étapes documentées selon le suivi global) pour chacun des 16 modèles. Cela permet d’identifier l’instant précis où le système assimile une règle grammaticale, retient une information privée ou développe un biais éthique.
- Le jeu de données The Pile : D’une taille de 825 Go, ce corpus regroupe 22 sous-ensembles (PubMed, arXiv, GitHub, Wikipédia, décisions de justice américaines). Malgré des débats juridiques postérieurs autour du droit d’auteur sur The Pile, le projet documente précisément la chronologie et l’ordre exact d’introduction des documents.
- Licence et exécution : L’ensemble de la suite est distribué sous licence permissive Apache 2.0 et repose sur le moteur d’entraînement
GPT-NeoXaccessible sur GitHub.
3. Le consortium LLM360 (Amber et CrystalCoder)
Né d’une coopération entre des équipes académiques et des laboratoires indépendants (notamment rattachés à l’Université de MBZUAI), le consortium LLM360 défend une visibilité intégrale à 360 degrés sur la création d’un modèle.
- Les modèles publiés : Le consortium propose
Amber-7B(modèle généraliste basé sur l’architecture LLaMA) etCrystalCoder-7B(conçu pour traiter conjointement le code et le texte). - Une diffusion sans angle mort : Tous les éléments sont régis par la licence Apache 2.0. LLM360 publie les scripts de configuration, le code, la totalité des checkpoints intermédiaires, les matrices d’évaluation et le corpus complet de pré-entraînement cumulant 1,3 billion de tokens.
4. EuroLLM et OpenEuroLLM (L’alternative européenne souveraine)
Issu du projet de recherche européen UTTER et élargi au sein de l’alliance OpenEuroLLM, ce consortium réunit des chercheurs et des PME financés par des fonds publics. Son objectif consiste à concevoir des modèles de base qui réduisent la dépendance envers les technologies américaines ou chinoises, souvent biaisées en faveur de l’anglais.
- Une base multilingue native : Les modèles EuroLLM-9B et EuroLLM-22B sont entraînés dès le départ sur les 24 langues officielles de l’Union Européenne, complétées par une dizaine d’autres langues stratégiques. La moitié des données d’entraînement est explicitement non anglophone.
- Conformité réglementaire : Conçus pour respecter les futures exigences de transparence de l’AI Act européen, les outils de traitement
EuroFilteret les scripts de post-entraînementEuroBlockssont ouverts. - Infrastructure et licence : Les calculs ne font pas appel à des clouds privés commerciaux, mais aux supercalculateurs publics du réseau EuroHPC, en particulier LUMI. Les modèles sont distribués sous licence Apache 2.0 sans quota restrictif d’utilisateurs. Les détails techniques du projet et d’initiatives associées comme Apertus font l’objet de travaux partagés sur les plateformes académiques telles qu’OpenReview.
5. Le projet BLOOM (BigScience)
Lancé en 2022, le projet BLOOM constitue le point de départ historique des initiatives ouvertes à très grande échelle. Coordonné initialement par l’entreprise Hugging Face, il a mobilisé plus de 1 000 chercheurs bénévoles issus de 60 pays et de multiples universités publiques.
- Un gigantisme académique : Avec ses 176 milliards de paramètres, BLOOM a été entraîné sur le supercalculateur public français Jean Zay.
- La preuve par l’exemple : À une période où seuls les laboratoires privés disposaient de modèles de cette envergure, BLOOM a démontré qu’un consortium universitaire distribué pouvait entraîner une alternative crédible au modèle GPT-3 original d’OpenAI, tout en publiant sa gouvernance de données et les détails de son architecture.
Pourquoi les modèles pleinement ouverts restent-ils rares ?
Si la communauté scientifique plébiscite ces démarches, plusieurs contraintes matérielles et légales expliquent pourquoi la grande majorité des acteurs industriels s’en tiennent aux poids ouverts :
- Le coût de distribution des données : Héberger, nettoyer et transférer des téraoctets de données textuelles représente des frais d’infrastructure réseau très élevés pour des structures non lucratives.
- Le risque juridique lié au droit d’auteur : Les entreprises privées comme OpenAI, Meta ou Google gardent le contenu précis de leurs datasets secret pour limiter les poursuites judiciaires relatives au copyright. Les projets véritablement ouverts doivent faire le choix complexe de restreindre leurs corpus à des sources strictement publiques ou d’appliquer un nettoyage drastique.
- Le décalage de performance brute : Un modèle astreint à une traçabilité intégrale progresse souvent moins vite que des systèmes commerciaux entraînés sur d’immenses volumes de données opaques avec des budgets colossaux.
Sans ces initiatives ouvertes, l’intelligence artificielle resterait une boîte noire réservée à des intérêts commerciaux. La publication sans filtre des données, des scripts et des étapes d’entraînement permet aux régulateurs, aux sociologues et aux chercheurs d’auditer les biais et d’étudier les mécanismes réels de l’apprentissage machine.