J’ai passé ces derniers mois à tester à peu près toutes les configurations possibles pour faire tourner Ollama en local. J’ai commencé sur mon vieux PC portable, puis je suis passé sur une tour dédiée, avant de bidouiller un serveur et de tester l’écosystème Mac.
Si vous essayez de dimensionner votre config pour faire tourner des LLM chez vous, voici un retour d’expérience sans langue de bois sur les exigences matérielles réelles d’Ollama.
La règle d’or : Tout est une question de VRAM (et de bande passante)
Soyons clairs : Ollama n’impose pas obligatoirement d’avoir un GPU. Vous pouvez tout à fait le lancer sur votre CPU seul. Mais honnêtement, à moins que vous n’aimiez voir s’afficher un mot toutes les dix secondes (oui, j’ai testé au début, c’est d’une lenteur à pleurer), un GPU compatible est indispensable pour obtenir une vitesse de génération décente.
Pourquoi ? Parce que pour fonctionner rapidement, l’intégralité du modèle d’IA doit être chargée directement dans la mémoire de votre carte graphique (la VRAM). La bande passante de cette mémoire est ce qui détermine la vitesse à laquelle les tokens s’affichent sur votre écran.
Comment calculer vos besoins réels en VRAM ?
La règle empirique que j’applique toujours est de prévoir 1,2 fois la taille du fichier du modèle quantifié. Ces 20 % de marge supplémentaire sont cruciaux pour stocker le contexte de la discussion (l’historique du chat) et gérer la surcharge de traitement.
Pour faire vos calculs vous-même selon les quantifications :
- En q4 (le format par défaut d’Ollama) : Comptez environ 0,5 Go de VRAM par milliard de paramètres (ex: Llama 3 8B = 4 Go de base + 20% = ~4,8 Go minimum).
- En q8 : Comptez 1 Go par milliard de paramètres.
- En fp16 (non quantifié) : Comptez 2 Go par milliard de paramètres.
En pratique, voici ce que cela donne pour les modèles par défaut (quantifiés en 4-bit) :
- Modèles Tiny/Small (1B à 3B — ex: Llama 3.2 3B, Phi-3) : Il vous faut 4 à 6 Go de VRAM. Une simple RTX 3050 ou une RTX 4060 Laptop fait l’affaire.
- Modèles Standard (7B à 9B — ex: Llama 3.1 8B, Mistral 7B) : Visez 8 à 12 Go de VRAM. C’est le terrain de jeu des RTX 3060 (12 Go) ou RTX 4070 (12 Go).
- Modèles Medium (14B à 32B — ex: Qwen 2.5 14B, DeepSeek R1 32B) : Prévoyez 12 à 24 Go de VRAM. Une RTX 4060 Ti (16 Go) ou une RTX 4090 (24 Go) sera nécessaire.
- Modèles Large (70B+ — ex: Llama 3.3 70B, DeepSeek R1 70B) : C’est la cour des grands, il vous faut 48 Go de VRAM ou plus. On parle ici de configurations multi-GPU (2x RTX 3090/4090), d’un Mac Studio (64 Go/128 Go) ou de cartes pro comme la RTX A6000.
Que se passe-t-il si vous manquez de VRAM ?
Si le modèle fait 10 Go et que vous n’avez qu’un GPU de 8 Go, Ollama ne va pas planter. Il va découper le modèle couche par couche, en envoyer 7 Go sur le GPU et déverser les 3 Go restants dans la RAM de votre système (gérée par le CPU). Le modèle tournera, mais votre vitesse de génération va s’effondrer dès que les données devront faire l’aller-retour entre la RAM et la VRAM.
Quel GPU choisir selon votre profil ?
1. Sur un PC de bureau (Le choix de la flexibilité)
C’est la meilleure plateforme. Vous pouvez faire évoluer votre matériel, et Ollama gère nativement le pooling multi-GPU (il additionne la VRAM de vos cartes installées).
- Le roi incontesté : La RTX 4090 (24 Go). C’est le top du grand public. Sa bande passante mémoire ultra-rapide (GDDR6X) génère du texte plus vite que vous ne pouvez le lire. Elle fait tourner du 8B instantanément, du 32B à haute vitesse, et permet de pousser de petits modèles 70B très quantifiés.
- Le bon plan des développeurs : La RTX 3090 (24 Go) d’occasion. C’est à mon avis le choix le plus intelligent. Elle offre les mêmes 24 Go de VRAM que la 4090 pour bien moins cher. Sa bande passante (~940 Go/s) est monstrueuse. Mieux encore : acheter deux 3090 d’occasion vous offre 48 Go de VRAM combinés pour faire tourner des modèles 70B confortablement, le tout pour un tarif inférieur à une seule 4090 neuve.
- Milieu de gamme / Petit budget :
- RTX 4060 Ti (version 16 Go) (~400 €) : C’est le ticket d’entrée le moins cher pour avoir 16 Go de VRAM sur du matériel récent et très économe en énergie. Parfait pour les modèles de 14B.
- RTX 3060 (12 Go) (~300 €) : L’option ultra-budget. Ses 12 Go logent parfaitement les modèles d’écriture et de code en 8B.
(Note sur AMD : Bien qu’une RX 7900 XTX de 24 Go soit excellente sur le papier, NVIDIA reste recommandé pour Ollama en raison de la maturité de l’écosystème CUDA et d’une prise en charge logicielle sans aucune friction).
2. Sur ordinateur portable (Attention au piège de Windows)
Oubliez les PC portables Windows orientés “gaming” pour de l’IA locale intensive. Les versions mobiles des GPU NVIDIA ont une VRAM bridée (une RTX 4090 Mobile n’a que 16 Go de VRAM, pas 24), ils chauffent énormément et finissent par brider leurs performances pour ne pas fondre. Si vous devez absolument rester sur Windows portable, ne prenez rien en dessous d’une RTX 4080 Mobile (12 Go).
- Le grand vainqueur sur portable : Apple Silicon (MacBook Pro M-Series Pro ou Max avec 64 Go ou 128 Go de RAM).
Grâce à l’architecture de mémoire unifiée d’Apple, le CPU et le GPU partagent la même mémoire système. Si vous achetez un MacBook avec 128 Go de RAM, la puce graphique peut allouer jusqu’à environ 96 Go de cette RAM comme de la VRAM. C’est le seul moyen de faire tourner un modèle de 70B paramètres sur un ordinateur portable posé sur ses genoux.
3. Pour un serveur de maison (Home Server dédié)
Si vous montez une machine qui va tourner dans un placard ou une baie, vos ennemis sont la consommation électrique au repos et l’espace physique. Installer plusieurs énormes cartes graphiques grand public de 3 slots d’épaisseur est un cauchemar thermique.
- Le choix pro : La NVIDIA RTX A4000 (16 Go). C’est une carte de station de travail au format “single-slot” (très fine) qui ne consomme que 140W. On peut facilement en aligner 2, 3 ou 4 dans un boîtier serveur pour accumuler une tonne de VRAM sans faire disjoncter la maison.
- Le plan “bricolo” : La NVIDIA Tesla P40 (24 Go) d’occasion. On en trouve à moins de 200 € sur le net. C’est une carte de data center qui offre 24 Go de VRAM pour une bouchée de pain. Par contre, il n’y a pas de ventilateur intégré (il faut en bricoler un soi-même en l’imprimant en 3D) et cela demande quelques ajustements logiciels pour contourner les limitations de son ancienne architecture.
Compatibilité matérielle et configuration logicielle
Pour que le traitement soit bien redirigé vers votre matériel, vérifiez que vous disposez des bons composants et pilotes :
- NVIDIA : Requis Compute Capability 5.0 ou supérieur (famille GeForce GTX 900 et plus récent). Fonctionne via CUDA. Sous Windows, assurez-vous d’avoir le pilote 551.61 ou supérieur. Sous Linux, installez le pilote propriétaire standard.
- AMD : Requis matériel compatible ROCm v7 / HIP7 ou pilotes compatibles Vulkan (cartes Radeon RX 6000/7000 et accélérateurs Instinct). Sous Linux, installez l’utilitaire
amdgpu-install. - Apple Silicon : Optimisé d’origine via l’API Metal et le framework MLX.
- Intel : Pris en charge via le backend IPEX-LLM pour les puces graphiques Intel Arc dédiées et les puces intégrées récentes.
Comment forcer Ollama à utiliser votre GPU ?
Il arrive parfois qu’Ollama ne détecte pas correctement la carte et bascule par défaut sur le CPU. Voici comment régler le problème selon votre système.
Sur Linux (Service Systemd)
Si Ollama tourne en arrière-plan comme service, il se peut qu’il ait démarré avant que vos pilotes GPU ne soient chargés.
Modifiez la configuration du service :
sudo systemctl edit ollama.serviceAjoutez ces lignes à l’intérieur pour forcer la visibilité de votre carte :
Pour NVIDIA :
[Service]
Environment="CUDA_VISIBLE_DEVICES=0"Pour AMD :
[Service]
Environment="HIP_VISIBLE_DEVICES=0"Sauvegardez, puis rechargez et redémarrez le service :
sudo systemctl daemon-reload
sudo systemctl restart ollamaSur Windows (Invite de commandes)
- Fermez complètement l’application Ollama depuis la barre des tâches (clic droit sur l’icône -> “Quit”).
- Ouvrez une invite de commandes (cmd) et forcez la variable d’environnement avant de lancer l’instance :
Pour NVIDIA :
set CUDA_VISIBLE_DEVICES=0
ollama servePour AMD :
set HIP_VISIBLE_DEVICES=0
ollama serveVia Docker
Par défaut, un conteneur Docker est isolé du matériel hôte. Vous devez lui donner l’accès à votre GPU lors de sa création.
Pour NVIDIA (nécessite l’installation préalable de NVIDIA Container Toolkit) :
docker run -d --gpus all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollamaPour AMD (ROCm) :
docker run -d --device /dev/kfd --device /dev/dri -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:rocmComment vérifier que ça fonctionne ?
Pour vous assurer que votre GPU travaille dur et que le CPU se repose :
- Lancez un modèle dans un terminal :
ollama run llama3.1 - Ouvrez un autre terminal et surveillez votre matériel pendant que vous posez une question :
- NVIDIA : Lancez la commande
nvidia-smi. Regardez l’utilisation de la VRAM et vérifiez qu’un processus nommé “ollama” apparaît bien dans la liste en bas de l’écran. - AMD : Lancez
rocm-smisous Linux, ou surveillez l’onglet Performance de votre Gestionnaire des tâches Windows (rubrique Mémoire GPU dédiée). - Mac : Ouvrez le Moniteur d’activité, appuyez sur
Cmd + 4pour afficher l’historique du GPU et observez l’activité s’emballer lors des réponses.
Si vous avez des questions sur un modèle particulier ou un GPU que vous visez, n’hésitez pas à demander en commentaire !