# llama-modchip : faire tourner un LLM de 284B sur CPU seul > llama-modchip est un moteur d'inférence open source qui fait tourner DeepSeek-V4-Flash (284B) en 64 Go de RAM, sans GPU, pour le LLM local. - Type : actu de l'IA - Famille : LLM locaux · Moteur d'inférence CPU - Habitat : Terminal · Linux, macOS, Windows - Niveau : intermédiaire - Langage : Python - Licence : Apache-2.0 - Étoiles GitHub : 212 (relevé le 8 novembre 2026) - Source : https://github.com/synchopate/llama-modchip - Publié le : 8 novembre 2026 - Page : https://geekus.fr/projets/llama-modchip/ llama-modchip est un moteur d'inférence open source, dérivé de llama.cpp, qui fait tourner de gros modèles de langage sur un processeur seul, sans carte graphique. Son résultat phare : DeepSeek-V4-Flash, 284,33 milliards de paramètres, tient dans 64 Go de RAM avec un contexte de 256K. Le projet vise aussi les modèles de 30 milliards de paramètres et sait brancher Claude Code sur un modèle local. ## En bref - DeepSeek-V4-Flash (284,33B) passe de 76,87 GiB à 56,56 GiB sur disque - 57,61 GiB de mémoire résidente mesurés à 256K de contexte, sans GPU - Génération de 9,06 à 14,7 tok/s sur le 284B, 25,0 à 60,4 tok/s sur Nemotron 30B - La commande ./modchip claude branche Claude Code sur le moteur local - Les modèles Fractal-64 ne s'ouvrent pas dans un llama.cpp non modifié ## Ce que fait llama-modchip Un modèle de 284 milliards de paramètres demande d'ordinaire une ou plusieurs cartes graphiques, ou beaucoup de mémoire. Selon le README de llama-modchip, la version IQ2_XXS de DeepSeek-V4-Flash pèse 76,87 GiB et provoque un manque de mémoire sur un Linux de 64 Go. Le projet cherche à franchir ce mur avec un processeur seul. Le dépôt, publié par synchopate sous licence Apache-2.0, réunit un moteur d'inférence modifié, des scripts de compression de modèles au format GGUF et une commande unique, `./modchip`, pour discuter, mesurer ou convertir. Il couvre aussi des modèles plus petits, comme Nemotron-3.5-30B-A3B ou Qwen3-30B-A3B. ## Comment fonctionne llama-modchip Le premier levier est la compression. Pour DeepSeek-V4-Flash, le projet combine une compression analytique des experts, nommée SwiGLU-H2, et un format de quantification maison, Fractal-64 (3,75 bits par poids). Résultat annoncé : 56,56 GiB sur disque, soit 20,31 GiB de moins, et 58,9 GiB de mémoire résidente à 256K de contexte selon les notes de la version 2.3.0. Le second levier est l'exécution. Les notes de la version 2.4.0 décrivent des noyaux de calcul AVX-512 qui découpent le travail pour tenir dans les registres et les caches du processeur, ainsi qu'un élagage des experts les moins utiles. Un petit modèle de brouillon, nommé Stockfish-PVS, propose des mots à l'avance pour accélérer la génération, avec un taux d'acceptation de 96,4 % annoncé sur Nemotron 30B. ## Vitesses mesurées par le projet Les mesures du README viennent surtout d'un processeur AMD Zen 5 à 16 cœurs, avec 64 Go de DDR5 et aucun GPU. Sur DeepSeek-V4-Flash, la lecture du prompt atteint 44,36 tok/s (un tok/s est un token, un morceau de mot, par seconde). La génération va de 9,06 à 9,95 tok/s en mode sans perte, jusqu'à 10,74 tok/s avec des experts élagués, et de 11,5 à 14,7 tok/s avec le brouillon Stockfish-PVS. Sur Nemotron-3.5-30B-A3B, compressé à 14,35 GiB, le README annonce 25,0 à 60,4 tok/s sans GPU. Le tableau de la communauté cite aussi 111,62 tok/s sur un Threadripper à 8 puces mémoire, en pic avec le brouillon. Ces chiffres sont ceux de l'auteur et de contributeurs, pas de tests indépendants. ## Installer et essayer llama-modchip Sous Linux et macOS, l'installation et le premier chat tiennent en trois commandes. Le README précise qu'il existe aussi un binaire précompilé pour Linux x86_64, livré avec les modèles sur Hugging Face, et un pack pour Windows qui règle la répartition entre GPU et CPU. Avant de télécharger quoi que ce soit, un script permet de vérifier si ton processeur convient. Les autres commandes de `./modchip` couvrent le chat dans le navigateur, un test de vitesse de 30 secondes, une évaluation de qualité et la conversion de GGUF vers Fractal-64. - `./modchip web` : chat dans le navigateur avec télémétrie en direct - `./modchip bench` : test de vitesse et fiche de résultats à partager - `./modchip quantize` : conversion de GGUF en Fractal-64 ou Fractal-MXFP4 - `./modchip claude` : lance Claude Code sur le moteur local ```bash git clone https://github.com/synchopate/llama-modchip.git cd llama-modchip ./modchip chat ``` ## Utiliser Claude Code avec un modèle local Sur processeur, un agent comme Claude Code souffre d'un défaut : à chaque tour, il faut relire tout le prompt, ce qui prend environ 45 secondes selon le README. llama-modchip enregistre l'état du cache dans `/dev/shm` et le restaure en 18,9 ms sur Nemotron-30B, de 13,1 à 32,6 ms sur DeepSeek-284B. La commande `./modchip claude` lance Claude Code avec ses 40 outils, relié au moteur local à 256K de contexte. Le README ne détaille pas ici la qualité des réponses de ces modèles face à un service en ligne. ## État du projet et précautions avant de se lancer Le dépôt a été créé le 29 octobre 2026 et compte un seul contributeur. Au 8 novembre 2026, il affiche 218 étoiles, 18 copies et 5 tickets ou demandes de fusion ouverts. La dernière version, la 2.4.0, date du 4 novembre 2026. Une limite importante : les modèles Fractal-64 utilisent un type de tenseur personnalisé et ne s'ouvrent pas dans un llama.cpp, [Ollama](https://geekus.fr/projets/ollama/) ou LM Studio non modifié, qui affichent l'erreur unknown tensor type 40. Il faut passer par `./modchip` ou par le binaire fourni. Le README ne donne pas de configuration minimale au-delà des 64 Go de RAM pour le 284B. ## Quelques repères - **Modèle MoE** : Un modèle à mélange d'experts contient de nombreux sous-réseaux spécialisés, dont seule une petite partie travaille pour chaque mot produit. Il est donc plus léger à exécuter que sa taille totale ne le laisse penser. - **Quantification** : Technique qui stocke les poids d'un modèle avec moins de bits. Le fichier devient plus petit et plus rapide à lire, au prix d'une légère perte de précision. - **Contexte** : Quantité de texte que le modèle garde en vue pendant une conversation, mesurée en tokens. Plus il est grand, plus la mémoire nécessaire augmente. ## Questions fréquentes ### llama-modchip peut-il faire tourner DeepSeek-V4-Flash sans carte graphique ? Oui. Selon son README, llama-modchip fait tenir DeepSeek-V4-Flash (284,33B) dans 64 Go de RAM, avec 57,61 GiB de mémoire résidente à 256K de contexte et aucun GPU. La génération va de 9,06 à 14,7 tok/s selon le mode. ### Quelle quantité de RAM faut-il pour llama-modchip avec un modèle de 30B ? Nemotron-3.5-30B-A3B compressé occupe 14,35 GiB sur disque, et le README le recommande pour des machines de 16 à 32 Go. Il annonce de 25,0 à 60,4 tok/s sans GPU. ### Peut-on ouvrir les modèles de llama-modchip dans Ollama ou LM Studio ? Non. Les modèles Fractal-64 utilisent un type de tenseur personnalisé et échouent avec l'erreur unknown tensor type 40 dans un llama.cpp, Ollama ou LM Studio non modifié. Il faut utiliser `./modchip` ou le binaire précompilé fourni. ### llama-modchip est-il gratuit et open source ? Oui. Le projet est publié sous licence Apache-2.0 sur GitHub. Le README ne mentionne aucun prix. ## À retenir llama-modchip fait tenir DeepSeek-V4-Flash dans 64 Go de RAM sans GPU, avec 57,61 GiB mesurés à 256K de contexte et 9,06 à 14,7 tok/s en génération. Les chiffres viennent de l'auteur et de contributeurs, et les modèles Fractal-64 exigent le moteur modifié du projet. Sources : - [synchopate](https://github.com/synchopate/llama-modchip) (README) - [GitHub](https://github.com/synchopate/llama-modchip/releases) (notes de version) Mots-clés : cpu, moe, deepseek, llama.cpp, gguf, claude code --- Fiche publiée par Geekus : https://geekus.fr/projets/llama-modchip/