# HyperQwen : Qwen3.8-27B sur une seule carte de 24 Go > HyperQwen sert Qwen3.8-27B avec vLLM sur une carte graphique de 24 Go, avec une API compatible OpenAI, pour un LLM local rapide. - Type : projet open source - Famille : LLM locaux · Serveur de LLM - Habitat : Serveur maison · Docker · GPU 24 Go - Niveau : intermédiaire - Langage : Python - Licence : Apache-2.0 - Étoiles GitHub : 2132 (relevé le 20 octobre 2026) - Source : https://github.com/syv-ai/HyperQwen - Publié le : 20 octobre 2026 - Page : https://geekus.fr/projets/hyperqwen/ HyperQwen est un dépôt open source qui sert le modèle Qwen3.8-27B avec vLLM sur une seule carte graphique grand public de 24 Go. Il expose une API compatible OpenAI, protégée par une clé, et propose deux modes prêts à l'emploi. Sur une RTX 3090 limitée à 250 W, le projet mesure 127 tokens par seconde pour un utilisateur seul et environ 1 035 en cumulé avec 64 requêtes simultanées. ## En bref - Qwen3.8-27B sur une seule carte de 24 Go, avec vLLM - 127 tok/s en mode single, 381 quand la réponse cite le prompt - Environ 1 035 tok/s cumulés à 64 requêtes en mode batch - Lancement par docker compose, API compatible OpenAI avec clé - Licence Apache-2.0, mesures faites sur une RTX 3090 ![HyperQwen en image (tirée de la page du projet)](/illustrations/hyperqwen-2.webp?v=6ad778b3) ## Ce que fait HyperQwen Un modèle de 27 milliards de paramètres demande d'ordinaire du matériel de serveur. HyperQwen vise l'inverse : le faire tourner vite sur la carte que l'on possède déjà. Aujourd'hui, le projet cible Qwen3.8-27B sur une carte de 24 Go, avec un contexte de 150k tokens et une API compatible OpenAI protégée par une clé. Sous cette configuration, le dépôt est en réalité une série de correctifs appliqués à une version figée de vLLM (le serveur d'inférence), plus une chaîne de préparation du modèle. Cette chaîne comprend des têtes de modèle requantifiées, un vocabulaire réduit calibré pour le brouillon et une spéculation qui puise ses brouillons dans le prompt lui-même. ## Comment fonctionne HyperQwen Le gain vient de plusieurs réglages. Le mode single s'appuie sur le décodage spéculatif : 7 brouillons sont proposés par passe et 15 tokens sont vérifiés par étape à partir du contexte. Le mode batch mise plutôt sur un état récurrent en 16 bits et des multiplications de matrices en int8 sur les tensor cores. Le README donne une règle de choix : la spéculation l'emporte en dessous d'environ 8 utilisateurs simultanés, le traitement par lots au-delà. Le projet précise que ce seuil arrive plus tôt sur les longues sessions. ## Quel mode choisir pour traiter plusieurs requêtes Le README distingue cinq configurations, de A à E, qui se résument à quelques lignes du fichier `.env`. Les chiffres ci-dessous viennent de la RTX 3090 à 250 W, sauf mention contraire. Le mode C échange des emplacements de requêtes et du contexte contre de la vitesse, et ne vaut la peine que si la sortie répète vraiment l'entrée. Le README présente B comme le choix sûr par défaut. - A, batch : environ 1 035 tok/s cumulés à 64 requêtes simultanées - B, single par défaut : 127 tok/s pour un flux, contexte de 64k - C, reproduction : 381 tok/s quand la réponse cite le prompt, avec 4 emplacements et 56k de contexte - D, contexte long : 150k de contexte, environ 95 à 100 tok/s - E, contexte énorme : 240k de contexte, 67 tok/s en usage mixte et 164 en citation ## Installer HyperQwen avec Docker Le chemin par défaut est docker compose. Au premier démarrage, le projet télécharge l'image (9,5 Go), puis requantifie le modèle (environ 20 Go, une seule fois, dans `./models`) et sert l'API sur le port 18020. La documentation annonce un premier démarrage de 2 à 15 minutes une fois l'image récupérée. Une carte ne fait tourner qu'un mode à la fois. Par défaut, compose n'ouvre le port que sur `127.0.0.1` : une autre machine ne peut pas s'y connecter tant qu'une clé et `BIND=0.0.0.0` ne sont pas définis. Sous Windows, il faut passer par Docker Desktop et son moteur WSL2 ; il n'existe pas de voie native, car le conteneur et le vLLM modifié sont sous Linux. Avec Docker Desktop sur WSL2, le README demande de garder `VLLM_WSL2_ENABLE_PIN_MEMORY=1` dans `.env`. ```bash git clone https://github.com/syv-ai/HyperQwen && cd HyperQwen cp .env.example .env # PowerShell: Copy-Item .env.example .env docker compose --profile single up -d # one or a few people chatting docker compose --profile batch up -d # API backend, many concurrent requests echo "VLLM_API_KEY=$(openssl rand -hex 24)" >> .env && echo BIND=0.0.0.0 >> .env ``` ## Utiliser l'API locale et ses outils Le serveur répond sur le point d'accès de chat habituel des API compatibles OpenAI. La documentation d'installation indique que l'appel d'outils fonctionne sur le même point d'accès : on envoie `tools` avec `tool_choice` à `auto` et la réponse contient `tool_calls`. Ce comportement se coupe avec `TOOLS=0`. Qwen recommande une température de 0,7 et un top_p de 0,8 en mode instruct, et 1,0 et 0,95 avec la réflexion activée, qui est le réglage par défaut. Un guide du dépôt explique aussi comment brancher des agents de code et des clients au protocole OpenAI. ## Matériel, limites et état du projet Le projet demande une carte NVIDIA de 24 Go de génération Ampere ou plus récente, un pilote récent, Python 3.12 pour l'installation hors conteneur et environ 40 Go de disque. Les cartes Volta et plus anciennes ne peuvent pas faire tourner cette pile, et Turing n'est pas testé. Les mesures viennent d'une seule RTX 3090 partagée avec des tâches d'entraînement ; la carte RTX 5090 reproduit les résultats, tandis que l'architecture sm80 présente une panne de spéculation encore ouverte. Côté multi-GPU, le README indique que TP=2 et TP=4 fonctionnent, alors que TP=3 et PP=3 sont invalides pour ce modèle. Le noyau d'attention qui accélère le préremplissage est réservé à la géométrie exacte de ce modèle ; ailleurs, le projet retombe sur FA2. Selon les chiffres relevés sur GitHub le 20 octobre 2026, le dépôt, créé le 15 août 2026, compte 2 129 étoiles, 290 forks, 32 contributeurs et 8 tickets ou demandes de fusion ouverts. Il est publié sous licence Apache-2.0. ## Quelques repères - **Décodage spéculatif** : Technique où un petit modèle propose plusieurs mots à l'avance et où le gros modèle les vérifie d'un seul coup. Quand les propositions sont justes, la génération va plus vite sans changer le résultat. - **Quantification** : Procédé qui stocke les poids d'un modèle avec des nombres moins précis, donc plus compacts. Le modèle occupe moins de mémoire graphique, au prix d'une légère perte de précision. ## Questions fréquentes ### HyperQwen fait-il tourner Qwen3.8-27B sur une seule carte de 24 Go ? Oui. Le projet sert Qwen3.8-27B avec vLLM sur une seule carte grand public de 24 Go, avec un contexte allant jusqu'à 150k tokens. Les mesures du README ont été faites sur une RTX 3090 à 250 W. ### Quelle vitesse atteint HyperQwen sur une RTX 3090 ? HyperQwen mesure 127 tok/s pour un flux unique en mode single et 381 tok/s quand la réponse cite son propre prompt. En mode batch, il atteint environ 1 035 tok/s cumulés avec 64 requêtes simultanées. ### HyperQwen fonctionne-t-il sous Windows ? Oui, mais seulement via Docker Desktop avec son moteur WSL2. La documentation précise qu'il n'existe pas de voie native Windows, car le conteneur et le vLLM modifié sont sous Linux. ### HyperQwen est-il gratuit et sous quelle licence ? Le code de HyperQwen est publié sous licence Apache-2.0, comme le modèle selon le README. Le projet ne mentionne pas de prix. ## À retenir HyperQwen assemble des correctifs vLLM et une chaîne de préparation du modèle pour servir Qwen3.8-27B sur une carte de 24 Go, avec un mode pour quelques utilisateurs et un mode pour de nombreuses requêtes parallèles. Les chiffres annoncés viennent d'une RTX 3090 à 250 W ; pour d'autres cartes, le projet ne dispose encore que de quelques reproductions externes. Sources : - [syv-ai](https://github.com/syv-ai/HyperQwen) (README) - [docs/quickstart.md](https://github.com/syv-ai/hyperqwen/blob/HEAD/docs/quickstart.md) (documentation officielle) - [docs/install.md](https://github.com/syv-ai/hyperqwen/blob/HEAD/docs/install.md) (documentation officielle) Mots-clés : qwen, vllm, gpu, inférence, quantization, docker --- Fiche publiée par Geekus : https://geekus.fr/projets/hyperqwen/