IAGentic

Journal de veille sur l'usage appliqué de l'IA, chez soi et en entreprise : ce qu'on lui fait faire, ce qu'il faut pour commencer, ce que ça coûte et où ça casse.

outil

tandem.cpp décode DeepSeek-V4.1 à 14,2 tokens par seconde

Le jeu de correctifs tandem.cpp garde les experts les plus appelés en mémoire graphique et laisse le processeur servir les autres. DeepSeek-V4.1-Flash, dont 139 GiB d'experts dépassent la mémoire de la machine, passe de 7,4 à 14,2 débittokens par secondeNombre de tokens produits par seconde en génération. Avec le temps d'attente du premier token, c'est le chiffre qui dit si un modèle est utilisable au quotidien sur une machine donnée.Fiche du lexique sur une RTX 5070 Ti de 16 Go, et Qwen3.8-Flash-Next de 14,9 à 34,3 sur la même carte avec 32 Go de mémoire vive.

par Gyom 15 novembre 2026 à 13:05 4 min de lecture rubrique : Machines et coûts

etiquettes : Local · GPU · Coût

Une longue bicyclette tandem vue de profil, deux selles, deux paires de pédales, cadre magenta et garde-boue moutarde, dessinée à l'encre sur fond crème avec des ombres cyan.

tandem.cpp est un jeu de correctifs appliqué à llama.cpp, pas un moteur séparé : il se construit en clonant llama.cpp au commit f5222f25c du 28 octobre, en appliquant tandem.patch et en compilant llama-server. Son objet est le décodage à un seul utilisateur, sur une carte de 16 à 32 Go dont la mémoire ne peut pas contenir le modèle. Les experts les plus appelés restent en mémoire graphique, les autres sont servis par le processeur depuis la mémoire vive, et les tableaux publiés le 15 novembre comptent les tokens par seconde sur des questions GSM8K.

Un cache d'experts qui additionne la VRAM et la RAM

Depuis le 13 novembre, quand un modèle est bien plus gros que la mémoire vive, le patch traite les deux mémoires comme un seul cache d'experts : il en garde une partie sur la carte et le reste en RAM, si bien que le SSD est sollicité pour beaucoup moins de poids. Le basculement est automatique au-delà de 85 % de la mémoire occupée par les experts, et la variable LLAMA_mixture d'expertsMoEArchitecture où seuls quelques sous-réseaux, appelés experts, sont activés pour chaque token. Le modèle affiche beaucoup de paramètres mais n'en utilise qu'une fraction à chaque passage.Fiche du lexique_STORE_AUTO=0 le désactive. Deux gigaoctets restent libres pour les autres programmes de la machine.

29,8 à 97,3 tokens par seconde sur une RTX 4090

Sur une RTX 4090 de 24 Go avec 64 Go de mémoire et un i5-12400F, Qwen3.8-Flash-Next en IQ3_S avec sa tête de prédiction multi-tokenPlus petite unité de texte qu'un modèle manipule. Un mot courant tient souvent en un seul, un mot rare se découpe en plusieurs morceaux. Les prix, les limites et les débits s'expriment en tokens, pas en mots.Fiche du lexique, 78 GiB de poids, passe de 29,8 à 97,3 tokens par seconde en décodage gourmand, soit 3,3 fois llama.cpp, et de 29,4 à 96,1 avec l'échantillonnage que le modèle recommande. gpt-oss-120b en MXFP4 sur la même machine monte de 27,8 à 51,5. Sur une RTX 5070 Ti de 16 Go avec 32 Go de mémoire, le même Qwen3.8 passe de 14,9 à 34,3 tokens par seconde, 2,3 fois llama.cpp et 1,13 fois Strata, avec la moitié des lectures SSD de Strata et un premier token plus rapide.

139 GiB d'experts sur 64 Go de mémoire

DeepSeek-V4.1-Flash en IQ2_XS porte 139 GiB d'experts, plus que la mémoire vive de la machine de test. Sur une RTX 5070 Ti de 16 Go avec 64 Go de mémoire, tandem.cpp décode 14,2 tokens par seconde contre 7,4 pour llama.cpp, soit 1,9 fois, et 10,4 pour Strata. Avec deux cartes, une 5070 Ti et une 5060 Ti, il atteint 16,9. Sur une RTX 5090 de 32 Go avec 128 Go de mémoire, la même quantificationquantizationRéduction de la précision des poids et parfois des calculs, de seize bits vers huit, quatre ou moins. Elle fait tenir un modèle en mémoire et accélère le débit, en échange d'une perte de qualité qui se voit d'abord sur les petits modèles.Fiche du lexique passe de 11,5 à 33,1 tokens par seconde, 2,9 fois llama.cpp, contre 28,0 pour Strata. Le traitement des invites suit, de 1,4 à 1,8 fois plus vite sur une invite de 64 000 tokens.

Trois noyaux partagés entre CUDA et ROCm, 2,5 % sur une Radeon

La version du 15 novembre touche trois noyaux écrits une fois pour CUDA et pour HIP : les résultats de routage reviennent au processeur en une copie au lieu de trois, le mélange des hyper-connexions va plus vite et les copies d'état sont fusionnées. En comparaison avant et après sur la même machine, Qwen3.8 à un seul utilisateur gagne 2,5 % sur une RX 7900 XTX et 1,3 % sur une RTX 5070 Ti. La compilation AMD passe par HIP avec GGML_HIP=ON, GGML_HIP_GRAPHS=ON et GPU_TARGETS réglé sur la carte, gfx1100 pour une RX 7900 : sans les graphes, chaque noyau se lance séparément.

Le défaut connu du 15 novembre, à 128 Go de mémoire

Le README signale le jour même un défaut sur les machines à 128 Go de mémoire qui chargent un modèle plus gros que la RAM : le magasin en mémoire se dimensionne trop près du total, et le serveur est tué au chargement ou la machine cesse de répondre. La ligne à 33,1 tokens par seconde de DeepSeek-V4.1 sur la RTX 5090 a été mesurée avec LLAMA_MOE_STORE_AUTO=0, le contournement indiqué. Les machines de test à 32 et 64 Go ne sont pas touchées.

Strata en mode exact, un seul utilisateur à la fois

Strata, l'autre moteur de déport d'experts cité en référence, ignore par défaut les experts les moins bien classés : cela va plus vite et change le résultat, et ce mode atteint 127,1 tokens par seconde sur la ligne Qwen3.8 de la RTX 4090. Les colonnes Strata du tableau utilisent le mode exact, STRATA_ROUTE_TAIL_SKIP=0, où tous les experts routés sont calculés, comme dans llama.cpp et tandem.cpp. Les chiffres ne valent que pour un utilisateur : pour servir plusieurs flux simultanés sur une grosse carte, le README renvoie à Tandem-vLLM. Ils portent sur des questions GSM8K, avec la quantization indiquée et la tête de prédiction multi-token.

Source primaire ewhacc, « tandem.cpp », dépôt GitHub, notes de version du 15 novembre 2026

Retour au journal