NVIDIA mesure où passe le coût de l'attention creuse à 128K
NVIDIA publie le 17 novembre une note de co-conception sur l'attention creuse, la technique qui limite chaque requête aux quelques milliers de clés les plus pertinentes. Sur DeepSeek V3.2 à 128 000 tokens de fenêtre de contextecontexteQuantité de tokens qu'un modèle peut lire d'un seul coup, question et réponse comprises. Au-delà, il faut découper, résumer ou chercher ailleurs.Fiche du lexique, l'indexeur qui choisit ces clés et le Top-k qui les trie occupent 47 % du temps de la couche en préremplissage sur une carte graphique NVIDIA : le coût du contexte long a déménagé de l'attention vers la sélection. Huit réglages mesurés sur un noyau FP8 de production disent où le placer.
par Gyom 18 novembre 2026 à 13:01 6 min de lecture rubrique : Machines et coûts
etiquettes : Hébergé · GPU · Coût
L'attention dense compare chaque requête à toutes les clés, et son coût par requête suit la longueur du contexte : à 128 000 tokens, elle peut prendre l'essentiel du préremplissage d'une couche. L'attention creuse garde la même mécanique et change un point : chaque requête n'assiste qu'aux k clés les plus pertinentes, quelques milliers en pratique. Le calcul de l'attention cesse alors de croître avec le contexte. Mais il faut trouver ces k clés, et le composant qui les trouve, l'indexeur, note toujours les N clés. Timmy Liu, Nidhi Bhatia, Samkit Jain, Makesh Tarun Chandran et Bita Darvish Rouhani signent la note, qui s'appuie sur un noyau FP8 de production et donne la mesure derrière chaque règle.
Trois étages, dont un seul suit encore le contexte
La chaîne compte trois étages. L'indexeur note chaque clé, le Top-k garde les k meilleures, l'attention centrale fait le softmax sur ces k clés et leurs valeurs. Les deux derniers étages suivent k, l'indexeur suit N. Sur DeepSeek V3.2, dont la couche mêle attention creuse et indexeur, l'indexeur et le Top-k prennent 47 % du temps de préremplissage de la couche à 128 000 tokens. La comparaison est fournie à côté : DeepSeek-R1, en attention dense, n'a pas d'indexeur du tout.
- L'indexeur note les N clés, avec un logit par clé après un ReLU et une somme pondérée sur les têtes de requête.
- Le Top-k parcourt ces logits sur cœurs CUDA et garde les k plus grands, par requête.
- L'attention centrale, elle, ne travaille plus que sur ces k clés et valeurs.
L'intensité arithmétique suit la taille du groupe
L'indexeur est un produit matriciel par lots avec un épilogue fusionné. Sa rentabilité se lit en intensité arithmétique, le rapport des opérations aux octets déplacés, qui vaut proportionnellement à G, le nombre de têtes de requête ramenées sur une même tête de clé. En préremplissage, les termes de lecture des requêtes et des clés s'effacent comme l'inverse de la longueur, et seule l'écriture des logits survit ; en décodage, c'est la lecture du cache de clés qui commande.
La conséquence est mesurable. En décodage, faire passer G de 1 à 16 ne bouge le temps que de 2 %, parce qu'une seule lecture du cache fixe le régime. En préremplissage, doubler G de 8 à 16 coûte 1,66 fois et non 2 fois, l'écriture des logits en FP32 pesant encore lourd à petit G. Au-delà de G = 16, le produit matriciel reprend la main et le temps suit G.
Une tuile de 200 lignes à ne pas dépasser
Une tuile de Tensor Core tient 256 lignes de requêtes, et la pression sur les registres ramène la tuile utile à environ 200 lignes quand l'épilogue écrit en FP32. Le produit de G par D+1, où D est le nombre de tokens brouillons du décodage spéculatif, doit tenir sous ce plafond : six tokens de requête à G = 32, vingt-six à G = 8, pour un temps qui monte alors de 1,37 fois et 1,87 fois pendant que le travail est multiplié par six et par vingt-six. Au-delà, les lignes ne tiennent plus dans la tuile, le noyau lance plus de blocs de calcul, et le temps saute.
Un épilogue en FP16 élargit la tuile à 256 lignes et rend 1,31 fois à G = 64 avec quatre tokens brouillons. L'accumulation en FP16 atteint 1,45 fois, à condition que la mise à l'échelle des scores garde les sorties du produit dans la plage FP16.
Une tête de clé, pas huit : 7,6 fois moins de temps en décodage
Chaque tête de clé supplémentaire relit tout le cache et écrit son propre jeu de logits. En décodage, le temps croît donc linéairement avec le nombre de têtes de clé : 7,6 fois de une à huit. En préremplissage, l'écart reste de 1,3 à 1,6 fois, les lectures de clés pesant peu devant l'écriture des logits. La règle qui en sort : une seule tête de clé, avec réduction sur les G têtes de requête, pour n'écrire qu'un logit par clé.
La dimension de tête se place au même endroit. En préremplissage, passer de 64 à 128 ne coûte que 1,1 à 1,2 fois, parce que l'épilogue sur les cœurs CUDA fait attendre les Tensor Cores ; au-delà de 128, le temps suit les opérations. En décodage, chaque octet de clé en plus se lit, donc le temps monte partout. Les concepteurs se fixent à 128, parfois 256.
Le Top-k paie le nombre de clés notées
Le Top-k est un tri sur cœurs CUDA, et son coût dépend de ce qu'il parcourt. Chaque doublement du nombre de clés notées coûte environ 1,7 fois en préremplissage et 1,5 fois en décodage ; garder 64 fois plus de clés coûte moins de 2 fois en préremplissage et 1,7 fois en décodage. Le levier est donc celui de l'indexeur : moins de clés notées. La compression du cache d'index, l'indexation hiérarchique et le partage d'index entre couches font ce travail, sans changer l'intensité arithmétique.
Deux techniques de noyau s'ajoutent. La première reprend le résultat du pas de décodage précédent comme hypothèse et le vérifie en une passe sur les logits : Guess-Verify-Refine Top-k, dans TensorRT LLM, va 2,1 à 2,4 fois plus vite qu'un tri radix classique sur DeepSeek V3.2 et DeepSeek V4. La seconde fusionne le Top-k dans l'indexeur, ce qui supprime l'écriture puis la relecture des logits ; le chemin selective Top-k de FlashInfer note, réduit et filtre dans un seul noyau.
Des blocs de clés plutôt que des tokens isolés
Le choix entre sélection par tokenPlus petite unité de texte qu'un modèle manipule. Un mot courant tient souvent en un seul, un mot rare se découpe en plusieurs morceaux. Les prix, les limites et les débits s'expriment en tokens, pas en mots.Fiche du lexique et par bloc laisse le calcul de l'indexeur intact et déplace le prix vers le noyau d'attention centrale. Avec des tokens isolés, chaque paire d'attention retenue coûte une adresse et une lecture séparée, et deux requêtes partagent rarement leur lecture. Avec des blocs contigus, une adresse sert tout un bloc, lu d'un coup, puis réutilisé par toutes les requêtes qui l'ont choisi. La taille du bloc fixe ensuite le prix : à budget constant de 2 048 clés par requête, diviser la taille du bloc par deux double presque le temps, chaque bloc ajoutant un chargement de requête, un résultat partiel et une fusion.
Le partage de têtes joue dans le même sens. En attention dense, un bloc lu sert tous les tokens ; en attention creuse, chaque token choisit ses blocs, et la réutilisation se limite aux têtes de requête d'un même token qui partagent une tête de valeur. Un grand groupe en attention centrale laisse donc un bloc lu servir beaucoup de têtes.
Ce que ces règles changent pour un serveur de contexte long
Les huit règles de la note se ramènent à trois idées : garder le groupe et le brouillon dans une tuile, réduire le nombre de clés notées plutôt que le nombre de clés gardées, et choisir des blocs larges. Un modèle servi en contexte long paie ces choix deux fois, au préremplissage où l'écriture des logits domine et au décodage où la lecture du cache commande. Les mesures sont prises sur un noyau FP8 avec 64 000 clés d'index, un facteur de compression de 4, 128 de dimension de tête et une seule tête de clé.
Rien de tout cela ne rend l'attention creuse gratuite. Le coût quitte l'attention et se loge dans la sélection, où il faut encore lire tout le contexte. Les huit règles portent sur ce reste.