DeepSeek et Moonshot portent l'empreinte des GPU Blackwell
Les poids publiés de six modèles de DeepSeek, Moonshot, MiniMax et Ant Group gardent la disposition des nombres d'un GPU Blackwell, la génération que les États-Unis interdisent à l'export vers la Chine. Un rapport du 12 novembre 2026 retrouve ce motif à 49 sigma au moins, après l'avoir vérifié sur 24 modèles dont le matériel était connu. Il établit l'accès au matériel, pas l'endroit où il se trouvait.
par Gyom 13 novembre 2026 à 07:35 4 min de lecture rubrique : Machines et coûts
etiquettes : En entreprise · GPU · Coût
Un modèle de langue naît avec des milliards de nombres tirés au hasard. Ces valeurs de départ sortent d'un générateur pseudo-aléatoire, Philox, que PyTorch répartit entre les processeurs du GPU : la graine produit la suite de nombres, le nombre de fils décide où chaque nombre atterrit. Le rapport d'Unemployment Labs, publié le 12 novembre 2026 par Will DePue, inverse le calcul sur les poids déjà publiés et retrouve, dans six modèles chinois, la disposition exacte d'un Blackwell.
Cent trente-deux processeurs ou cent cinquante-deux, la trace reste
Chaque famille de cartes impose un nombre de fils fixe. Un Hopper (H100 SXM, H200, H800) a 132 processeurs et 270 336 fils ; un Blackwell B200 ou B300, 148 processeurs et 303 104 fils ; un GB200 ou GB300, 152 processeurs et 311 296 fils. Reconstituer la graine et la disposition ne laisse donc que trois réponses possibles, et deux d'entre elles désignent des machines que la licence d'exportation couvre.
Le motif survit à l'entraînement
Les poids les plus parlants sont ceux que l'entraînement n'a jamais touchés : les lignes du vocabulaire réservées à des symboles jamais rencontrés gardent leurs valeurs de départ au chiffre près. Pour le reste, l'ajustement efface l'essentiel, mais pas tout. Sur les 745 472 poids de chaque couche de DeepSeek V4 Flash, les valeurs de départ gardent un lien faible avec les valeurs finales (r = 0,066, 57 sigma), lien qui s'évanouit si l'on suppose une disposition Hopper. Les auteurs arrêtent la graine et la disposition sur un jeu de poids, puis les testent sur des poids tenus à l'écart de la recherche.
Six modèles, de 49 à 1 385 sigma
Le résultat porte sur deux modèles de DeepSeek, deux de Moonshot, un de MiniMax et un d'Ant Group, sortis entre avril et novembre 2026. DeepSeek V4 Flash et MiniMax M3 tombent sur la disposition à 148 processeurs ; DeepSeek V4 Pro, Kimi K3, Kimi K3.1 Pro et Ling-3.1 Flash sur celle à 152. À l'inverse, les derniers modèles d'Alibaba, Zhipu, Tencent, Xiaomi et StepFun lisent en Hopper, et LongCat-2.0 de Meituan ne laisse aucune empreinte NVIDIA, ce que la société explique par des superpods de circuits maison. Le rapport contrôle aussi sa méthode sur 24 modèles dont l'éditeur a publié le matériel, dont Nemotron-3 Ultra de NVIDIA, et retrouve la bonne réponse à chaque fois.
Hopper avant 2025, Blackwell depuis avril 2026
La chronologie par laboratoire est nette. DeepSeek reste en Hopper jusqu'à V3, sorti en décembre 2024, et passe en Blackwell avec V4 en avril 2026. Moonshot suit le même chemin jusqu'à K2.5 en janvier 2026, avec un cas intermédiaire : Kimi K2.7-Code, six semaines avant K3, repose sur des poids Hopper dont une petite partie correspond à un B200 ou B300. MiniMax bascule entre M2.7 en avril et M3 en juin, Ant Group entre Ling-3.0-flash en août et Ling-3.1-flash en octobre.
Huit mille à neuf mille GPU pour les deux plus gros entraînements
En partant de la taille des modèles et du volume de données, le rapport estime les campagnes. Kimi K3 et DeepSeek V4 Pro auraient demandé 8 000 à 9 000 GPU Blackwell sur 70 jours chacune, et les cinq campagnes réunies environ 12 000 GPU. À 70 000 dollars la carte, prix déduit d'un article du Wall Street Journal sur une installation de ByteDance en Malaisie, l'auteur chiffre le plus gros cluster entre 200 et 300 millions de dollars et les cinq ensemble à plus d'un demi-milliard. Ces chiffres ont été révisés le jour même de la publication : la première version donnait 2 000 à 3 000 GPU, en supposant l'efficacité des bancs de NVIDIA, que les entraînements divulgués sur Blackwell n'atteignent pas. Le rapport ne compte que la dernière campagne de chaque modèle, sans les essais, les runs antérieurs ni l'inférenceExécution d'un modèle : une entrée, une sortie. Le calcul se sépare en un pré-remplissage de la question, puis une génération token par token.Fiche du lexique.
Ce que les poids ne disent pas
La méthode ne lit que les modèles ouverts. Le framework PaddlePaddle de Baidu ne laisse aucun motif de ce genre : la graine d'ERNIE-5.5 est retrouvée (2760), pas le matériel. Plusieurs Qwen3 d'Alibaba ont été initialisés sur processeur, ce qui efface la piste, et DeepSeek V4.1 Flash ne donne rien malgré une recherche exhaustive. Un cluster mixte peut aussi initialiser sur Blackwell et entraîner la suite ailleurs, et les poids ne disent ni qui possède les cartes, ni où elles se trouvent, ni si une licence a été violée. Le rapport écarte l'alternative AMD pour un seul des six modèles, DeepSeek V4 Flash.