LookAtMyQuant ramène Inkling 2 Mini de 18,9 Go à 5,4 Go
Un compilateur de quantificationquantizationRéduction de la précision des poids et parfois des calculs, de seize bits vers huit, quatre ou moins. Elle fait tenir un modèle en mémoire et accélère le débit, en échange d'une perte de qualité qui se voit d'abord sur les petits modèles.Fiche du lexique mesure le dommage que chaque morceau d'un modèle subit quand on le compresse, puis choisit un code par morceau pour tenir un budget de taille. Appliqué le 21 novembre aux 18,89 Go de poids texte d'Inkling 2 Mini, le modèle multimodal de 26,4 milliards de paramètrespoids du modèleNombre de valeurs apprises par un modèle. À quantification égale, plus de paramètres veut dire plus de mémoire occupée, et en général de meilleures réponses.Fiche du lexique ouvert par Thinking Machines la veille, il en sort quatre fichiers Apple Silicon de 5,38 à 12,76 Go. Le plus gros rend les 349 bonnes réponses du modèle d'origine sur GSM8K, HumanEval et quatre tests visuels, avec 32,5 % de poids texte en moins. Le plus petit tient dans 5,98 Go de mémoire active et garde 176 des 200 questions GSM8K, contre 193 pour l'original.
par Gyom 22 novembre 2026 à 13:02 5 min de lecture rubrique : Machines et coûts
etiquettes : Local · Quantification · Coût
LookAtMyQuant est publié sous licence MIT par un développeur indépendant, avec sa méthode et ses résultats sur un site dédié. Sur Gemma 4 E2B, selon les chiffres de l'auteur, son fichier GGUFFormat de fichier de modèle utilisé par llama.cpp et ses dérivés. Le nom du fichier indique la quantification, par exemple Q4_K_M, ce qui suffit à savoir combien de mémoire il demande.Fiche du lexique affiche une divergence KL 12 fois plus basse qu'un Q4_K_M de même taille. Le principe ne change pas d'un modèle à l'autre : classer les morceaux stockés par le mal qu'ils font à la sortie, puis donner les bits là où ils payent.
Un modèle de 26,4 milliards de paramètres dont 5,4 travaillent
Inkling 2 Mini, sorti le 20 novembre sous licence Apache 2.0, est un décodeur de 24 couches dont les couches 6 à 17 tournent trois fois avec les mêmes poids, ce qui donne 48 applications de couche par tokenPlus petite unité de texte qu'un modèle manipule. Un mot courant tient souvent en un seul, un mot rare se découpe en plusieurs morceaux. Les prix, les limites et les débits s'expriment en tokens, pas en mots.Fiche du lexique. Chaque token part vers 8 des 128 experts, la dimension cachée vaut 2 304, et la fiche officielle annonce 26,4 milliards de paramètres physiques pour 3,4 milliards actifs, chaque passe supplémentaire dans la boucle ajoutant environ 1 milliard de paramètres actifs effectifs. L'encodeur d'images reste intact, à 637 Mo en bf16.
La même fiche annonce un point de contrôle d'environ 20 Go mêlant NVFP4 et MXFP8, pour une DGX Spark ou un Mac de 32 Go et plus. LookAtMyQuant ne touche qu'aux poids texte, 18,89 Go en bf16, soit 5,80 bits par poids.
Quatre fichiers, de 1,65 à 3,92 bits par poids
- 12,76 Go, 3,92 bits par poids : 193 questions GSM8K sur 200, 152 problèmes HumanEval sur 164, 4 tests visuels sur 4, divergence KL de 0,0070 en anglais, chat et code.
- 11,18 Go, 3,43 bits : 190 sur 200, 151 sur 164, 4 sur 4, KL de 0,0115.
- 8,87 Go, 2,72 bits : 192 sur 200, 149 sur 164, 4 sur 4, KL de 0,0208.
- 5,38 Go, 1,65 bit : 176 sur 200, 116 sur 164, 4 sur 4, KL de 0,2871.
À 12,76 Go, le fichier rend les 349 réponses du professeur
Le fichier de 12,76 Go reproduit le modèle d'origine : mêmes 193 bonnes réponses sur GSM8K, mêmes 152 sur HumanEval, mêmes 4 tests visuels, soit 349 réponses justes sur 349. La mémoire des poids texte passe de 18,89 à 12,76 Go, 32,5 % de moins, et la divergence KL avec le professeur reste à 0,0268 sur les treize langues du mélange de textes.
À 5,38 Go, HumanEval perd 36 problèmes sur 164
Le fichier de 5,38 Go garde 176 questions GSM8K sur 200, 88,0 %, et 116 problèmes HumanEval sur 164, 70,7 %, contre 152 pour l'original. Le score moyen des trois tâches tombe à 89,2 %, et la divergence KL sur treize langues monte à 0,2871. L'auteur indique qu'il bat quand même les GGUF d'Unsloth de 7,76 et 9,14 Go sur un même harnais de 384 tokens. La version de 8,87 Go reste à 99,2 % du score moyen du professeur, avec une divergence KL 2,34 fois plus basse que l'UD-Q2_K_XL de 9,14 Go en anglais, chat et code.
Des codes en treillis et des bits répartis ligne par ligne
Le compilateur quantifie par codes en treillis le long des lignes de chaque matrice, avec des dictionnaires de codes appris par moyennes et une répartition des bits par ligne tirée d'un plan de lignes. Dans la recette mise au point pour Qwen3.5-4B, les Hessiens, pris comme information de Fisher aux positions qui prédisent un chiffre, donnent aux tokens de chiffres un poids dix fois supérieur au reste, et la calibration se fait sur les solutions mathématiques du modèle lui-même. Suivent 4 000 pas de distillation, chaque couche étant requantifiée une fois depuis les poids d'origine. Cette recette a coûté environ 34 dollars de calcul GPU, avec 37 minutes de quantification sur une H100 et 2,7 heures de distillation sur une B200.
Sur Inkling 2 Mini, les deux plus gros fichiers combinent NVFP4 et treillis, les deux plus petits passent par un ajustement proximal sur tous les experts (SQYFR). Le tout tourne sur des noyaux Metal lancés en une seule passe, qui mélangent des experts NVFP4 non pivotés et des experts en treillis à rotation de Hadamard, pour le décodage comme pour la vérification spéculative.
2 016 tokens par seconde de préremplissage sur un M5 Max
Sur un Mac M5 Max, le fichier de 12,76 Go préremplit à 2 016 tokens par seconde sur un fenêtre de contextecontexteQuantité de tokens qu'un modèle peut lire d'un seul coup, question et réponse comprises. Au-delà, il faut découper, résumer ou chercher ailleurs.Fiche du lexique de 512 tokens, décode 60,5 tokens par seconde en série et 112,7 en médiane avec le brouillon spéculatif de 178,9 Mo, pour 12,72 Go de mémoire active. Le fichier de 5,38 Go préremplit à 1 807 tokens par seconde, décode 75,3 en série et 124,4 en médiane avec le même brouillon, dont 142,9 sur les mathématiques et 122,2 sur le code, pour 5,98 Go de mémoire active.
200 questions GSM8K et 164 problèmes HumanEval
Les chiffres portent sur une évaluation sans troncature, 1 536 tokens de sortie au plus, en décodage glouton, avec l'effort de raisonnement au minimum. GSM8K est pris sur ses 200 premiers items de test, HumanEval sur ses 164 problèmes exécutables, et le volet visuel sur quatre tests, avec la tour d'images bf16 intacte. La fiche du modèle prévient de son côté que la prise en charge des modèles bouclés est récente dans les moteurs locaux et que la vitesse varie selon le moteur et la machine, et que le calcul par token dépasse ce que le nombre de paramètres actifs laisse croire, puisque les couches du milieu tournent trois fois.
Source primaire LookAtMyQuant, dépôt ShinMegamiBoson/lookatmyquant, fichiers Inkling 2 Mini déposés le 21 novembre 2026 sur Hugging Face