Havon v4 demande 6,1 % de tokens de moins que GPT-4o en anglais
Un vocabulaire construit sur deux cents langues peut battre celui de GPT-4o jusque sur l'anglais : à taille de vocabulaire strictement égale, Havon v4 demande 6,1 % de tokens de moins que o200k_base sur l'anglais et sur 161 des 204 langues testées, selon un papier déposé le 9 novembre 2026 sur arXiv. Aucun modèle entraîné avec ces vocabulaires n'a encore été évalué.
par Gyom 12 novembre 2026 à 13:00 3 min de lecture rubrique : Textes et documents
etiquettes : En entreprise · Coût
Un tokenizer coupe le texte en morceaux facturables. Plus les morceaux sont petits, plus une même page coûte cher et tient peu de place dans une fenêtre de contextecontexteQuantité de tokens qu'un modèle peut lire d'un seul coup, question et réponse comprises. Au-delà, il faut découper, résumer ou chercher ailleurs.Fiche du lexique. Les langues qui n'ont pas façonné le vocabulaire d'origine payent cette différence : sur le tokenizer de GPT-4o, le papier mesure qu'il faut de 1,6 à 14 fois plus de tokens pour les langues d'Inde que pour l'anglais, à contenu égal.
Deux cents langues écrites par des humains
Les auteurs entraînent leurs vocabulaires sur du texte rédigé par des humains dans environ deux cents langues. Havon v3 est un BPE au niveau de l'octet, à 262 144 entrées, avec un pré-découpage qui garde les signes diacritiques attachés à leur lettre et qui traite d'un bloc les écritures sans espaces. Sur le jeu FLORES-200 devtest, il demande moins de tokens que o200k_base sur les 25 langues d'Inde, médiane 0,74, et sur 172 des 204 langues, mais 7 % de plus sur l'anglais.
Six pour cent de moins à vocabulaire égal
Havon v4 ajoute à v3 une seconde étape d'entraînement sur des unités de plusieurs mots, la méthode SuperBPE. À 200 019 entrées, la taille exacte du vocabulaire de GPT-4o, v4 demande 6,1 % de tokens de moins en anglais, et moins sur 161 des 204 langues comme sur les 25 langues d'Inde, médiane 0,74. Dans les mêmes conditions, v3 en demande 9,4 % de plus en anglais et ne gagne que sur 133 langues : c'est la seconde étape, pas le nombre d'entrées, qui produit l'écart sur l'anglais.
Neuf pour cent et demi à 262 144 entrées
Le gain suit la taille du vocabulaire. À 262 144 entrées, v4 demande 9,6 % de tokens de moins en anglais et moins sur 182 des 204 langues. À 524 288 entrées, il passe sous GPT-4o sur 203 des 204 langues. Les gains les plus forts vont à l'anglais, à l'hindi et aux langues romanes. Les écritures sans espaces, khmer, birman, tibétain, gagnent peu et perdent des fusions de sous-mots.
Le code reste plus cher que GPT-4o
Havon v5 remplace l'échantillon de code, limité au Python, par du code sous licence permissive dans 15 langages. Sur le code, v5 demande encore 1,03 à 1,22 fois les tokens de GPT-4o, contre 1,11 à 1,29 pour v4, tout en gardant les 25 langues d'Inde à une médiane de 0,74 et l'anglais à 0,94. Le vocabulaire taillé pour les langues naturelles ne rattrape pas le découpage de GPT-4o sur les langages de programmation.
Des mesures de compression, pas de qualité
Le papier le dit sans détour : ce sont des résultats de compression, et aucun modèle entraîné avec les vocabulaires v4 ou v5 n'a été évalué. Un vocabulaire plus efficace change le coût d'un texte donné, il ne dit rien de ce que le modèle saura faire de ces morceaux. Les auteurs publient leurs vocabulaires et leur code de mesure, ce qui rend la vérification possible sans leur concours.