NVIDIA

Cartes graphiques et accelerateurs

Les cartes GeForce sont la famille la plus utilisée pour faire tourner un modèle chez soi, sous Windows comme sous Linux, et le logiciel d'inférence sort souvent pour elles d'abord.

7 références relevées

Référence
GeForce RTX 5050
GeForce RTX 5060
GeForce RTX 5060 Ti
GeForce RTX 5070
GeForce RTX 5070 Ti
GeForce RTX 5080
GeForce RTX 5090

Les prix ne sont pas publiés pour l'instant.

Vitesse mesurée, par modèle

Mesures publiées par la communauté de Localmaxxing, chacune vérifiable à son adresse. Une carte graphique reste sur une seule carte, une machine prend la plus grosse configuration publiée, mémoire comprise. Par modèle, la meilleure exécution vérifiée, à défaut la meilleure non vérifiée, et c'est écrit dans la colonne.

Le débit se lit avec la colonne « lot » : au lot de 1 c'est la vitesse d'un particulier devant son écran, au-delà c'est un débit de serveur. Les repères « spéculatif » et « MTP » signalent un décodage qui gonfle le chiffre et ne se compare pas à une exécution ordinaire. Le contexte compte aussi : un contexte de 3 000 tokens débite plus vite qu'un contexte de 128 000.

GeForce RTX 5090

une seule carte · 92 modèles mesurés sur 358 exécutions publiées, dont 28 vérifiées

Modèle	Tokens/s	Paramètres	Quantification	Moteur	TTFT	VRAM	Contexte	Lot	Mesure	Date	Auteur
Qwen3.8-27B-NVFP4	4 778,5	28 G	NVFP4	sglang	178 ms	28,4 Go	4 096 tokens	1	non vérifiée · spéculatif	2026-09-03	crownbtc
models-moved	4 360,9	—	F32	llama.cpp	1 ms	—	2 048 tokens	1	non vérifiée	2026-08-17	CsGoat
LFM2-350M-NVFP4A16	2 231,4	—	NVFP4	sglang	—	28,4 Go	704 tokens	1	vérifiée	2026-09-04	usr-bin-roygbiv
SmolLM2-135M-Instruct-GGUF	1 102,1	—	Q2_K	llama.cpp	7 ms	—	2 048 tokens	1	non vérifiée	2026-08-17	CsGoat
Qwen3.6-35B-A3B	721,2	36 G	INT4	ninfer	39 ms	24,1 Go	32 768 tokens	1	vérifiée · spéculatif · MTP	2026-10-19	Jeremy
NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4	681,5	33 G	NVFP4	vllm (0.28.0)	76 ms	30,1 Go	16 384 tokens	1	vérifiée · spéculatif	2026-09-06	Lium.io
NVIDIA-Nemotron-3-Nano-30B-A3B-NVFP4	582,5	32 G	NVFP4	vllm	322 ms	—	2 048 tokens	1	non vérifiée	2026-07-23	Russell Dempsey
gemma-4-26B-A4B-it	546,9	27 G	INT4	ninfer	51 ms	18,0 Go	32 768 tokens	1	non vérifiée · spéculatif · MTP	2026-10-19	Jeremy
Qwen3.8-27B-QUASAR-NVFP4	510,7	28 G	NVFP4	ninfer	65 ms	23,1 Go	32 768 tokens	1	vérifiée · spéculatif	2026-10-19	Jeremy
Qwen3.8-27B-TQ	414,0	28 G	TQ_L	custom (tqLLM source build of public main 0abe5f0)	124 ms	22,8 Go	32 768 tokens	1	vérifiée · spéculatif	2026-10-27	Y Tan

82 autres modèles mesurés, plus lents

Modèle	Tokens/s	Paramètres	Quantification	Moteur	TTFT	VRAM	Contexte	Lot	Mesure	Date	Auteur
gemma-4-26B-A4B-it-GGUF	407,0	27 G	Unsloth-Dynamic-Q4_K_XL	llama.cpp (0.4.0-dev)	258 ms	18,1 Go	32 768 tokens	1	vérifiée · spéculatif · MTP	2026-09-06	Lium.io
LFM2-24B-A2B-GGUF	393,2	24 G	Q4_K_M	lmstudio	19 ms	—	2 048 tokens	1	non vérifiée	2026-08-17	CsGoat
Qwen3.6-35B-A3B-GGUF	390,7	35 G	Unsloth-Dynamic-Q4_K_M	llama.cpp (0.4.0-dev)	126 ms	23,5 Go	32 768 tokens	1	vérifiée · spéculatif	2026-09-06	Lium.io
gemma-4-26B-A4B-it-AWQ-4bit	378,1	27 G	INT4	vllm	29 ms	—	2 048 tokens	1	non vérifiée	2026-07-23	Russell Dempsey
Qwen3.8-27B	334,4	28 G	NVFP4	ninfer	80 ms	26,9 Go	32 768 tokens	1	vérifiée · spéculatif	2026-10-19	Jeremy
NVIDIA-Nemotron-3-Nano-30B-A3B-BF16	313,1	32 G	UD-Q4_K_XL	llama.cpp (b741)	46 ms	21,7 Go	8 192 tokens	1	non vérifiée	2026-06-14	Skiipy
Qwen3-30B-A3B-Instruct-2507-GGUF	312,9	31 G	Q4_K_M	lmstudio	27 ms	—	2 048 tokens	1	non vérifiée	2026-08-17	CsGoat
gpt-oss-20b	307,2	21 G	MXFP4	lmstudio	83 ms	—	2 048 tokens	1	non vérifiée	2026-08-17	CsGoat
Qwen3.6-35B-A3B-GPTQ-Int4	304,7	36 G	gptq4	vllm	—	—	2 048 tokens	1	non vérifiée	2026-07-23	Russell Dempsey
Qwen3-Coder-30B-A3B-Instruct-AWQ	287,7	31 G	INT4	vllm	12 ms	—	2 048 tokens	1	non vérifiée	2026-07-23	Russell Dempsey
NVIDIA-Nemotron-3-Nano-30B-A3B-GGUF	286,8	32 G	Q4_K_M	lmstudio	35 ms	—	2 048 tokens	1	non vérifiée	2026-08-17	CsGoat
Ornith-1.0-35B-PrismaAURA-4.75bit-vllm-MTP	283,1	—	NVFP4	vllm (v0.25.1)	—	—	32 768 tokens	1	non vérifiée · spéculatif · MTP	2026-07-23	Russell Dempsey
Kimi-Linear-48B-A3B-Instruct	280,8	49 G	IQ4_XS	llama.cpp (10085)	—	25,8 Go	32 768 tokens	1	non vérifiée	2026-08-13	Manimaran Chandrasekaran
Nemotron-3-Nano-Omni-30B-A3B-Reasoning-GGUF	274,4	30 G	Q4_K_M	lmstudio	32 ms	—	2 048 tokens	1	non vérifiée	2026-08-17	CsGoat
Qwen3.6-35B-A3B-MTP-GGUF	265,4	35 G	Q5_K_M	llama.cpp	57 ms	—	2 048 tokens	1	non vérifiée	2026-06-28	Johnny Everson
Qwen3-Coder-30B-A3B-Instruct-GGUF	263,0	30 G	Q6_K	lmstudio	25 ms	—	2 048 tokens	1	non vérifiée	2026-08-17	CsGoat
Ornith-1.5-35B-A3B-NVFP4	258,8	20 G	NVFP4	vllm (v0.27.1)	—	—	2 048 tokens	1	non vérifiée	2026-08-19	Russell Dempsey
North-Mini-Code-1.0	258,4	30 G	UD-Q6_K_XL	llama.cpp (b741)	49 ms	26,9 Go	8 192 tokens	1	non vérifiée	2026-06-14	Skiipy
gemma-4-26B-A4B-it-qat-q4_0-gguf	254,3	27 G	Q4_0	lmstudio	76 ms	—	2 048 tokens	1	non vérifiée	2026-08-17	CsGoat
Ornith-1.0-35B-GGUF	252,6	35 G	Q4_K_M	ollama	1 ms	—	2 048 tokens	1	non vérifiée	2026-06-29	rubysuelocal-rgb
Qwen3.8-27B-nvfp4-NInfer	250,5	28 G	NVFP4	tensorrt-llm (NInfer 6e2786c5e5a58c2a8804595a9042f714f3355244; LocalMaxxing classification=tensorrt-llm)	36 ms	23,2 Go	16 384 tokens	1	non vérifiée · spéculatif · MTP	2026-09-02	JR
Qwen3.6-35B-A3B-GGUF	243,1	36 G	Q4_K_M	lmstudio	51 ms	—	2 048 tokens	1	non vérifiée	2026-08-17	CsGoat
NVIDIA-Nemotron-3-Nano-4B-GGUF	237,8	4 G	Q8_0	lmstudio	34 ms	—	2 048 tokens	1	non vérifiée	2026-08-17	CsGoat
gemma-4-E2B-it-GGUF	232,6	5 G	Q4_K_M	lmstudio	58 ms	—	2 048 tokens	1	non vérifiée	2026-08-17	CsGoat
Qwen3.6-27B	228,6	28 G	Q4_K_M	llama.cpp (Lucebox-Hub dflash 79fe738)	—	22,9 Go	1 024 tokens	1	non vérifiée · spéculatif	2026-05-22	Skiipy
Qwen3-8B	227,1	8 G	Q4_K_M	llama.cpp (b741)	18 ms	5,6 Go	8 192 tokens	1	non vérifiée	2026-06-14	Skiipy
Qwen2.5-VL-7B-Instruct-GGUF	222,4	8 G	Q4_K_S	lmstudio	19 ms	—	2 048 tokens	1	non vérifiée	2026-08-17	CsGoat
Qwen3-4B-Thinking-2507-GGUF	219,7	4 G	Q8_0	lmstudio	30 ms	—	2 048 tokens	1	non vérifiée	2026-08-17	CsGoat
GLM-4.7-Flash-GGUF	219,3	—	Q5_K_M	llama.cpp (10085)	—	27,4 Go	131 072 tokens	1	non vérifiée	2026-08-13	Manimaran Chandrasekaran
Laguna-XS-2.1-NVFP4	216,7	33 G	NVFP4	vllm (v0.25.1)	26 ms	—	2 048 tokens	1	non vérifiée	2026-08-17	Russell Dempsey
gemma-4-31B-it	215,8	33 G	Q6	ninfer	115 ms	26,6 Go	32 768 tokens	1	vérifiée · spéculatif · MTP	2026-10-19	Jeremy
Qwen3.6-27B-DFlash	215,4	2 G	Q4_K_M	llama.cpp (lucebox-hub b6ffab4a9)	470 ms	23,0 Go	1 024 tokens	1	non vérifiée · spéculatif	2026-04-30	Skiipy
DeepSeek-R1-Distill-Qwen-7B-GGUF	213,3	8 G	Q4_K_M	lmstudio	31 ms	—	2 048 tokens	1	non vérifiée	2026-08-17	CsGoat
gemma-4-26B-A4B-it-GGUF	209,8	27 G	Q4_K_M	lmstudio	79 ms	—	2 048 tokens	1	non vérifiée	2026-08-17	CsGoat
Qwen3.5-35B-A3B-GGUF	209,3	35 G	Q4_K_M	lmstudio	56 ms	—	2 048 tokens	1	non vérifiée	2026-08-17	CsGoat
gemma-4-31B-it-qat-GGUF	207,6	33 G	Q4_K_XL	llama.cpp (_beellama-preview-v0.3.2-bin-win-cuda-13.1-x64)	78 ms	30,2 Go	200 000 tokens	1	non vérifiée · spéculatif	2026-06-29	Riku Pasonen
Laguna-XS-2.1-INT4	206,2	33 G	INT4	vllm (v0.25.1)	30 ms	—	2 048 tokens	1	non vérifiée	2026-08-17	Russell Dempsey
Qwen3.8-27B-GGUF	205,3	28 G	Unsloth-Dynamic-Q4_K_M	llama.cpp (0.4.0-dev)	368 ms	20,9 Go	32 768 tokens	1	vérifiée · spéculatif	2026-09-06	Lium.io
KAT-Coder-V2.5-Dev-AWQ-W4A16-ASYM	201,2	35 G	W4A16	vllm (v0.27.1)	1 190 ms	—	2 048 tokens	1	non vérifiée	2026-08-17	Russell Dempsey
Ornith-1.0-35B-AWQ-INT4	196,6	—	AWQ	vllm (v0.25.1)	—	—	65 536 tokens	1	non vérifiée	2026-07-23	Russell Dempsey
gemma-4-12B-coder-fable5-composer2.5-MTP-NVFP4	183,0	12 G	NVFP4	vllm	32 ms	—	2 048 tokens	1	non vérifiée	2026-07-23	Russell Dempsey
GLM-4.7-Flash-GGUF	182,5	31 G	Q4_K_M	lmstudio	39 ms	—	2 048 tokens	1	non vérifiée	2026-08-17	CsGoat
Huihui-Qwen3.8-27B-abliterated-NVFP4	178,0	28 G	NVFP4	vllm	186 ms	—	345 tokens	1	non vérifiée	2026-08-17	Rohit Paul
GLM-4.7-Flash	175,9	31 G	UD-Q6_K_XL	llama.cpp (b741)	13 ms	25,0 Go	8 192 tokens	1	non vérifiée	2026-06-14	Skiipy
Qwen3.5-9B	170,0	10 G	Q6_K	llama.cpp	46 ms	—	2 048 tokens	1	non vérifiée	2026-07-10	chan
GLM-4.7-Flash-AWQ	163,4	31 G	INT4	vllm	—	—	2 048 tokens	1	non vérifiée	2026-07-23	Russell Dempsey
gemma-4-E4B-it-GGUF	161,5	8 G	Q8_0	lmstudio	64 ms	—	2 048 tokens	1	non vérifiée	2026-08-17	CsGoat
Qwen3.8-Flash-Next-GSQ-RCO-GGUF	149,6	180 G	GSQ-RCO IQ3_S	custom (tqLLM source build of public main 0abe5f0)	1 579 ms	30,2 Go	33 024 tokens	1	vérifiée · spéculatif · MTP	2026-10-27	Y Tan
Qwen3.6-27B-Text-NVFP4-MTP	141,9	17 G	NVFP4	vllm (latest)	179 ms	—	131 072 tokens	1	non vérifiée · MTP	2026-05-19	Rohit Paul
DeepSeek-R1-0528-Qwen3-8B-GGUF	141,5	8 G	Q8_0	lmstudio	49 ms	—	2 048 tokens	1	non vérifiée	2026-08-17	CsGoat
Qwen3.8-Flash-Next	140,9	180 G	NVFP4	ninfer	1 110 ms	30,4 Go	32 768 tokens	1	vérifiée · spéculatif · MTP	2026-10-19	Jeremy
Qwen3.8-Flash-Next-NVFP4	140,6	180 G	NVFP4	ninfer	1 068 ms	—	32 768 tokens	1	vérifiée · spéculatif · MTP	2026-10-21	Jeremy
Qwen3.8-27B-GPTQ-W4A16	137,9	28 G	W4A16	vllm (cu129-nightly-e9d1398d9)	—	—	2 048 tokens	1	non vérifiée	2026-08-22	Russell Dempsey
Bonsai-27B-gguf	136,7	28 G	Q1_0	lmstudio	82 ms	—	2 048 tokens	1	non vérifiée	2026-08-17	CsGoat
Qwen3.6-27B-AEON-Ultimate-Uncensored-Text-NVFP4-MTP-XS	136,5	27 G	NVFP4	vllm (v0.25.1)	—	—	65 536 tokens	1	non vérifiée · spéculatif · MTP	2026-07-17	Russell Dempsey
Qwen3.8-27B-MTP-NVFP4	136,1	28 G	NVFP4	vllm	167 ms	—	172 800 tokens	1	non vérifiée	2026-08-18	Rohit Paul
gemma-3n-E4B-it-text-GGUF	135,4	4 G	Q8_0	lmstudio	55 ms	—	2 048 tokens	1	non vérifiée	2026-08-17	CsGoat
GLM-4.6V-Flash-GGUF	132,7	10 G	Q8_0	lmstudio	40 ms	—	2 048 tokens	1	non vérifiée	2026-08-17	CsGoat
gemma-4-12B-it-qat-q4_0-gguf	130,8	12 G	Q4_0	lmstudio	100 ms	—	2 048 tokens	1	non vérifiée	2026-08-17	CsGoat
Muse-Glimmer-30B-NVFP4	124,8	30 G	NVFP4	vllm (0.1.dev1+g075d645af)	43 ms	—	4 096 tokens	1	non vérifiée · spéculatif	2026-08-10	Nick Y
rnj-1-instruct-GGUF	123,2	—	Q8_0	lmstudio	31 ms	—	2 048 tokens	1	non vérifiée	2026-08-17	CsGoat
Qwen3.6-27B-NVFP4	120,9	28 G	NVFP4	vllm (0.25.1)	82 ms	29,9 Go	131 072 tokens	1	non vérifiée	2026-08-10	HomeLabRedneck
Nanbeige4.3-33B-EXL3-3.55bpw	116,9	33 G	EXL3-3.55bpw	exllamav3 (1.6.5+cu132.torch2.13.0)	926 ms	20,2 Go	8 192 tokens	1	non vérifiée · spéculatif	2026-10-26	Adrian Rangel
Qwen3.8-27B-W4A16-AWQ	109,7	28 G	W4A16	vllm (v0.25.1)	—	—	2 048 tokens	1	non vérifiée	2026-08-17	Russell Dempsey
Qwen3.8-27B-NVFP4	107,9	28 G	NVFP4	vllm (0.25.1)	105 ms	30,0 Go	2 048 tokens	1	non vérifiée · spéculatif	2026-08-18	HomeLabRedneck
Huihui-Qwen3.6-27B-abliterated-NVFP4-MTP	105,3	27 G	NVFP4	vllm (0.19.2rc1.dev134+gfe9c3d6c5)	766 ms	32,0 Go	8 379 tokens	1	non vérifiée · spéculatif · MTP	2026-05-06	Rohit Paul
Qwen3.8-27B-GGUF	98,7	28 G	Q6_K	llama.cpp (10437, commit 16d222fc5)	279 ms	29,4 Go	131 000 tokens	1	non vérifiée	2026-08-18	Kyle
Qwen3.8-27B-5090-goldilocks-GGUF	93,5	28 G	Q6_K	llama.cpp (10437, commit 16d222fc5)	279 ms	29,8 Go	131 000 tokens	1	non vérifiée	2026-08-18	Kyle
Phi-4-reasoning-plus-GGUF	92,3	15 G	Q8_0	lmstudio	33 ms	—	2 048 tokens	1	non vérifiée	2026-08-17	CsGoat
Ministral-3-14B-Reasoning-2512-GGUF	89,4	14 G	Q8_0	lmstudio	47 ms	—	2 048 tokens	1	non vérifiée	2026-08-17	CsGoat
Qwen3.6-27B-GGUF	89,0	28 G	Q4_K_M	llama.cpp	459 ms	—	262 144 tokens	1	non vérifiée	2026-04-25	Hath
gemma-4-12B-it-GGUF	88,3	12 G	Q8_0	lmstudio	111 ms	—	2 048 tokens	1	non vérifiée	2026-08-17	CsGoat
gemma-4-12B-it	87,2	12 G	UD-Q8_K_XL	llama.cpp (b741)	85 ms	13,7 Go	8 192 tokens	1	non vérifiée	2026-06-14	Skiipy
gemma-4-12B-coder-fable5-composer2.5-v1-GGUF	85,3	12 G	Q8_0	lmstudio	112 ms	—	2 048 tokens	1	non vérifiée	2026-08-17	CsGoat
Qwen3.8-Flash-Next-NVFP4	74,5	180 G	NVFP4	sglang (FreeToken af71ba4)	77 323 ms	31,5 Go	262 144 tokens	1	non vérifiée	2026-09-05	ItsLogic
Qwen3.6-27B-MTP-GGUF	70,4	28 G	Q5_K_M	llama.cpp	141 ms	—	2 048 tokens	1	non vérifiée	2026-06-28	Johnny Everson
Qwen3.6-27B-NVFP4	66,9	28 G	NVFP4 modelopt-mixed W4A16+FP8	vllm (0.24.0)	—	27,8 Go	148 000 tokens	1	non vérifiée	2026-06-30	Skiipy
Qwen3.6-27B-AEON-Ultimate-Uncensored-NVFP4	56,7	27 G	NVFP4	vllm (v0.25.1)	—	—	65 536 tokens	1	non vérifiée	2026-07-17	Russell Dempsey
gemma-4-31B-it-GGUF	51,7	31 G	Q6_K_XL	llama.cpp	155 ms	—	2 048 tokens	1	non vérifiée	2026-06-28	Johnny Everson
DeepSeek-V4-Flash-0731-MXFP4-GGUF	26,4	304 G	MXFP4	llama.cpp (4821)	3 055 ms	28,3 Go	196 608 tokens	1	non vérifiée	2026-08-18	Kyle
DeepSeek-V4-Flash-0731-GGUF	18,0	304 G	UD-IQ1_S	llama.cpp	233 ms	—	2 048 tokens	1	non vérifiée	2026-08-19	CsGoat
Qwen3.8-27B-FP8	16,8	28 G	FP8	vllm (0.27.1)	144 ms	30,9 Go	8 192 tokens	1	non vérifiée	2026-08-14	Manimaran Chandrasekaran

GeForce RTX 5080

une seule carte · 15 modèles mesurés sur 62 exécutions publiées, dont 5 vérifiées

Modèle	Tokens/s	Paramètres	Quantification	Moteur	TTFT	VRAM	Contexte	Lot	Mesure	Date	Auteur
Bonsai-2-27B-Ternary-CRACK-GGUF	854,5	28 G	PQ2_0	llama.cpp (PrismML llama.cpp fork)	571 ms	11,3 Go	32 768 tokens	1	vérifiée · spéculatif	2026-09-21	Zoto Katatori
Llama-3.2-1B-Instruct	448,1	1 G	Q8_0	llama.cpp	14 ms	—	4 096 tokens	1	non vérifiée	2026-06-29	spooner
gpt-oss-20b	222,4	21 G	Q8_0	llama.cpp	48 ms	—	4 096 tokens	1	non vérifiée	2026-06-29	spooner
Llama-2-7b-hf	201,6	7 G	Q2_K	llama.cpp	81 ms	—	4 096 tokens	1	non vérifiée	2026-06-29	spooner
gpt-oss-20b-GGUF	197,4	22 G	MXFP4	llama.cpp	120 ms	—	2 048 tokens	1	non vérifiée	2026-09-07	Justin Scaggs
Qwen3.6-35B-A3B	187,6	36 G	APEX-MTP-I-Mini	llama.cpp	117 ms	—	4 096 tokens	1	non vérifiée	2026-06-29	spooner
Meta-Llama-3-8B-Instruct	148,3	8 G	Q4_0	llama.cpp	61 ms	—	4 096 tokens	1	non vérifiée	2026-06-29	spooner
Huihui-Qwen3.8-27B-abliterated-GGUF	110,8	28 G	IQ3_S	llama.cpp (moe-cache@501a3818c)	672 ms	—	140 032 tokens	1	non vérifiée · spéculatif · MTP	2026-10-02	beplee
Qwen3.8-27B-GGUF	108,0	28 G	IQ4_XS	llama.cpp (unknown)	674 ms	—	140 032 tokens	1	non vérifiée	2026-10-01	beplee
Qwen3.8-Flash-Next	99,4	180 G	IQ3_S	custom	229 ms	—	2 048 tokens	1	non vérifiée	2026-10-03	spooner

5 autres modèles mesurés, plus lents

Modèle	Tokens/s	Paramètres	Quantification	Moteur	TTFT	VRAM	Contexte	Lot	Mesure	Date	Auteur
Qwen3-30B-A3B-Instruct-2507	89,8	31 G	Q4_K_M	llama.cpp	314 ms	—	2 048 tokens	1	non vérifiée	2026-09-13	Justin Scaggs
Qwen3.5-9B	79,6	10 G	Q8_0	llama.cpp	82 ms	—	4 096 tokens	1	non vérifiée	2026-06-29	spooner
Qwen3.8-Flash-Next-GGUF	58,2	180 G	Q4_K_M	llama.cpp (unknown)	1 027 ms	—	140 032 tokens	1	non vérifiée	2026-10-01	beplee
Huihui-Qwen3.8-Flash-Next-abliterated	44,9	180 G	Q4_K_XL	llama.cpp (unknown)	1 878 ms	—	140 032 tokens	1	non vérifiée	2026-10-02	beplee
Qwen3.8-Flash-Next-APEX-GGUF	42,0	180 G	APEX-I-Compact	llama.cpp	279 ms	—	2 048 tokens	1	non vérifiée	2026-10-01	beplee

GeForce RTX 5070 Ti

une seule carte · 4 modèles mesurés sur 24 exécutions publiées, dont 13 vérifiées

Modèle	Tokens/s	Paramètres	Quantification	Moteur	TTFT	VRAM	Contexte	Lot	Mesure	Date	Auteur
LFM2.5-8B-A1B	402,3	8 G	Q4_K_XL	llama.cpp	16 ms	—	4 096 tokens	1	non vérifiée	2026-06-16	Rukasu Fall
Qwen3.8-27B-GSQ-3bit-capy-flash	174,4	28 G	GSQ 3-bit	custom (capy-flash 0.7.0)	171 ms	13,6 Go	65 536 tokens	1	vérifiée · spéculatif · MTP	2026-10-22	ValerioDolci
Qwen3.5-9B-GGUF	124,0	9 G	Q4_K_S	llama.cpp (b8934)	—	—	8 192 tokens	1	non vérifiée	2026-04-26	jalopy1
Qwen3.8-Flash-Next-GSQ-RCO-capy-flash	121,4	180 G	GSQ-RCO IQ3_S	custom (capy-flash 0.7.0)	1 637 ms	14,8 Go	262 144 tokens	1	vérifiée · spéculatif · MTP	2026-10-22	ValerioDolci

GeForce RTX 5070

une seule carte · 23 modèles mesurés sur 40 exécutions publiées, dont 4 vérifiées

Modèle	Tokens/s	Paramètres	Quantification	Moteur	TTFT	VRAM	Contexte	Lot	Mesure	Date	Auteur
Ternary-Bonsai-2-27B-gguf	1 239,5	28 G	PQ2_0 ternary (NInfer v3 artifact)	ninfer (0.12.0)	32 ms	10,8 Go	65 536 tokens	1	vérifiée · spéculatif	2026-10-20	Sypher760-gif
LFM2.5-8B-A1B-GGUF	349,5	8 G	Q6_K	llama.cpp (b1+b04d4e5)	68 ms	7,0 Go	2 048 tokens	1	non vérifiée	2026-09-24	Kevin Dickinson
Mellum2-12B-A2.5B-Thinking-GGUF-Q4_K_M	265,5	12 G	Q4_K_M	llama.cpp	67 ms	—	2 048 tokens	1	non vérifiée	2026-07-05	Kevin Dickinson
Mellum2-12B-A2.5B-Instruct-GGUF-Q4_K_M	261,4	12 G	Q4_K_M	llama.cpp	68 ms	—	2 048 tokens	1	non vérifiée	2026-07-04	Kevin Dickinson
Ling-3.0-tiny-GGUF	244,2	—	Q8_0	llama.cpp	57 ms	—	2 048 tokens	1	non vérifiée	2026-09-25	Kevin Dickinson
NVIDIA-Nemotron-3-Nano-4B-GGUF	185,8	4 G	Q4_K_M	llama.cpp (b10449)	125 ms	4,2 Go	32 768 tokens	1	non vérifiée	2026-08-25	Kevin Dickinson
Apodex-1.1-mini	182,3	35 G	IQ1_M	llama.cpp (llama.cpp f280b26983ad0fdb705a0d9ebf0503e76f2899b0)	296 ms	—	2 048 tokens	1	non vérifiée	2026-08-26	Kevin Dickinson
gemma-4-E4B-it-qat-q4_0-gguf	152,7	4 G	QAT_Q4_0	llama.cpp	60 ms	—	32 768 tokens	1	non vérifiée	2026-09-11	Kevin Dickinson
Spark-X2.5-4B-GGUF	126,1	4 G	Q8_0	llama.cpp (b10999)	55 ms	—	32 768 tokens	1	non vérifiée	2026-09-22	Kevin Dickinson
MiniCPM5-2B	118,2	3 G	BF16	vllm (0.27.1)	23 ms	—	32 768 tokens	1	non vérifiée	2026-09-11	Kevin Dickinson

13 autres modèles mesurés, plus lents

Modèle	Tokens/s	Paramètres	Quantification	Moteur	TTFT	VRAM	Contexte	Lot	Mesure	Date	Auteur
granite-4.2-8b-GGUF	107,8	8 G	Q4_K_M	llama.cpp	120 ms	—	2 048 tokens	1	non vérifiée	2026-09-25	Kevin Dickinson
Ornith-1.5-9B	102,0	10 G	Q4_K_M	llama.cpp (b10449 @ 0d9ceae1)	47 ms	—	2 048 tokens	1	non vérifiée	2026-08-28	Kevin Dickinson
Qwen3.8-27B-exl3	75,4	28 G	EXL3 2.20bpw (SC_2.20bpw_H3_V3)	exllamav3 (ExLlamaV3 1.4.6+cu128.torch2.10.0)	71 ms	—	65 536 tokens	1	non vérifiée · MTP	2026-09-11	Kevin Dickinson
gemma-4-12B-it-GGUF	72,1	12 G	Q4_K_M	llama.cpp	161 ms	—	2 048 tokens	1	non vérifiée	2026-07-04	Kevin Dickinson
Gemmable-4-12B-MTP-GGUF	71,2	12 G	Q4_K_M	llama.cpp	163 ms	—	2 048 tokens	1	non vérifiée	2026-07-05	Kevin Dickinson
Qwen3.8-27B-GGUF	70,8	28 G	UD-Q2_K_XL	llama.cpp (b10449)	704 ms	10,2 Go	8 192 tokens	1	non vérifiée · spéculatif · MTP	2026-08-21	Kevin Dickinson
Grug-12B-GGUF	69,2	12 G	Q4_K_M	llama.cpp	168 ms	—	2 048 tokens	1	non vérifiée	2026-07-04	Kevin Dickinson
Qwen3.5-4B-GGUF	68,0	4 G	BF16	llama.cpp (b10449)	77 ms	—	32 768 tokens	1	non vérifiée	2026-09-11	Kevin Dickinson
NeoHorse-1-9B-GGUF	67,9	10 G	Q8_0	llama.cpp	114 ms	—	2 048 tokens	1	non vérifiée	2026-09-26	Kevin Dickinson
Qwen3.5-9B-GGUF	67,3	9 G	Q8_0	llama.cpp (b10449)	89 ms	—	32 768 tokens	1	non vérifiée	2026-09-11	Kevin Dickinson
Qwen3-14B-GGUF	66,6	14 G	Q4_K_M	llama.cpp	186 ms	—	2 048 tokens	1	non vérifiée	2026-07-04	Kevin Dickinson
gemma-4-12b-it-GGUF	62,8	12 G	UD-Q5_K_XL	llama.cpp	168 ms	—	2 048 tokens	1	non vérifiée	2026-07-05	Kevin Dickinson
Qwen3.8-27B-GGUF	46,1	28 G	AD-IQ2-XS	llama.cpp (b10449+0d9ceae1e)	—	—	2 048 tokens	1	non vérifiée	2026-08-16	Kevin Dickinson

GeForce RTX 5060 Ti

une seule carte · 8 modèles mesurés sur 31 exécutions publiées, dont 2 vérifiées

Modèle	Tokens/s	Paramètres	Quantification	Moteur	TTFT	VRAM	Contexte	Lot	Mesure	Date	Auteur
Qwen3.5-0.8B	280,9	1 G	Q4_K_M	llama.cpp	48 ms	—	4 096 tokens	1	non vérifiée	2026-06-16	Rukasu Fall
LFM2.5-8B-A1B	254,3	8 G	Q4_K_XL	llama.cpp	22 ms	—	4 096 tokens	1	non vérifiée	2026-06-16	Rukasu Fall
Qwen3.8-27B-TQ	156,2	28 G	TQ_S	custom (TQLLM 75d449a)	513 ms	14,9 Go	32 768 tokens	1	vérifiée · spéculatif	2026-10-10	Y Tan
Qwen3.6-35B-A3B-MTP-GGUF	122,3	35 G	IQ3_XXS	llama.cpp (c7896fcf923aabb8fc455ecda891d59e99c8addd)	—	—	150 000 tokens	1	non vérifiée	2026-08-04	zac
gemma-4-26B-A4B-it-GGUF	105,7	27 G	Q3_K_M	llama.cpp	148 ms	—	2 048 tokens	1	non vérifiée	2026-06-28	Johnny Everson
gemma-4-12b-it-GGUF	51,3	12 G	Q4_K_XL	llama.cpp	227 ms	—	2 048 tokens	1	non vérifiée	2026-06-28	Johnny Everson
Qwen3.6-27B	46,0	28 G	Q4_K_S	llama.cpp	454 ms	—	2 048 tokens	1	non vérifiée	2026-07-04	Jeffrey Rosenberg
Qwen3.6-27B-MTP-GGUF	26,7	28 G	Q3_K_M	llama.cpp	596 ms	—	2 048 tokens	1	non vérifiée	2026-06-28	Johnny Everson

Les autres références de cette page n'y figurent pas : ni groupe de ce matériel, ni exécution publiée qui lui corresponde.

Localmaxxing · relevé du 9 novembre 2026

Relevé du 29 septembre 2026 · page série 50 lue, 7 références relevées

Page officielle https://www.nvidia.com/fr-fr/geforce/graphics-cards/50-series/

À relever : Mémoire par carte et références hors GeForce, notamment les stations DGX.

Tous les constructeurs