Reels · 1 de 50
1:21
Reel · 1:21
NVFP4 vs FP8 vs GGUF en una GPU de 16 GB sin Blackwell: NVFP4 genera 2,3 veces más rápido que BF16 y empata en las 1319 preguntas de GSM8K
Con narración: cinco formatos del mismo modelo de 4B corren en una tarjeta de 16 GB. NVFP4 genera 2,3 veces más rápido que BF16, FP8 lee el prompt más rápido porque la tarjeta lo tiene en hardware; en las 1319 preguntas de GSM8K los tres formatos de vLLM empatan con BF16, y token por token NVFP4 cambia la elección una de cada diez veces.
- Duración
- 1:21
- Publicado
Este reel resume NVFP4 vs FP8 vs GGUF en una GPU de 16 GB sin Blackwell: NVFP4 genera 2,3 veces más rápido que BF16 y empata en las 1319 preguntas de GSM8K, donde están el método, las tablas y lo que no funcionó.