26°

Reels · 1 de 61

1:01

Reel · 1:01

Los drafts de NVIDIA para Qwen3.8-27B en 16 GB: 43 tokens por segundo contra 88 del MTP

En 60 segundos y narrado: los borradores de NVIDIA para Qwen3.8-27B contra el MTP en una GPU de 16 GB. Medio segundo de pasos de verificación en modo greedy, ralentizado 16 veces: sin borrador 38,3 tokens por segundo, el de NVIDIA 43,5 y el MTP 88,0. Cada paso del borrador de NVIDIA cuesta 59,2 ms y deja 2,58 tokens; el del MTP, 34,7 ms y 3,05. El de 4B no cabe, y con el modelo reducido para que entre va más lento que sin borrador. Sin sonido por defecto: actívalo en los controles.

Duración
1:01
Publicado

llama.cppDecodificación especulativaQwenGPUModelos de lenguaje

Este reel resume Los drafts de NVIDIA para Qwen3.8-27B en 16 GB: 43 tokens por segundo contra 88 del MTP, donde están el método, las tablas y lo que no funcionó.

Leer el artículoAbrir en el visualizador