Modelos en hardware propio

Todos los temas

Casi todo lo que se publica sobre modelos abiertos se mide en tarjetas de centro de datos. Aquí la pregunta es otra: si el archivo pesa más que la memoria disponible, ¿arranca igual, y a qué costo? Estas entradas comparten banco de pruebas —la misma GPU de 16 GB, los mismos inputs congelados— para que los números se puedan poner uno al lado del otro en vez de leerse sueltos.

24 entradas

Artículo2026-11-07Un agente que lee mis propios posts y verifica que las cifras no se inventenGoogle publicó la versión 2.14 de su kit de agentes el 4 de noviembre de 2026 y entre otras cosas sacó de experimental las sandboxes de ejecución local. Escribí un agente que lee un post técnico del blog, extrae cada cifra que aparece en el texto y abre el JSON crudo del experimento para comprobar que esa cifra existe. Sobre el post que publiqué ayer, detectó 46 números, verificó los 9 que venían de las mediciones, marcó 1 que no estaba en el JSON por un campo que dejé sin registrar, y clasificó los otros 36 como contexto o configuración. Tardó un minuto y dieciséis segundos. Una regex trivial clasifica mal: dice que verifica 45 cifras porque 50 == 50 por azar.#Agentes#SDK#VerificaciónArtículo2026-11-06Cola2 en 16 GB: cabe con offload, acierta 56 % en ARC-Easy, pero el banco del paper no correByteDance Seed publicó Cola2 el 6 de noviembre de 2026, un modelo de lenguaje con latentes continuos y un transformer de difusión en vez del autoregresivo. Lo bajé a la RTX 4070 Ti SUPER, lo levanté con el ejemplo oficial y lo medí en cincuenta preguntas de ARC-Easy. Entra en 14,5 GB con el transformer de difusión offloaded a la CPU, acierta 56 % contra el 22 % de la línea base trivial que siempre elige la primera opción, y tarda diez segundos y medio por pregunta. El banco entero del paper, con su scorer oficial, hace OOM con cualquier config que probé.#Modelos#GPU#BenchmarksArtículo2026-11-05Mage-VL-Cowork en 16 GB: cabe, responde en 2,5 s, pero no quiere clicarMicrosoft publicó Mage-VL-Cowork, un agente de computador de 4 000 millones de parámetros que en el papel saca 66 % en OSWorld. Lo bajé a la RTX 4070 Ti SUPER, lo levanté con la imagen oficial de SGLang y lo medí: carga en noventa a ciento veinte segundos, ocupa 13 985 MB de VRAM, responde en 2,47 s. Y en treinta prompts que le pidieron que clicara un botón, clicó cero veces: siempre contestó pedir otra captura.#Agentes#Modelos#GPUArtículo2026-10-25Claude Code, Codex, OpenCode, OpenClaw, Hermes, mini-swe-agent y Raven con MiniMax-M3: 7 arneses de agentes medidos en Terminal-Bench 2.0Puse siete arneses de agentes de código a manejar el mismo modelo barato, MiniMax-M3, en 40 tareas de Terminal-Bench 2.0: 280 ejecuciones con cada petición guardada y cada aprobada revisada por un juez ciego. El arnés más simple, mini-swe-agent, resolvió 29 de 39; Codex 26, OpenCode 25, Claude Code 23, OpenClaw y Hermes 22, Raven 20. Ninguna diferencia entre dos arneses sobrevive a la corrección por comparaciones múltiples. OpenCode fue el más barato y rápido; Raven, el más caro.#Agentes#Benchmarks#Claude CodeArtículo2026-10-23Aislar un agente de código con gVisor o Kata: cuánto cuesta frente a Docker, medidoMedí cuánto cuesta correr el trabajo de un agente de código aislado en gVisor y en Kata Containers 4.3 (con QEMU y con Cloud Hypervisor) en vez de un contenedor Docker normal. Kata tarda 6 a 7 s en arrancar contra 0,22 s de runc y deja 199 a 302 MiB por contenedor contra 11,5; gVisor arranca en 0,33 s, usa 48,6 MiB y empata con runc en una carga de miles de archivos pequeños.#Contenedores#Seguridad#AgentesArtículo2026-10-18ComfyUI vs Forge en una GPU de 16 GB: empatan en SDXL y ComfyUI es el doble de rápido con Z-Image, cuando los modelos no cabenMedí ComfyUI, Forge Neo y el Forge original con los mismos archivos, semillas y ajustes en una RTX 4070 Ti SUPER, con diffusers como línea base. Con SDXL empatan en 6,7 s por imagen. Con Z-Image Turbo, que no cabe junto a su codificador de texto, ComfyUI tarda 6,75 s y Forge Neo 13,4 s; con Qwen-Image fp8, 75,7 s contra 96,0 s. Los logs apuntan a cómo cada uno gestiona la memoria entre la RAM y la GPU.#IA#Benchmarks#Generación de imágenesArtículo2026-10-17NVFP4 vs FP8 vs GGUF en una GPU de 16 GB sin Blackwell: NVFP4 genera 2,3 veces más rápido que BF16 y empata en las 1319 preguntas de GSM8KMedí el mismo modelo de NVIDIA en BF16, NVFP4, MXFP8, FP8 y GGUF Q5_K_M en una RTX 4070 Ti SUPER. NVFP4 genera a 117 tokens por segundo contra 51 de BF16, y FP8 es el más rápido para leer un prompt largo. En las 1319 preguntas de GSM8K los tres formatos de vLLM empatan con BF16 dentro de ±3 puntos, aunque token por token NVFP4 cambia la elección de BF16 una de cada diez veces.#IA#Benchmarks#Inferencia localArtículo2026-10-16NVFP4 sin Blackwell: corrí el Qwen-Image de NVIDIA en una RTX 4070 Ti SUPER y el grano de NF4 estaba en 8 matricesNVIDIA publicó Qwen-Image en NVFP4 solo para Blackwell. En una RTX 4070 Ti SUPER su ruta oficial no carga, y los pesos expandidos a bf16 corren más lento que NF4 (145 s contra 102 s por imagen) sin escribir mejor. Lo que sí encontré es el origen del grano de NF4: no estaba en las capas con peor error, sino en 8 matrices de los bloques del borde que NVIDIA dejó sin cuantizar. Dejarlas en bf16 lo quita a menos de medio segundo más por imagen.#IA#Benchmarks#Inferencia localArtículo2026-10-14Kandinsky 6 en una tarjeta de 16 GB: el video sale, y en español solo el modelo grande pasó mi pruebaKandinsky 6.0 genera cinco segundos de video con audio. En mi RTX 4080 de 16 GB, la receta oficial se quedó sin memoria con el modelo Lite destilado; con una receta en dos fases corrió, a unos 2 minutos 21 segundos por clip vertical. Medí la fidelidad de su español con Whisper en tres modelos de la familia: Lite destilado y Lite sin destilar no pasan la regla que fijé antes de correr; Pro destilado sí, pero su proceso llegó a 120 GiB de RAM del sistema.#Modelos#Video#GPUArtículo2026-10-14Por qué migré todo mi laboratorio a NixOS: cuatro máquinas, un repositorio y lo que costóTenía cuatro máquinas con cuatro sistemas operativos distintos, servicios corriendo en tmux, contraseñas dentro de los units y varias sesiones de agentes tocando todo a la vez. En nueve días las pasé a NixOS con un solo flake. Medí lo que da: un despliegue tarda entre 11 y 17 segundos, el mismo commit produce el mismo hash de sistema en dos máquinas distintas y volver a la versión anterior toma 1,6 segundos. Y medí lo que costó: 35 de 111 commits son arreglos, se perdieron todos los entornos de Python y el DNS del router reapuntó 1.185 archivos solo.#NixOS#Infraestructura#AgentesArtículo2026-10-10Ocho modelos de decisión contra mis datos: ninguno superó a lo que ya uso, y el segundo del índice ordenó al revés el fraudeCorrí ocho modelos de decisión en el Decision Index, que reproduje, y en tres bancos propios con etiqueta real: planos de video, fraude de tarjetas y lluvia. Ninguno superó con claridad a la referencia clásica de cada banco. En fraude, el único banco donde se separan con claridad, d1-3B, segundo del índice, ordenó al revés y JEV-9B fue el mejor claro; en planos y lluvia los de arriba quedaron empatados.#IA#Benchmarks#Inferencia localArtículo2026-10-10Qwen-Image 2.1 reemplaza a FLUX en mis portadas: 7 veces más rápido en la misma tarjeta de 16 GB, y lo que pierdoPasé los mismos prompts y las mismas seeds por el FLUX que genera mis portadas y por Qwen-Image-2.1-Turbo cuantizado a NF4, en la misma tarjeta de 16 GB. Qwen tarda 8,4 s por imagen contra 61 s, escribe exacto 13 de 18 textos contra 7 y dibuja la escena pedida en 11 de 15 portadas contra ninguna. Pierdo la atmósfera de la LoRA, y la versión que cabe en 16 GB escribe 4 textos menos que Qwen sin cuantizar.#IA#Benchmarks#Inferencia localArtículo2026-10-07Strands Decider 2B como juez de mis planos: 37 ms, y una regla de palabras lo empataMedí Strands Decider 2B como juez sobre 75 planos: con choice llega a AUC 0,91 en 34 ms por juicio, contra 0,99 de Claude Opus; una regla simple llegó a 0,90. Con su primitivo por defecto, noul, no atrapó ni uno de los 31 planos genéricos; el checkpoint v21 no lo mejora, y la repetición entre planos, que era mi falla real, la detectan todos. Datos, etiquetas y scripts publicados.#IA#Benchmarks#Inferencia localArtículo2026-09-26Un modelo que no escribe, solo decide: puse a Intern-Decision a predecir la lluvia sin entrenarloIntern-Decision salió el 26 de septiembre de 2026: modelos de 0,8B a 4B que no generan texto y devuelven una probabilidad por pregunta en una sola pasada. Lo instalé el mismo día, tropecé con tres fallos al instalarlo, uno de los cuales lo hacía entre 2 y 3,2 veces más lento, y lo puse a predecir la lluvia de mañana en 27.256 días de siete ciudades chilenas sin entrenarlo. El 2B llega a un AUC de 0,823, casi lo mismo que un Naive Bayes entrenado con 74.145 filas, y queda bajo la regresión logística.#Modelos#Benchmarks#GPUArtículo2026-09-23AWS dice que su harness de agentes ahorra 28% de tokens. Medí 1,82x más caro en local, 88% más barato en la nubeProbé Strands Harness, el runtime de agentes de AWS, contra un LangGraph pelado, mismos 3 tools, mismo gatekeeper, misma conversación de 20 turnos. Contra un Qwen3.8-27B local de 16k de contexto gastó 1,82 veces más tokens. Contra el mismo trabajo en un modelo cloud, con la temperatura por fin igualada entre los dos, gastó un 88,8% menos. Y tres auditorías adversariales tuvieron que corregir mis propios errores en el camino: 11 herramientas de más, un límite de turnos que mentía, y un doble conteo de caché que inflaba el primer número 4 veces.#Agentes#LangGraph#AWSArtículo2026-09-18CUDA en Rust contra CUDA C++: Rust gana por 3,2 % hasta que compruebas que no calculan lo mismoCompilé cuda-oxide, el backend de NVIDIA para escribir kernels CUDA en Rust, y medí el mismo kernel contra CUDA C++. En Mandelbrot Rust sale 3,2 % más rápido, pero los dos programas difieren en 27.510 píxeles; con la aritmética igualada bit a bit, Rust queda 7 % más lento.#Rust#CUDA#GPUArtículo2026-09-14ExLlamaV3 contra llama.cpp con Qwen3.8-27B en 16 GB: decodifica más rápido, pero no siempre ganaLes di a los dos motores exactamente los mismos tokens de entrada dentro de un contenedor con límites de pod. ExLlamaV3 decodifica más rápido y procesó 131 mil tokens de contexto; en archivos de 13 GB pierde menos calidad, en los de 15 GB pierde contra el GGUF. En un turno agéntico, el prefill se come casi toda la ventaja.#ExLlamaV3#llama.cpp#CuantizaciónArtículo2026-09-13Un chat en Amazon Bedrock AgentCore para mi blog: lo rompí con 64 mensajes y lo rearmé con reglas fuera del promptTutorial: chat LangGraph en Amazon Bedrock AgentCore con Knowledge Base S3 y guardrails, probado con una conversación de 64 mensajes. Costos y opción local.#IA#AWS#SeguridadArtículo2026-09-02Más bits donde duele: cuanticé un Qwen3.8-27B a la medida de mi 4070 TiEl Q4 se pasa de 16 GB y el Q3 pierde calidad. Un parche de llama.cpp reparte los bits capa por capa: medí un Qwen3.8-27B al 94 % de una referencia de 8 bits que sí entra en una 4070 Ti.#Cuantización#llama.cpp#GGUFArtículo2026-08-17TabPFN y TabICL contra XGBoost ajustado: el modelo que no entrena ganó en catorce de catorce tablasLa promesa de TabPFN y TabICL es que predicen sobre una tabla sin entrenar en ella y aun así superan al boosting ajustado. La medí en catorce datasets del banco de Grinsztajn, con la misma partición y el mismo reloj para todos. Gana el que no entrena, la ventaja aguanta hasta 32 000 filas en vez de romperse, y el modelo más citado ya no se puede descargar sin cuenta.#Modelos#Benchmarks#GPUTutorial2026-08-16Corrí AIFS 2.0, el modelo de clima de ECMWF, en mi tarjeta de escritorio y quedé a 0.45 °C del pronóstico oficialECMWF publicó los pesos de su modelo de pronóstico con IA. Pesa menos de un giga y corre en una tarjeta de escritorio: 48 horas de pronóstico en 108 segundos y 5.77 GB de memoria, o 33 minutos si no tienes GPU. Lo instalé paso a paso, lo comparé contra el modelo físico operativo del mismo centro y anoté los dos tropiezos que casi me hacen publicar un disparate.#Modelos#GPU#ClimaArtículo2026-08-15Puse el mismo agente a resolver bugs reales con tres motores locales: 284B, 27B y 27B en dos bitsEl DeepSeek Harness solo se ha probado con la API oficial. Lo conecté a tres motores locales y les di instancias reales de SWE-bench Verified. Dos empatan en aciertos, uno es once veces más rápido, y el que tiene 284 mil millones de parámetros no llega ni a la salida.#Agentes#Modelos#GPUTutorial2026-08-15Pocket TTS: cloné mi voz en un CPU de 2019, sin GPU y sin nubeUn modelo de voz de 209 MB que corre en CPU, clona una voz con 25 segundos de referencia y permite uso comercial citando la fuente. Instalación paso a paso, métricas medidas en un i5 de 2019 y mi opinión honesta frente a ElevenLabs y compañía.#IA#AudioArtículo2026-08-15¿Entra Qwen3.8-27B en 16 GB de VRAM? Lo medí, y de paso descubrí que mi banco de pruebas mentíaTodos repiten que el nuevo modelo de Alibaba necesita unos 15 GB en 4 bits. Mi GPU tiene 16 y el archivo pesa 16,5. Medí tokens por segundo, VRAM real y reparto CPU/GPU en tres contextos, y el modelo terminó corrigiéndome a mí.#Modelos#GPU#Benchmarks

Todos los escritos