Llama-modchip: 284B DeepSeek en 64 GB de RAM, sin GPU
Las técnicas agresivas de cuantización están permitiendo a los entusiastas meter modelos masivos como DeepSeek V4 Flash (≈284B parámetros) en máquinas con 64–128 GB de RAM sin GPU, pero muchos cuestionan si los pesos de 2 bits y la poda pesada de MoE dejan el modelo demasiado “lobotomizado” para trabajo serio. Los comentaristas analizan cómo distintos esquemas de cuantización (1–4 bits frente a 5–8 bits, estrategias por capa, QAT) afectan la coherencia, la velocidad y el uso de memoria, señalando que los modelos más grandes toleran mejor la cuantización de bajo bit, aunque siguen degradándose de forma no lineal. El hilo se amplía a una comparación entre modelos abiertos locales cada vez más capaces y ofertas en la nube de frontera como Claude y GPT, sopesando privacidad y propiedad frente a diferencias sustanciales en calidad, fiabilidad y facilidad de uso.
Nivel de cuantización y calidad del modelo
- El debate central gira en torno a la cuantización de 2 bits usada para ajustar DeepSeek 284B en 64 GB de RAM.
- Muchos sostienen que cualquier cosa por debajo de 4/5 bits degrada gravemente la calidad, provoca incoherencia/bucles y es en su mayoría “para demos”.
- Otros reportan resultados sorprendentemente buenos con ciertos modelos MoE grandes (p. ej., DeepSeek v4.1 Flash) a codificaciones de 2 bits o IQ1, afirmando una retención de ~98% y un rendimiento práctico sólido.
- El consenso: la calidad depende mucho del modelo y del esquema de cuantización; “<4 bits = basura” es demasiado simplista, pero el riesgo de lobotomizar el modelo es real.
Confusión técnica sobre este lanzamiento específico
- Varios comentaristas tienen dificultades para entender qué cuantización exacta se usa y cómo se calculan los tamaños; al README lo llaman “sopa densa de palabras / slop de IA”.
- Las cifras de tamaño reportadas no coinciden con los archivos GGUF de Unsloth; se sospecha una mezcla de IQ1_S/IQ2_XXS y poda adicional (“MoE pruning” = menos expertos por token).
- Algunos dudan de que esta variante 2 bits/podada pueda igualar siquiera referencias conocidas de cuantización Q2; se espera que la calidad sea significativamente inferior a la completa o a una cuantización leve.
Rendimiento y compromisos de hardware
- El rendimiento solo con CPU es mixto: algunos ven 12–15 tok/s de decodificación en portátiles Ryzen de gama media y lo consideran “usable para trabajo personal”; otros señalan ejecuciones de demostración que tardan ~2 minutos para prompts triviales y lo llaman inutilizable.
- El prellenado puede ser rápido para contextos grandes, especialmente con streaming/reutilización de pesos de expertos, pero los prompts pequeños se ven terribles en demos en video.
- Los sistemas con 80–128 GB de RAM y GPUs decentes (Strix Halo, Blackwell, tarjetas de consumo de gama media) pueden ejecutar modelos de clase 20–30B o flash-MoE a velocidades cómodas.
Comparación con otros proyectos
- Varios forks de llama.cpp ya admiten streaming de pesos y cuantizaciones especiales: Strata, Bonsai, Pulsar, lemonade-llamacpp, gufo, halogen, Ollama.
- Algunos ven este repositorio como incremental o poco claro frente a esos esfuerzos anteriores.
- Se culpa al lento ritmo de PR de llama.cpp de que muchas optimizaciones vivan en forks.
Modelos locales vs nube: coste, capacidad e ideología
- Un sector argumenta que las estaciones de trabajo usadas baratas + modelos abiertos ya rivalizan con el SOTA del año pasado a bajo coste, poniendo en duda las suscripciones de Claude/cerradas.
- Otro sector insiste en que los modelos frontera (Opus, Astra, etc.) son dramáticamente más capaces y ahorran mucho tiempo; Qwen/DeepSeek locales en Q3/Q4 siguen quedando muy atrás para trabajo serio de codificación/agentes.
- El debate mezcla economía (coste por token frente a hardware), privacidad/soberanía de datos y preocupación por financiar grandes laboratorios frente a poseer tus herramientas.
Usabilidad y accesibilidad
- Varios se quejan de que los README generados por IA, con emojis y jerga, son casi ilegibles; los humanos aún necesitan documentación clara, escrita a mano.
- Algunos piden explicaciones simples, sin jerga, de cómo funciona el sistema; otros sugieren usar un agente LLM solo para hacer que el repositorio sea usable.