Gemma 4 12B: un modelo multimodal unificado y sin codificador

Arquitectura y diseño “sin codificador”

• La principal novedad que se comenta es el diseño multimodal “sin codificador”.
• Las entradas de visión/audio se mapean al espacio del LLM mediante pequeños módulos de proyección/embedding (una sola matmul + información posicional/de coordenadas) en lugar de un gran codificador ViT/audio separado.
• Algunos sostienen que esto sigue siendo “codificación”, solo que sin una red codificadora profunda.
• La ruta de audio es especialmente controvertida: se afirma que los fotogramas de audio en bruto se pasan por una sola proyección sin embeddings posicionales explícitos; otros insisten en que debe existir algún mecanismo posicional, pero el artículo supuestamente dice lo contrario.
• Varios señalan que esto es un enfoque de “early fusion” con precedentes (FAIR, EVE, Thinky).

Cuantización, hardware y marketing de “16GB”

• Debate intenso sobre la afirmación de que “funciona en 16GB”.
• Los pesos BF16 necesitan ~24GB+; un uso real en 16GB requiere 8 bits o menos, y deja muy poco margen.
• Algunos usuarios obtienen errores de “memoria insuficiente” en Macs de 16–18GB, calificando el mensaje de engañoso.
• Otros señalan que 12B en int8 cabe en ~12GB, en 4 bits en ~6GB, y reportan velocidades utilizables en CPU y GPUs de consumo.
• Se comenta que los benchmarks casi seguro están en bf16, mientras que los usuarios reales ejecutarán variantes cuantizadas.

Rendimiento y comparaciones

• Benchmarks y anécdotas sugieren:
  • 12B es fuerte para su tamaño, pero Gemma 4 de 26B/31B y Qwen 3.6 de 27B/35B son claramente mejores, especialmente para programación y razonamiento difícil.
  • Algunos encuentran que Gemma 4 31B “da vueltas” a Qwen comparables en ingeniería compleja; otros dicen que Qwen sigue siendo superior para programar, especialmente con uso de herramientas.
  • Un benchmark de programación en una cuantización Q4 muestra resultados aproximadamente comparables a GPT‑4.1 en esa tarea, aunque con pequeños errores de sintaxis.
  • Para tareas en alemán, 12B está aproximadamente empatado con Qwen 3 14B y por debajo de Gemma 31B / Qwen afinado para razonamiento.

Calidad de visión y audio

• Impresiones mixtas sobre visión:
  • Algunos elogian su razonamiento con entrada visual y la ventaja de velocidad del pequeño embebedor.
  • Otros informan fallos graves: identificar mal fotos del Taj Mahal, gráficos de dispersión, imágenes simples de “This is a test” o monedas; a veces entra en bucle o alucina.
  • Varios señalan que Qwen multimodal suele superar a Gemma en imágenes.
• La ruta de audio (proyección de forma de onda en bruto) se ve como audaz desde el punto de vista arquitectónico, pero quizá frágil; todavía no hay benchmarks de audio sustantivos de usuarios.

Casos de uso para modelos pequeños/locales

• Usos reportados: limpieza de dictado, triage de correos, OCR + estructuración de documentos, descripción de imágenes, resumen de reuniones, clasificación, búsqueda mejorada por recuperación sobre datos personales y agentes prototipo.
• Patrón común: dividir los problemas en microtareas y confiar en modelos locales cuando la calidad de frontera no es esencial, usando modelos en la nube solo para los casos más difíciles.

Estrategia de Google e impacto en el ecosistema

• Muchos especulan sobre las motivaciones:
  • Marketing, iteración de investigación, habilitación en edge/Android/Chrome, impulso al uso de Vertex AI y comoditización de las ofertas de la competencia.
  • Cubrirse frente a los potentes modelos abiertos chinos y debilitar los fosos de los modelos cerrados (OpenAI/Anthropic).
• A algunos les preocupa que Gemma socave los esfuerzos independientes de código abierto; otros creen que obliga a mejorar la eficiencia y la apertura en todo el ecosistema.

Herramientas, despliegue y problemas tempranos

• Discusión activa sobre Ollama, llama.cpp, vLLM, MLX, LiteRT‑LM y Edge Gallery.
• Confusión sobre etiquetas solo para MLX, soporte multimodal parcial y MTP (predicción de múltiples tokens) aún en desarrollo en runtimes populares.
• Las primeras versiones cuantizadas tenían errores o archivos mmproj ausentes; algunos usuarios reportan fallos, explosiones de memoria o aritmética deficiente, lo que sugiere que la pila todavía está madurando.