Inkling 2 Mini

Un nuevo modelo de lenguaje de pesos abiertos, Inkling 2 Mini, está llamando la atención por igualar o rivalizar con modelos más grandes como Qwen 3.8-27B en tareas de programación y razonamiento, sin dejar de ser práctico para ejecutar en hardware de consumo, incluidos Macs de 32–64 GB y GPUs de gama media. Combina una arquitectura de transformer en bucle, enrutamiento mixture-of-experts y entrenamiento de 4 bits para intercambiar más cómputo por token por menores requisitos de memoria, lo que provoca tanto entusiasmo por asistentes locales rápidos y “suficientemente buenos” como preocupación por la verbosidad, las lagunas de conocimiento y la seguridad/interpretabilidad. Los primeros evaluadores informan un uso de herramientas sólido, capacidad de programación y buen comportamiento de cuantización, pero un rendimiento real mixto, especialmente cuando los modos intensivos de “razonamiento” generan salidas largas o bucles descontrolados.

Recepción general y comparaciones

  • Muchos comentaristas están muy impresionados y llaman a Inkling 2 Mini “bonkers good” si los benchmarks se traducen al uso real.
  • Se compara con frecuencia con Qwen 3.8 27B / Qwen 3.6 35B y Muse Glimmer; varios dicen que parece competitivo o ligeramente mejor en programación y algunas tareas de razonamiento con un menor número de parámetros activos.
  • Algunos informan que se siente como un modelo “frontier-lite” para programación y trabajo con datos, pero no claramente superior para todos los casos de uso.

Arquitectura de transformer en bucle

  • Hay gran interés en el diseño en bucle: las capas intermedias se reutilizan varias veces por token, aumentando de forma efectiva la profundidad sin más parámetros.
  • Se comenta como relacionado con investigaciones anteriores (Universal Transformer, modelos recursivos) y con trucos DIY de “repetición de capas” que aumentaron la capacidad.
  • Beneficios reclamados: más razonamiento por token, potencialmente menos dependencia de largas cadenas de razonamiento en texto, mejor rendimiento en programación.
  • Preocupaciones: el bucle aumenta el cómputo y el tamaño de la KV-cache por token; impacto poco claro en velocidades en tiempo real e interpretabilidad.

Despliegue local, cuantización y motores

  • Las cuantizaciones GGUF ya están disponibles; el soporte en llama.cpp llegó mediante PRs recientes, aunque todavía es algo tosco.
  • Las velocidades de decodificación reportadas varían mucho:
    • En GPUs NVIDIA de gama alta (5090, 3090) y AMD (7900XTX, 9070XT), los usuarios ven 20–50 tok/s+ tras ajustes; algunos al principio solo ven ~10 tok/s.
    • En Macs M1/M2/M4 con 32–64 GB de RAM, los usuarios obtienen ~10–20 tok/s con Q4; se considera muy usable, pero por debajo de los límites teóricos de ancho de banda.
  • Vulkan a menudo supera a ROCm en AMD en llama.cpp; algunos recomiendan parches concretos, ajuste del tamaño de lote o servidores alternativos (por ejemplo, radiance).
  • Las peculiaridades de FlashAttention y nvfp4 limitan algunas opciones de cuantización de KV; el soporte en Metal/MLX aún no está maduro.

Comportamiento práctico: programación, herramientas, prosa

  • Las demos de programación impresionan a muchos; los usuarios informan Python y SQL concisos y de buena calidad, con fuerte llamada a herramientas y búsqueda cuando está habilitado.
  • Otros ven comportamientos extraños: APIs/hooks inventados, creencias obstinadamente erróneas incluso después de buscar, y fallos ocasionales al ejecutar realmente herramientas que dice que llamará.
  • La calidad de la prosa suele gustar, aunque algunos encuentran las respuestas demasiado breves o algo “raras”; para escritura pura, algunos aún prefieren Gemma 4 o Muse Glimmer.

Uso de tokens, niveles de razonamiento y verbosidad

  • El modelo es muy “charlatán”, especialmente con ajustes de razonamiento “extra high” en algunos entornos, consumiendo decenas de miles de tokens en una sola tarea.
  • Algunos argumentan que esto no es realista para el uso cotidiano y que los niveles altos de razonamiento intercambian enormes latencias y uso de contexto por ganancias marginales.
  • Otros señalan que el bucle no aumenta el conocimiento factual; mejora el razonamiento, pero sigue requiriendo herramientas/búsqueda para cerrar lagunas de conocimiento.

Seguridad, alineación y riesgo

  • Los modelos en bucle generan preocupación para algunos comentaristas: un razonamiento interno más “invisible” puede reducir la capacidad de monitorización en comparación con el chain-of-thought explícito.
  • Otros descartan esto como exagerado, argumentando que el looping es funcionalmente similar a redes más profundas y que todos los LLM modernos ya son opacos.
  • Hay un debate más amplio sobre capacidades de ciberseguridad habilitadas por IA y riesgo de bioterrorismo, con opiniones que van desde “ya está aquí, pero es manejable” hasta un aumento significativo de “p(doom).”

Papel en el ecosistema y modelo de negocio

  • Se ve como un paso importante para modelos locales serios que funcionan en Macs de 32–64 GB y GPUs de consumo, posiblemente permitiendo configuraciones multiagente localmente.
  • Algunos lo enmarcan como parte de una tendencia hacia modelos pequeños, eficientes y de pesos abiertos (a menudo MoE + looping + entrenamiento de bajo bit).
  • Se especula que la justificación comercial sea una mezcla de prestigio, futuras posibilidades de adquisición, ajuste fino/servicios para empresas y un modelo de soporte estilo “Red Hat”.