MicroLLM Lab – Prueba 7 LLM diminutos en el navegador

Artículo original ↗ Discusión en Hacker News ↗

Los modelos de lenguaje diminutos que se ejecutan por completo en el navegador están impresionando a los desarrolladores por lo rápidos y ligeros que se han vuelto, pero sus capacidades siguen siendo muy limitadas en comparación con los LLM modernos de estilo chat. Los comentaristas elogian la demo de MicroLLM Lab por mostrar inferencia en el dispositivo con WebGPU y WASM, al tiempo que señalan alucinaciones frecuentes, mal razonamiento, comportamiento solo en inglés y un diseño de UI confuso. El hilo también pone sobre la mesa desafíos técnicos —especialmente la compatibilidad con Firefox y GPU— y apunta a esfuerzos más amplios como Web Models API y proyectos similares que buscan estandarizar y ampliar la ejecución local y con preservación de la privacidad de modelos en la web.

Impresión general

  • Muchos ven la demo como una prueba divertida y reveladora de hasta dónde ha llegado la inferencia en el navegador y en el dispositivo.
  • Otros encuentran que los modelos son “inutilizables” para tareas de estilo asistente, con salidas a menudo sin sentido, repetitivas o en bucle.
  • Varios comentarios comparan la experiencia con la época temprana de GPT‑2 / “prompt engineering”: interesante, pero frágil y poco fiable.

Capacidades y limitaciones de los modelos diminutos

  • Consenso: se trata de small language models (SLMs), no de asistentes completos.
  • Usos apropiados sugeridos: análisis de sentimiento, clasificación de texto, extracción de entidades, completaciones simples.
  • Para chat abierto, recetas, preguntas y respuestas factuales, o razonamiento básico (p. ej., 2+2, capitales, poblaciones, recuento de cartas), los usuarios informan alucinaciones frecuentes y errores lógicos.
  • Algunas salidas son divertidamente incorrectas (p. ej., gatos “no son animales”, respuestas absurdas sobre Sudáfrica, números de población disparatados, recetas extrañas).
  • Unos pocos prompts obtienen respuestas razonables, lo que muestra que, con un prompting cuidadoso, estos modelos a veces pueden comportarse de forma coherente.
  • Varios usuarios concluyen que estos ejemplos aún no son prácticos como asistentes generales, y ven el laboratorio principalmente como una demostración de capacidades.

Experiencia de usuario e interfaz

  • Varios usuarios critican la UI:
    • Texto demasiado pequeño y denso.
    • Demasiado contenido previo, en su mayoría ignorables, explicaciones generadas por IA antes de la parte interactiva.
    • Pie de página confuso y falta de ejemplos claros de en qué son buenos los SLMs.
  • El autor responde:
    • Añadiendo un gran “tl;dr” y marcando el texto más largo como opcional.
    • Aumentando el tamaño de la fuente y simplificando el pie de página.
  • Algunos argumentan que la publicación tuvo éxito a pesar del diseño ruidoso, no gracias a él.

Implementación técnica y rendimiento

  • Ejecuta modelos en el navegador mediante WebGPU, con WebAssembly como alternativa más lenta.
  • Muchos informan de una velocidad sorprendentemente alta de generación de tokens en hardware moderno; algunos comparten números específicos de tokens por segundo.
  • Otros encuentran problemas:
    • WebGPU no disponible o con fallos en Firefox/Linux (por ejemplo, errores de GPUShaderStage), lo que requiere flags o usar la alternativa.
    • Un informe de caída en macOS (causa no clara).
    • Algunos no pueden cargar modelos o dicen que “nada funciona”, mientras que otros reportan que todo funciona en navegadores convencionales.
  • Entre las sugerencias figuran una mejor detección de características, advertencias explícitas para configuraciones no compatibles y servir los modelos vía CDN.

Proyectos relacionados e implicaciones más amplias

  • Se comparten varios demos y laboratorios relacionados de LLM en el navegador / WebGPU, incluidas apps de chat de un solo archivo, pequeños modelos de “story” y otros mini-labs.
  • Se discute una propuesta de estándar “Web Models API”, incluidas preguntas sobre registros de modelos y posiblemente distribución P2P.
  • Sentimiento general: ejecutar incluso modelos pequeños directamente en el navegador, incluidos escenarios air-gapped, se ve como algo potente y prometedor pese a las limitaciones actuales de calidad.