Edge0-145B: Capacidades de IA de frontera en tu propio ordenador

Un nuevo proyecto llamado Edge0-145B afirma llevar modelos de IA “de frontera” a máquinas personales mediante modificaciones y fine-tuning de Alibaba Qwen3.8 Flash Next y su ejecución sobre un fork del motor de inferencia Strata. Quienes comentan muestran interés por su arquitectura MoE dispersa, la descarga agresiva de pesos a RAM/SSD y sus benchmarks prometedores, que en teoría podrían permitir que portátiles y sobremesas de gama alta ejecuten modelos muy grandes. Sin embargo, muchos son escépticos respecto al marketing, la claridad del licenciamiento, el soporte incompleto para macOS y las afirmaciones sobre benchmarks, y señalan que la tecnología subyacente está en gran medida reempaquetada a partir de modelos y herramientas open-weight existentes.

Procedencia y arquitectura

  • Muchos señalan que Edge0-145B deriva de Qwen3.8-Flash-Next y se ejecuta sobre un fork del motor de inferencia Strata (“edge0‑strata”).
  • Algunos ven solo ajustes arquitectónicos modestos (p. ej., distinto número de parámetros activos, matrices compartidas, heurísticas de colocación de expertos), además de fine-tuning y cuantización.
  • Hay debate sobre si se trata de una innovación genuina o de un fine-tune reempaquetado con mucho branding.

Licenciamiento y apertura

  • Confusión sobre el licenciamiento: algunos lo llaman “open weights”, mientras otros argumentan que la licencia es demasiado restrictiva para contar como tal.
  • La presencia de Apache 2.0 en partes del stack añade ambigüedad.

Plataforma, runtime y confusión con macOS

  • El blog afirma “soporte desde el primer día” para macOS, Windows, Linux y Macs con serie M.
  • En la práctica, el runtime publicado para 120B/145B parece ser solo CUDA; la aplicación GUI es solo para Windows.
  • La comunidad encuentra guías para 35B en macOS mediante otros motores, pero 145B en Mac aún no es práctico; el mensaje general se percibe como contradictorio.

Huella de memoria y afirmaciones técnicas

  • Afirmación principal: 145B parámetros con ~29GB de memoria pico, “funciona en un portátil de 48GB”.
  • Quienes comentan desmenuzan esto, señalando:
    • Las cuentas básicas sugieren bastante más de 29GB para 145B parámetros, incluso con baja precisión.
    • La documentación menciona decenas de GB adicionales en RAM del sistema más uso de SSD para expertos y tablas n-gram.
  • Consenso: se trata de una configuración MoE dispersa / descargada donde gran parte del modelo vive en RAM/SSD; 29GB se refiere solo a la GPU o al subconjunto activo, y el marketing se percibe como engañoso o poco claro.

Rendimiento, benchmarks y uso real

  • Los benchmarks (por ejemplo, TerminalBench) parecen fuertes, aproximadamente a la par de algunos modelos locales bien valorados.
  • Varios advierten sobre el “benchmaxxing”: fine-tunes que elevan las puntuaciones en benchmarks sin mejorar el uso general.
  • Al menos una prueba de usuario informa que el modelo se queda colgado en un problema clásico de programación, lo que sugiere inmadurez o problemas del motor.

Casos de uso, herramientas y agentes

  • Interés en demostraciones de uso de herramientas, especialmente automatización en Blender y agentes de programación.
  • Escepticismo sobre si los artefactos 3D/PCB generados están lo bastante limpios como para ahorrar tiempo real frente a la limpieza manual.
  • Comparaciones con otros agentes/modelos (Fable, Qwen4, etc.) y sugerencias de usar CAD basado en texto como OpenSCAD para 3D asistido por IA.

Hardware, accesibilidad y VRAM

  • Entusiasmo de usuarios con GPUs de gama alta (p. ej., 4090/5090, RTX 6000) y Macs con mucha RAM; algunos lo ven como una inversión profesional razonable, otros lo llaman “ridículamente caro”.
  • Siguen sin resolverse preguntas sobre la VRAM mínima (4–8GB frente a 16–24GB+); la descarga a memoria ayuda, pero los compromisos siguen sin estar claros.
  • Se discute si los usuarios “normales” típicos poseen hardware capaz de ejecutar modelos así; muchos creen que el verdadero objetivo son prosumers y profesionales.

Variantes del modelo (145B vs 120B vs 35B)

  • Confusión sobre por qué existe un modelo de 120B cuando 145B es de tamaño similar y ambos aparecen con ~29GB de memoria en la tabla.
  • Algunos especulan que las variantes más pequeñas están pensadas para máquinas como MacBooks de 48GB, pero falta orientación oficial.

Transparencia de la empresa y origen

  • Quienes comentan señalan que hay muy poca información concreta sobre la empresa en su sitio (ubicación, equipo, etc.).
  • Un comentario destaca que parece ser una startup de la RPC que optimiza un modelo base chino, lo que algunos consideran un contexto relevante.

Reflexiones más amplias sobre la IA local “de frontera”

  • Debate sobre el lenguaje de marketing como “capabilities on your own computer”:
    • Los partidarios sostienen que es un avance impresionante: modelos grandes y potentes ejecutándose en una sola estación de trabajo de alta gama.
    • Los críticos dicen que no es realmente “de frontera”, sino más bien la frontera del año pasado en un formato muy optimizado y descargado.
  • Discusión más amplia sobre:
    • La tendencia hacia modelos enormes en la nube y otros más pequeños/especializados en local.
    • Si los modelos locales tipo frontera harán económicamente viable dar a cada trabajador del conocimiento o aficionado su propia IA potente y privada.