Ollama ya está disponible en Windows en vista previa

Artículo original ↗ Discusión en Hacker News ↗

La nueva vista previa de Ollama para Windows está reavivando el interés por ejecutar modelos de lenguaje grandes localmente, y muchos usuarios elogian lo fácil que convierte los PCs de consumo —especialmente las máquinas para juegos— en estaciones de trabajo de IA prácticas. Gran parte del debate gira en torno al soporte fragmentado de GPU (NVIDIA frente a AMD, ROCm frente a Vulkan/OpenCL), decisiones arquitectónicas como exponer los modelos mediante servidores HTTP locales, y cómo frontends como Open-WebUI, LM Studio y Msty se integran con Ollama. Los comentaristas también comparan la calidad de los modelos para idiomas no ingleses, describen usos reales desde autocompletado de código hasta ayuda para escribir, y destacan el potencial de reducir los costes de IA en la nube descargando las consultas “fáciles” a modelos locales.

Disponibilidad de la plataforma y vista previa en Windows

  • Ollama ya era popular en macOS y Linux; la compatibilidad nativa con Windows elimina la necesidad de WSL, que algunos consideraban potente pero incómodo.
  • Los usuarios aprecian que ahora funciona igual de bien en Windows y macOS, incluido el soporte de GPU cuando está disponible.

Compatibilidad con GPU y controladores (especialmente AMD)

  • Frustración reiterada por la falta de compatibilidad pulida con GPU AMD, especialmente en Windows; muchos lamentan haber comprado AMD para cargas de trabajo de IA.
  • Algunos informan que ROCm funciona bien en tarjetas AMD recientes bajo Linux; otros describen pánicos del kernel, la retirada del soporte para GPUs de consumo y instalaciones dolorosas.
  • Alternativas mencionadas: backends OpenCL y Vulkan a través de llama.cpp; OpenCL a menudo “funciona”, pero con rendimiento mixto frente a ROCm.
  • Los mantenedores dicen que el soporte para GPU AMD está en la hoja de ruta y ya se está trabajando en ello con hardware Radeon de gama alta; el soporte de ROCm en Windows se sigue por separado.
  • NVIDIA se percibe como más fiable para IA en general, aunque algunos usuarios de Linux no están satisfechos con su situación de controladores en distribuciones de rápido avance.

Frontends, herramientas e integración con editores

  • Open-WebUI (antes ollama-webui) se destaca como una interfaz de chat que evoluciona rápidamente con búsqueda de conversaciones.
  • Otra app de escritorio (Msty) ofrece una UI unificada para modelos locales y en línea, ahora en Windows, con Linux previsto y soporte para AMD en exploración.
  • Integraciones de VS Code: Continue.dev y Cody pueden usar Ollama para autocompletado de pestañas y (pronto) chat/refactorización.

Capacidades lingüísticas y elección de modelo

  • Llama 2 (especialmente 13B chat) rinde mal en chino y japonés; mezcla idiomas y alucina sobre sus propias capacidades.
  • Otros recomiendan modelos centrados en chino o multilingües (por ejemplo, Qwen, Yi) de la biblioteca de Ollama, o variantes raw/base que pueden preservar mejor la capacidad en otros idiomas.

Arquitectura: servidor frente a proceso embebido

  • Debate sobre por qué las herramientas locales funcionan como servidores HTTP en lugar de integrar los modelos directamente en las UIs.
  • Argumentos a favor del servidor: evitar cargar el modelo repetidamente, compartir un único modelo entre varios clientes y máquinas, empaquetado más fácil (contenedores), APIs compatibles con OpenAI y uso remoto/sin interfaz gráfica.
  • A los críticos no les gustan los servicios locales siempre activos ni los oyentes sin autenticación, pero a menudo usan máquinas potentes que podrían integrar los modelos directamente.

Estabilidad, rendimiento y problemas de instalación

  • Se informan pánicos del kernel en macOS al usar memoria cercana al máximo y con AMD ROCm en Linux.
  • Algunas GPUs (por ejemplo, NVIDIA Quadro P3000) no se detectan; los mantenedores afirman que el soporte debería existir y piden registros.
  • Los instaladores de Windows y las apps de IA activan con frecuencia falsos positivos del antivirus; se sugieren la firma de código y herramientas de instalación como mitigaciones.

Herramientas alternativas y comparaciones

  • LM Studio es elogiado por su configuración sencilla y descargas de modelos con un clic, pero criticado por el uso opaco de la caché, la búsqueda débil y la importación restrictiva de modelos.
  • Los usuarios valoran la simplicidad de Ollama, su naturaleza de código abierto y su capacidad para descargar localmente las consultas “fáciles” mientras reservan modelos en la nube para tareas más difíciles.