Ollama ahora es compatible con tarjetas gráficas AMD

Artículo original ↗ Discusión en Hacker News ↗

El nuevo soporte de Ollama para GPUs AMD se recibe como un paso para debilitar el dominio de CUDA de Nvidia y abaratar la inferencia de modelos de lenguaje locales, especialmente dado que AMD suele ofrecer más VRAM por dólar. Los comentaristas señalan que el rendimiento sigue por detrás de las mejores tarjetas Nvidia y que la pila ROCm de AMD continúa fragmentada y siendo más difícil de configurar, pero muchos informan éxito en una amplia gama de tarjetas de consumo mediante soporte oficial o soluciones con variables de entorno. El hilo también destaca el papel de Ollama como un envoltorio fácil de usar sobre llama.cpp, lo que plantea preguntas sobre el reconocimiento de los proyectos upstream y sobre la idoneidad de Ollama para experimentación frente a despliegues de producción.

Importancia del soporte de AMD e impacto en Nvidia

  • Muchos ven el soporte de AMD en Ollama como un debilitamiento del foso de CUDA de Nvidia, al menos en el lado de la inferencia.
  • El entrenamiento sigue considerándose dominado por Nvidia, pero la inferencia depende más del costo por token y de la VRAM, donde AMD puede competir.
  • El entusiasmo por los LLM locales está impulsando la demanda de opciones que no sean Nvidia debido al precio y la disponibilidad.

Rendimiento, costo y compensaciones de VRAM

  • Varios comentarios señalan que las tarjetas AMD suelen quedar por detrás de la RTX 4090 en rendimiento bruto, pero son más baratas por GB de VRAM.
  • Para muchos usuarios, poder ejecutar modelos más grandes/mejores con ligeramente menos tokens por segundo es preferible a tarjetas Nvidia más rápidas pero limitadas por VRAM.
  • Algunos informan cifras concretas (por ejemplo, ~35 tokens/s en Mistral 7B Q6 en una GPU AMD de gama media), pero los benchmarks sistemáticos siguen siendo en gran medida “poco claros”.

Detalles de implementación: ROCm, Vulkan, OpenCL, HIP

  • El soporte de AMD de Ollama se basa en llama.cpp, usando ROCm; un commit enlazado confirma la integración de ROCm.
  • Existen backends de Vulkan y OpenCL en llama.cpp para GPUs AMD más antiguas; se describe su rendimiento como peor que CUDA/ROCm, pero utilizable.
  • Se menciona HIP como una capa de portabilidad similar a CUDA para AMD, aunque se debate su fiabilidad y estabilidad.
  • OpenCL se describe ampliamente como “vivo pero de segunda clase” y menos agradable de usar que las pilas específicas del proveedor.

Compatibilidad de hardware y soluciones alternativas

  • Las listas oficiales de soporte se centran en las tarjetas RDNA2/3 más recientes; muchos usuarios informan éxito “no oficial” en más GPUs mediante variables de entorno (por ejemplo, HSA_OVERRIDE_GFX_VERSION=10.3.0).
  • Algunas tarjetas (en particular la 5700XT) carecen de soporte ROCm, lo que frustra a usuarios que actualizaron desde tarjetas Nvidia más antiguas.
  • El soporte para Radeon/APU integradas aún no está disponible; los enlaces a incidencias indican que es una limitación conocida.

Ollama frente a llama.cpp y otras herramientas

  • Existe un amplio acuerdo en que Ollama es esencialmente un envoltorio fácil de usar sobre llama.cpp, que añade un registro, una CLI sencilla y configuración automática basada en VRAM.
  • Varios usuarios dicen que les costó compilar llama.cpp (especialmente con CUDA/ROCm), pero encontraron que Ollama era fácil con “un solo comando”.
  • Otros prefieren llama.cpp directo, koboldcpp u otras interfaces para tener más control, ajuste de rendimiento, concurrencia o múltiples modelos.

Debate entre producción y experimentación

  • Algunos argumentan que Ollama es principalmente para experimentación local y uso personal, y que carece de concurrencia y de servicio multmodelo, por lo que no es ideal para entornos empresariales/de producción.
  • Otros informan que usan Ollama en flujos de trabajo personales o a pequeña escala “tipo producción” (RAG, extracción de conocimiento local, herramientas on-prem) y valoran su simplicidad.
  • Existe preocupación de que llama.cpp haga la mayor parte del trabajo pesado de optimización mientras Ollama acapara mucha más atención, y hay debate sobre si Ollama reconoce suficientemente a su dependencia y cumple con la licencia.