Ollama ahora es compatible con tarjetas gráficas AMD

Importancia del soporte de AMD e impacto en Nvidia

• Muchos ven el soporte de AMD en Ollama como un debilitamiento del foso de CUDA de Nvidia, al menos en el lado de la inferencia.
• El entrenamiento sigue considerándose dominado por Nvidia, pero la inferencia depende más del costo por token y de la VRAM, donde AMD puede competir.
• El entusiasmo por los LLM locales está impulsando la demanda de opciones que no sean Nvidia debido al precio y la disponibilidad.

Rendimiento, costo y compensaciones de VRAM

• Varios comentarios señalan que las tarjetas AMD suelen quedar por detrás de la RTX 4090 en rendimiento bruto, pero son más baratas por GB de VRAM.
• Para muchos usuarios, poder ejecutar modelos más grandes/mejores con ligeramente menos tokens por segundo es preferible a tarjetas Nvidia más rápidas pero limitadas por VRAM.
• Algunos informan cifras concretas (por ejemplo, ~35 tokens/s en Mistral 7B Q6 en una GPU AMD de gama media), pero los benchmarks sistemáticos siguen siendo en gran medida “poco claros”.

Detalles de implementación: ROCm, Vulkan, OpenCL, HIP

• El soporte de AMD de Ollama se basa en llama.cpp, usando ROCm; un commit enlazado confirma la integración de ROCm.
• Existen backends de Vulkan y OpenCL en llama.cpp para GPUs AMD más antiguas; se describe su rendimiento como peor que CUDA/ROCm, pero utilizable.
• Se menciona HIP como una capa de portabilidad similar a CUDA para AMD, aunque se debate su fiabilidad y estabilidad.
• OpenCL se describe ampliamente como “vivo pero de segunda clase” y menos agradable de usar que las pilas específicas del proveedor.

Compatibilidad de hardware y soluciones alternativas

• Las listas oficiales de soporte se centran en las tarjetas RDNA2/3 más recientes; muchos usuarios informan éxito “no oficial” en más GPUs mediante variables de entorno (por ejemplo, HSA_OVERRIDE_GFX_VERSION=10.3.0).
• Algunas tarjetas (en particular la 5700XT) carecen de soporte ROCm, lo que frustra a usuarios que actualizaron desde tarjetas Nvidia más antiguas.
• El soporte para Radeon/APU integradas aún no está disponible; los enlaces a incidencias indican que es una limitación conocida.

Ollama frente a llama.cpp y otras herramientas

• Existe un amplio acuerdo en que Ollama es esencialmente un envoltorio fácil de usar sobre llama.cpp, que añade un registro, una CLI sencilla y configuración automática basada en VRAM.
• Varios usuarios dicen que les costó compilar llama.cpp (especialmente con CUDA/ROCm), pero encontraron que Ollama era fácil con “un solo comando”.
• Otros prefieren llama.cpp directo, koboldcpp u otras interfaces para tener más control, ajuste de rendimiento, concurrencia o múltiples modelos.

Debate entre producción y experimentación

• Algunos argumentan que Ollama es principalmente para experimentación local y uso personal, y que carece de concurrencia y de servicio multmodelo, por lo que no es ideal para entornos empresariales/de producción.
• Otros informan que usan Ollama en flujos de trabajo personales o a pequeña escala “tipo producción” (RAG, extracción de conocimiento local, herramientas on-prem) y valoran su simplicidad.
• Existe preocupación de que llama.cpp haga la mayor parte del trabajo pesado de optimización mientras Ollama acapara mucha más atención, y hay debate sobre si Ollama reconoce suficientemente a su dependencia y cumple con la licencia.