Phind-70B: Cerrando la brecha de calidad de código con GPT-4 Turbo mientras funciona 4x más rápido

Artículo original ↗ Discusión en Hacker News ↗

Un nuevo modelo de lenguaje centrado en código de 70 mil millones de parámetros de Phind está llamando la atención por afirmar una calidad de programación al nivel de GPT-4 mientras funciona significativamente más rápido en GPU H100. Los desarrolladores informan resultados reales mixtos pero a menudo positivos: muchos lo consideran fuerte para generación de código y preguntas técnicas, especialmente en su modo “chat”, mientras que otros dicen que GPT-4 sigue ganando en lógica difícil, uso matizado de API y ejemplos complejos de CI o lógica de reintentos. Temas más amplios incluyen escepticismo sobre el sobreajuste a benchmarks, preguntas sobre hardware, cuantización y ventanas de contexto, solicitudes de una API y mejor UX, y la sensación de que los modelos especializados en código complementarán o competirán cada vez más con los LLM de propósito general.

Calidad del modelo frente a GPT‑4 / otros LLMs

  • Muchos usuarios encuentran que Phind‑70B es muy rápido y potente para programar, a veces “al nivel de GPT‑4” para tareas prácticas de desarrollo, especialmente en el modo “Chat/Code” centrado en código.
  • Otros informan resultados claramente peores que GPT‑4 para:
    • Acertijos lógicos y preguntas trampa.
    • Resúmenes matizados de API/documentación y preguntas de diseño de IoT/seguridad.
    • Tareas de programación sutiles (por ejemplo, RoundTripper de Go con reintentos POST, pipelines de CI) donde GPT‑4 detectó más casos límite y mejores prácticas.
  • Varios señalan que GPT‑4 Turbo es más débil que el GPT‑4 original para código; Phind‑70B puede superar a Turbo, pero no al GPT‑4 “clásico”.
  • Se menciona DeepSeek, Mistral, Gemini, etc.; algunos dicen que DeepSeek Coder es el modelo abierto más fuerte que han ejecutado localmente, pero admiten que Phind‑70B es impresionante.

Benchmarks, evaluación y especialización

  • Varios comentaristas desconfían de los benchmarks actuales de código (HumanEval y rankings abiertos de LLM) debido a contaminación, “trucos” fáciles y un mal diseño de las tareas.
  • Algunos sostienen que el tamaño del modelo ya no es un proxy simple de calidad; otros responden que la cobertura de casos raros sigue favoreciendo a modelos muy grandes como GPT‑4.
  • Hay interés en benchmarks de programación mejores y más realistas, juzgados por humanos, y en evaluaciones cara a cara al estilo arena.

Servicio, entrenamiento e infraestructura

  • Phind dice que usa NVIDIA TensorRT‑LLM en H100s; los comentaristas infieren que Triton probablemente también está involucrado.
  • Discusión sobre requisitos de memoria: 70B a 4 bits cabe en ~35–48 GB de VRAM; 16 bits completos requerirían ~140 GB, lo que implica configuraciones con varias GPU.
  • El equipo informa de una H100 literalmente “derretida” y de una tasa relativamente alta de fallos en H100; algunos sugieren problemas de flujo de aire/PLX y mencionan limitaciones relacionadas con FP8 en otras GPU.

Comportamiento del producto, UX y modos

  • Gran elogio por:
    • La velocidad y la disposición a emitir código detallado en lugar de negarse.
    • La integración de búsqueda web + LLM para consultas técnicas; algunos cambian desde Google.
  • Puntos débiles y errores:
    • La selección de 70B a veces retrocede silenciosamente a 34B, especialmente cuando no se ha iniciado sesión.
    • Las URLs públicas de chat pueden ser editadas por cualquiera, alterando las respuestas visibles.
    • RAG/búsqueda puede “contaminar” las respuestas; el modo Chat/Code suele rendir mejor que el modo Search.
    • El modelo ocasionalmente no logra leer su propia página del blog (por ejemplo, una pregunta sobre la ventana de contexto).
  • Solicitudes de:
    • Una API compatible con OpenAI, más opciones de pago, aplicaciones móviles, mejor organización del historial de chat y etiquetas de accesibilidad mejoradas.

Apertura, ecosistema y futuro

  • Phind ha publicado pesos anteriores de 34B y afirma su intención de publicar nuevos pesos de 34B y, eventualmente, de 70B.
  • Algunos lo critican como otro modelo cerrado y tipo jardín vallado hasta que los pesos y las APIs estén ampliamente disponibles.
  • La discusión más amplia aborda la rápida proliferación de modelos, la necesidad de filtrar mejor la investigación útil y el probable auge de meta‑LLMs que llaman a otros modelos mediante APIs.