OpenAI GPT-4 vs. Groq Mistral-8x7B

Significado de “N/A”

• Varios comentarios debaten si “N/A” significa “not available” (“no disponible”) o “not applicable” (“no aplicable”).
• Algunos sostienen que “not applicable” es el uso estándar (respaldado por diccionarios), mientras que otros dicen que siempre lo han usado como “not available”.
• Consenso: en la práctica, es un término ambiguo y a menudo solo significa “no hay valor aquí”, elija la formulación que prefiera.

Precisión vs Velocidad y alucinaciones

• Muchos enfatizan que, para tareas de alto riesgo, la corrección importa mucho más que la velocidad.
• Los ejemplos incluyen un solo “not” faltante que invierte un parámetro crítico, o alucinaciones confiadas repetidas.
• Varias respuestas argumentan que, si un LLM no conoce un dato, muestrear más no lo arreglará; se necesitan ensembles o recuperación de información.
• Otros señalan que los modelos a menudo cambian sus respuestas cuando se les cuestiona, incluso si eran correctas, así que la “autoverificación” mediante un simple prompt no es fiable.

Enfoques híbridos y aumentados con recuperación

• Se destaca RAG (LLM + fuente externa de datos) como la forma estándar de mitigar el contexto limitado y las lagunas factuales, pero se describe como frágil.
• Algunos argumentan que los LLM actuales no distinguen “hechos vs gramática”, lo que limita qué tan bien pueden decidir cuándo buscar información.

LLMs para análisis y scraping de HTML

• Muchos son escépticos sobre usar LLMs para analizar formatos estructurados como HTML, y los consideran lentos, caros, no deterministas y propensos a alucinaciones.
• Alternativas sugeridas:
  • Usar LLMs para generar o actualizar parsers/selectores deterministas.
  • Usar LLMs solo cuando el HTML sea muy variable y el mantenimiento humano sea costoso.
• Varios dicen que el prompt del benchmark está mal especificado; mejores resultados vendrían de:
  • Extraer un campo a la vez.
  • No pedir JSON completo en un solo paso.
  • Invertir más en la configuración del sistema/“carácter” y en el flujo de trabajo que en un wording ingenioso.

Groq, hardware y rendimiento

• La velocidad de Groq se atribuye a chips personalizados y a la arquitectura sparse Mixture‑of‑Experts de Mixtral, con muchos chips conectados en red entre sí.
• Los comentaristas cuestionan la economía y la escalabilidad en el mundo real (huella de memoria, múltiples modelos, funcionamiento continuo) frente a las GPUs.

GPT‑5 y la competencia

• Algunos especulan que OpenAI podría retrasar GPT‑5 debido al dominio del mercado y a ganancias incrementales; otros creen que la competencia de Claude y otros está erosionando esa ventaja.
• Hay desacuerdo sobre cuán grande será el próximo salto; se esperan mejoras, pero no está garantizado que sean dramáticas.

Uso de energía y ética

• Surgen preocupaciones por gastar grandes cantidades de cómputo en hacer trabajos que los parsers tradicionales resuelven trivialmente.
• Contraargumentos: la IA tiene un valor práctico amplio, mientras que la criptografía proof‑of‑work se considera derrochadora; la eficiencia mejora, y la economía ya incentiva métodos de menor consumo energético.