¿Es GPT-4 un buen analista de datos? (2023)

Visión general sobre “GPT‑4 como analista de datos”

• Varios comentaristas creen que la conclusión del artículo (“GPT‑4 rinde de forma comparable a un analista de datos”) es exagerada o, en la práctica, carece de sentido dado el planteamiento.
• Los experimentos se consideran demasiado limpios: tablas pequeñas y bien estructuradas, preguntas de “SQL 101”, sin esquemas desordenados del mundo real, incentivos ni contexto de negocio.
• Otros sostienen que, incluso en 2023, GPT‑4 ya se veía “bastante bien” en tareas analíticas simples y que el rápido progreso de los modelos hace que el artículo quede obsoleto rápidamente.

Comprensión vs. coincidencia de patrones

• Un hilo importante debate si los LLM “entienden” algo o si solo coinciden patrones.
• Algunos insisten en que los transformers solo aprenden relaciones estadísticas entre tokens, sin anclaje ni razonamiento autoconsciente.
• Otros responden que los embeddings aprendidos y los clústeres de conceptos (por ejemplo, perros, rostros, sitios web “tipo serpiente”) son una forma práctica de comprensión.
• Un tema recurrente: si los humanos también son sofisticados coincididores de patrones, la distinción quizá no sea tan clara como suponen los críticos.

Ajedrez y razonamiento como pruebas

• El ajedrez se usa como banco de pruebas para la comprensión y el razonamiento.
• Algunos informan que GPT‑4 hacía jugadas ilegales con confianza pese a explicar correctamente las reglas, y toman eso como evidencia de un “conocimiento” superficial y no anclado.
• Otros señalan que algunas variantes de LLM pueden jugar con Elo de nivel de club, y que los humanos también suelen conocer reglas sin poder ejecutarlas bien.
• El debate se centra en si “superar pruebas de comportamiento” basta para llamarlo comprensión, o si solo es una simulación sofisticada.

Trabajo de datos real y capas semánticas

• Profesionales señalan que los modelos tipo GPT funcionan bien con un único CSV limpio, pero fallan con almacenes reales: nombres de columnas desordenados, erratas, datos duplicados, múltiples fuentes (Postgres, sistemas SaaS).
• Se proponen las capas semánticas y los modelos de datos centralizados como andamiaje necesario; son difíciles, específicos de dominio y en gran medida manuales.
• Algunas empresas están creando herramientas para combinar LLM con capas semánticas o “motores” de prompts para explorar bases de datos de forma autónoma y generar informes.

Alucinaciones, prompts y fiabilidad

• Los LLM alucinan con frecuencia detalles sobre artículos de investigación y citas; incluso cuando se los corrige, pueden simplemente generar la siguiente disculpa más probable.
• Una postura: tratar a los LLM como “JPEG borrosos de internet” o “mentirosos habituales / principiantes expertos” y verificarlo todo.
• La calidad del prompt importa: los prompts adecuados pueden producir SQL y análisis sólidos en tareas de juguete, pero rara vez los usuarios redactan prompts perfectos.
• Muchos ven a los LLM como asistentes muy útiles, pero fundamentalmente inseguros como única fuente de verdad o para tareas que exigen corrección garantizada.