Todas las advertencias sobre los LLM por las que Google despidió a Timnit Gebru se han hecho realidad
Las advertencias del artículo de 2021 “stochastic parrots” sobre los grandes modelos de lenguaje —salidas sesgadas, costes medioambientales, datos de entrenamiento no auditables y concentración de poder en unas pocas empresas tecnológicas— se revisitan a la luz de los sistemas de IA actuales. Quienes comentan discrepan sobre hasta qué punto se han cumplido esas predicciones: algunos citan ejemplos reales de sistemas de ML sesgados o inseguros y corpora opacos, mientras que otros sostienen que los LLM modernos muestran utilidad real y una mitigación parcial del sesgo, y cuestionan tanto la calidad del artículo de Tumblr como la narrativa de que su autora, Timnit Gebru, fue “despedida por tener razón”. En el fondo hay un debate más amplio sobre cuánto daño está causando realmente la IA actual, si los críticos también deben proponer soluciones y quién debería controlar los valores que estos modelos codifican.
Alcance y validez de las advertencias de “Stochastic Parrots”
- Quienes comentan enumeran cinco advertencias principales: fluidez engañosa sin comprensión, amplificación de sesgos, coste medioambiental, conjuntos de datos no auditables y centralización del poder.
- Algunos sostienen que el sesgo, el coste medioambiental y la centralización se han materializado claramente; otros dicen que las dos primeras son poco convincentes, que el impacto de la cuarta no está claro y que la quinta no es más que otro ejemplo de los monopolios tecnológicos ya existentes.
- Varios señalan que muchos de los incidentes de sesgo citados (contratación, triaje sanitario, Apple Card) preceden a los LLM e involucraban otros sistemas de ML, por lo que se cuestiona utilizarlos como prueba sobre los LLM.
Sesgo, discriminación y red-teaming
- Muchos coinciden en que los grandes modelos codifican sesgos sociales; algunos ejemplos incluyen salidas sexistas, supuestos sobre roles y ajustes ideológicos (p. ej., modelos “anti-woke”).
- Hay desacuerdo sobre su importancia: algunos ven el sesgo de los LLM como algo central y peligroso; otros dicen que en gran medida es irrelevante para muchos usos cotidianos y que puede mitigarse con RLHF.
- Debate sobre qué cuenta como “discriminación”, las variables proxy y si algunas diferencias estadísticas (p. ej., precios de seguros) deberían ser entradas legales o morales.
- Se usa la analogía entre red-team y blue-team para argumentar que los críticos no necesitan presentar soluciones para ser valiosos; otros dicen que la crítica sin remedios concretos no merece seguir recibiendo financiación.
Comprensión frente a “loros estocásticos”
- Algunos afirman que los modelos recientes muestran una competencia clara (demostración de teoremas, tareas complejas), así que descartarlos como loros superficiales ha “envejecido mal”.
- Otros sostienen que esas capacidades podrían seguir siendo posibles sin “comprensión”, cuestionando el excepcionalismo humano en lugar de validar la comprensión de las máquinas.
- Varios comentaristas señalan que la palabra “estocástico” ahora cumple menos función normativa; muchos procesos humanos y naturales importantes también son estocásticos.
Medio ambiente, auditoría de datos y colapso de modelos
- Los daños medioambientales derivados del entrenamiento a gran escala están ampliamente aceptados, aunque cómo equilibrarlos con los beneficios sigue sin resolverse.
- Los conjuntos de entrenamiento no auditables (p. ej., con material abusivo o ilegal) se consideran un riesgo serio, aunque algo poco especificado; se mencionan prácticas de documentación sugeridas, pero no se discuten en profundidad.
- Aparecen preocupaciones sobre bucles de retroalimentación por datos generados por IA que degradan lenguas con pocos recursos, aunque algunos las ven como vagas o poco fundamentadas.
Centralización, modelos abiertos y poder
- Algunos ven la concentración de la capacidad de entrenamiento de modelos en unas pocas empresas como una nueva forma importante de control cultural y lingüístico.
- Otros creen que esto se autolimitará a medida que el cómputo se abarate y los modelos abiertos/autohospedados alcancen una capacidad “suficientemente buena”.
- Existe la preocupación de que quien controle estos sistemas también controle qué sesgos se incorporan o se eliminan.
Disputa Gebru/Google y discusión meta
- Hay un fuerte desacuerdo sobre si la investigadora fue “despedida” o si, en la práctica, dimitió tras plantear exigencias; la terminología es polémica.
- Algunos ven el episodio como prueba de que la gran tecnología quiere credibilidad ética sin verdadera libertad académica.
- Varios critican la propia publicación de Tumblr por estar poco documentada, quizá escrita por IA y ser clickbait, y no la retrospectiva rigurosa que el tema merece.
- Las preocupaciones meta incluyen el comportamiento de flagging en HN, el bajo número de comentarios y la calidad del debate sobre sesgo y “wokeness”.