La IA supera a profesores de derecho en un estudio de Stanford Law

Artículo original ↗ Discusión en Hacker News ↗

Alcance y metodología del estudio

  • Muchos ven el titular como más exagerado que la afirmación real: los profesores de derecho prefirieron las respuestas del tutor de IA para preguntas de contratos de primer año, no que la IA “derrotara” a los profesores en la práctica del derecho.
  • Los comentaristas cuestionan el tamaño de la muestra (16 instructores), la alta variación entre instructores y la potencia estadística.
  • Preocupaciones sobre sesgo: los modelos son de Google (Gemini, NotebookLM); las afiliaciones de Stanford con IA y la financiación de grandes tecnológicas generan percepciones de conflicto de interés.
  • Es probable que los evaluadores calificaran con rapidez y de forma superficial; las pruebas de preferencia pueden premiar el estilo y la confianza por encima del rigor o la corrección.
  • Algunos señalan que las preguntas eran de libro abierto, conceptuales y sin una sola respuesta “correcta”, lo que hace que la preferencia sea una métrica blanda.

Uso de la IA como tutor vs. abogado

  • Fuerte apoyo a la IA como tutor o “super-paralegal”: explicar conceptos, generar ejemplos, sugerir contraargumentos y ayudar a los estudiantes a formular mejores preguntas.
  • Muchos sostienen que el estudio no justifica usar IA para asesoramiento legal directo ni para presentaciones de alto riesgo.

Fiabilidad, alucinaciones y verificación

  • Informes repetidos de jurisprudencia y estatutos alucinados o mal usados, incluso cuando las citas parecen plausibles.
  • Los cortes de conocimiento y las lagunas jurisdiccionales hacen que los modelos pasen por alto precedentes recientes o locales.
  • Algunos usan RAG y bases de datos legales (Westlaw, Lexis, APIs de tribunales) junto con comprobación manual para mitigar errores.
  • Varios subrayan que en derecho, a diferencia del código, no hay pruebas, registros ni reversiones fáciles; los errores pueden aparecer años después y ser irreversibles.

Conocimiento experto y humano en el circuito

  • Consenso: la IA es poderosa en manos expertas y peligrosa para usuarios ingenuos, especialmente litigantes por su cuenta.
  • Los expertos pueden detectar errores sutiles y usar la IA para acelerar la investigación y la redacción; los principiantes y los no abogados pueden ser engañados por respuestas pulidas pero incorrectas.

Casos de uso prácticos y riesgos

  • Usos sugeridos: borradores iniciales de contratos, investigación, pulido de estilo y estructura, generación de listas de मुद्दos para que las revise un abogado.
  • Gran preocupación por que la IA redacte testamentos, contratos esenciales o escritos sin revisión experta debido a “trampas legales”.

Acceso a la justicia, economía y empleos

  • Algunos esperan que la IA reduzca barreras al conocimiento legal y recorte costos, mejorando el acceso a la justicia.
  • Otros señalan los aspectos sociales y relacionales del derecho (conocer a los jueces, normas de práctica locales) que la IA no puede captar fácilmente.
  • Debate sobre hasta qué punto la IA amenaza los empleos legales frente a si principalmente reconfigura los flujos de trabajo y desplaza el valor hacia la supervisión, la confianza y la rendición de cuentas.