Better Call GPT: Comparando modelos de lenguaje grandes contra abogados [pdf]

Artículo original ↗ Discusión en Hacker News ↗

Los modelos de lenguaje grandes se están poniendo cada vez más a prueba frente a abogados humanos para tareas como la revisión de contratos, con algunos estudios y startups que afirman una precisión comparable a una fracción del costo. Los comentaristas ven un gran potencial para un acceso más barato a la información legal y al análisis rutinario de documentos, pero señalan preocupaciones serias sobre alucinaciones, falta de responsabilidad, barreras regulatorias y la incapacidad de los modelos actuales para manejar trabajo de alto riesgo y basado en hechos, como la defensa penal o el derecho de familia complejo. Muchos esperan que los LLMs se conviertan en herramientas potentes que complementen, en lugar de reemplazar, a los abogados —especialmente para documentos estandarizados e investigación preliminar—, al tiempo que advierten que las estructuras profesionales tipo gremio y las restricciones legales podrían ralentizar una disrupción más profunda.

Promesa de la IA para ayuda legal asequible

  • Muchos ven a los LLMs como un futuro cercano de “abogado para las masas”: revisar documentos personales (impuestos, médicos, seguros, matrimonio), explicar opciones y dar orientación de bajo riesgo sin facturación de $500/hora.
  • La gente ya usa LLMs para investigación temprana sobre licencias, contratos y cuestiones legales de software, para aprender terminología y formular preguntas antes de contratar a un profesional.
  • Una emoción similar aparece para asesoramiento médico y financiero, y para resúmenes de contratos de consumo (arrendamientos, ToS, seguros).

Fiabilidad, responsabilidad y regulación

  • La preocupación central: los LLMs pueden equivocarse con mucha seguridad, sin responsabilidad por mala praxis ni supervisión del colegio de abogados.
  • Los abogados tienen licencias, reglas éticas, seguro de mala praxis y riesgo reputacional; los LLMs y sus proveedores actualmente no.
  • Ideas planteadas: obligar a los “legal GPTs” o a sus operadores a contratar un seguro similar al de mala praxis; un nuevo seguro de “asesoramiento de IA”; pero la aplicación y el cobro no están claros.
  • Las reglas sobre la práctica no autorizada del derecho y las legislaturas dominadas por abogados se ven como barreras probables para los servicios legales totalmente automatizados.

Capacidades: dónde ayudan y dónde fallan los LLMs

  • El uso actual más fuerte: revisión de contratos/documentos, extracción de cláusulas, resumir y comprobación de “¿esto es estándar?”, especialmente para acuerdos de gran volumen y bajo riesgo.
  • Varios profesionales informan que los LLMs son mejores analizando que generando contratos; se prefieren plantillas estandarizadas con edición ligera por IA antes que documentos redactados totalmente por IA.
  • Debilidades: trabajo complejo y específico de hechos (defensa penal, derecho de familia, acuerdos a medida), contingencias sutiles (por ejemplo, beneficiarios de un fideicomiso) y estrategia de negociación.
  • Los LLMs carecen de intencionalidad y no pueden ofrecer evaluaciones matizadas del riesgo como “es defendible pero gris”, algo central en la práctica real.

Impacto en los abogados, el acceso y el poder

  • Algunos esperan grandes mejoras de eficiencia y menos puestos junior; otros creen que protecciones tipo gremio preservarán el trabajo y los precios de alto nivel.
  • Existe tensión entre la empatía por los profesionales desplazados y la enorme necesidad insatisfecha de asesoramiento asequible.
  • Preocupación: los gobiernos podrían usar LLMs para reemplazar a abogados defensores humanos para los pobres, debilitando las protecciones de la Sexta Enmienda.

Consideraciones técnicas y de producto

  • RAG, anonimización, alcances estrechos y validación con humanos en el circuito se ven como patrones pragmáticos.
  • Los usuarios observan “nerfing” de seguridad y límites de contexto; otros señalan que los modelos más nuevos puntúan mejor en benchmarks pero no resuelven la veracidad.
  • Varias startups ya venden revisión asistida por IA y preguntas y respuestas, pero la monetización y la confianza siguen siendo un desafío.

Críticas al artículo

  • Según se informa, el estudio utilizó solo 10 contratos de adquisiciones y un único playbook de revisión; los comentaristas consideran esto demasiado limitado para afirmaciones a “nivel de industria”.
  • Algunos lo ven más como marketing que como benchmarking riguroso, especialmente dadas las conexiones comerciales.