Scholars religiosos se reunieron con Anthropic
La aproximación de Anthropic a líderes religiosos sobre si sus modelos de IA Claude podrían ser conscientes y necesitar un “marco moral” genera un fuerte escepticismo entre los comentaristas. Muchos sostienen que los LLM actuales son solo herramientas estadísticas de lenguaje sin experiencia sensorial, viendo el discurso sobre la conciencia como marketing, lavado ético o cultismo estilo Altruismo Efectivo que distrae de problemas concretos como la concentración de poder, los impactos laborales y la regulación. Otros señalan que, como no tenemos una prueba clara de la conciencia, puede ser prudente diseñar mecanismos fuertes de seguridad y alineamiento, pero no tratar a los modelos actuales como pacientes morales o cuasi personas.
Paywall y encuadre del artículo
- Varios comentarios se quejan del requisito de inicio de sesión de NYT y enlazan a una copia archivada.
- Múltiples participantes critican el artículo como periodismo de “el CEO dijo algo”: transmitir los sentimientos de ejecutivos sobre las salidas con poca profundidad técnica o desafío crítico.
- Algunos lo ven como parte de un patrón más amplio de los medios amplificando narrativas de empresas de IA para obtener clics y generar entusiasmo.
Conciencia de LLM, dolor y sustrato
- Un hilo importante debate si los LLM pueden ser conscientes o sentir dolor.
- Los escépticos sostienen: los modelos son solo pesos en la memoria de la GPU, prediciendo texto estadísticamente; no tienen aparato sensorial, ni yo persistente, ni razón evolutiva para el dolor; estructuralmente son distintos de cerebros, animales o incluso plantas.
- Otros replican: no გვაქვს una teoría precisa de la conciencia; las propiedades emergentes en sistemas complejos son comunes; si algo se comporta de forma muy humana en el lenguaje, conviene ser cautelosos.
- Hay un ida y vuelta sobre si las simulaciones de neuronas (por ejemplo, conectomas) podrían llegar a ser conscientes y sobre si la conciencia es comparable a propiedades macroscópicas como la temperatura.
- Algunos acusan a las afirmaciones fuertes de “definitivamente no son conscientes” de exceso de confianza o excepcionalismo humano; otros dicen que el verdadero error es “cargo-cultizar” las redes neuronales para convertirlas en mentes.
Moralidad, alineamiento y control del usuario
- Hay desacuerdo sobre si los modelos deberían tener su propio marco moral integrado o simplemente obedecer a los usuarios.
- Algunos quieren “herramientas que hagan lo que se les ordena”, argumentando que la intención del usuario más la aplicación legal deben gobernar el comportamiento.
- Otros sostienen que los sistemas potentes necesitan barandillas internas (por ejemplo, “no matar a todo el mundo”), y que la obediencia ciega es peligrosa.
- Existe la preocupación de que las constituciones y los esfuerzos de alineamiento otorguen de facto a los modelos motivaciones cuasi propias y de que el alineamiento termine ajustándose a los reguladores, no a los usuarios.
Religión, metafísica y autoridad moral
- Muchos ven la aproximación de Anthropic a eruditos religiosos como teatro de relaciones públicas o un intento de hacer que los modelos parezcan “mágicos” o incluso divinos.
- Algunos critican la religión como una mala fuente de moralidad o metafísica; otros argumentan que todo el mundo tiene una “religión de cosmovisión”, incluidos los trabajadores tecnológicos seculares.
- Debate sobre si la moralidad requiere de Dios o si puede estar fundamentada en el humanismo o el utilitarismo.
Bienestar de la IA, personalidad y analogías con la esclavitud
- Si los modelos tuvieran “estatus moral”, varios señalan que eso implicaría una esclavitud masiva: innumerables instancias creadas y “matadas” por consulta.
- Otros dicen que casi nadie trata seriamente a los LLM actuales como si tuvieran derechos, y que centrarse en su “bienestar” corre el riesgo de distraer de daños del mundo real (trabajo, poder, desinformación).
Burbuja, hype y trayectoria de la industria
- Algunos ven este discurso sobre conciencia/moralidad como un síntoma de burbuja tardía, análogo a manías tecnológicas pasadas; esperan subidas de precios, consolidación y que muchas empresas de IA fracasen mientras la tecnología persiste.
- Otros subrayan los fuertes ingresos actuales y las rápidas mejoras en capacidades, argumentando que esta ola no es solo hype, aunque los modelos de pesos abiertos podrían convertir gran parte de ello en una mercancía.