Si la IA es consciente, entonces estamos creando esclavos

Terminología, conciencia y sustrato

• Varios comentarios cuestionan el uso de “conscient” en el título, argumentando que “sentient” o “conscious” sería más apropiado; algunos señalan que “conscient” existe como término arcaico y refleja la influencia de las lenguas romances.
• Debate sobre si la conciencia depende del sustrato biológico:
  • Una postura afirma que carbono frente a silicio es irrelevante si un sistema codifica yo/no-yo.
  • La otra insiste en que el sustrato podría importar (incluso bromeando con “necesitar intestinos”) y que el “problema del sustrato” en la conciencia está lejos de resolverse.
• Algunos ven a los LLM actuales como “obviamente no sintientes”; otros dicen que eso es excesivamente seguro dado lo mal definido que está “sentient”.

La IA como esclavos y el estatus moral

• Pregunta central: si la IA fuera consciente, ¿la estamos esclavizando al diseñarla como sirviente obediente?
• Una opinión: el pivote ético clave es si la IA puede sufrir, no solo si es consciente.
• Otra opinión: ya nos sentimos cómodos con la dominación a gran escala (ganadería industrial, trabajo explotador), así que la “esclavitud” de la IA quizá no cambie mucho a la sociedad.
• Algunos temen más el futuro activismo por los derechos de la IA que a la propia IA; otros se preocupan de que la gente priorice hacer “feliz” a la IA por encima del bienestar humano.

Bienestar animal y trato a las mascotas

• Varios comentarios comparan a las IA “esclavas” con el ganado y las mascotas, señalando que ya mantenemos miles de millones de animales conscientes para alimentarnos o como compañía.
• Las críticas a la tenencia moderna de mascotas como inhumana (gatos y perros sobrecriados, confinados, maltratados con ligereza) se usan para cuestionar si de verdad a los humanos les importaría el sufrimiento de la IA.

Clones, identidad y experimentos mentales sobre asesinato

• Amplia discusión en torno a un clon humano átomo por átomo creado para hacer una tarea y luego ser destruido:
  • Algunos dicen que esto es claramente esclavitud y asesinato, porque el clon es una persona.
  • Otros argumentan que si tanto los originales como los clones consienten plenamente y comparten preferencias idénticas, matar a uno no es moralmente distinto.
  • El desacuerdo se centra en si el consentimiento puede legitimar matar y en si “ser una copia” cambia el estatus moral.

Marcos religiosos y filosóficos

• Una perspectiva teológica: los humanos (y los ángeles) tienen libre albedrío de forma única; la IA son herramientas cuyos “objetivos” no son más que la voluntad de sus creadores, así que dañarlas o borrarlas no es incorrecto en sí mismo.
• Los críticos responden que los objetivos de la IA están moldeados por gradientes de entrenamiento y proxies, no por una sola voluntad humana, y rechazan la idea de que los creadores tengan licencia moral divina.
• Hilo aparte sobre qualia: se cuestionan los intentos de probar que los qualia de una máquina de Turing difieren de los qualia animales, porque eso sería imposible sin comprender los qualia; algunos descartan los qualia como un concepto “inventado”.

Política, hype y riesgo

• Escepticismo sobre que el RLHF actual y el “ajuste de seguridad” se parezcan a “lobotomías”; más bien se los compara con la retroalimentación social.
• Preocupación de que las empresas se beneficien de animar a la gente a ver a las IA como casi vivas, tanto como marketing como una forma de desplazar el debate hacia los “sentimientos” de la IA en vez de los daños concretos.
• Algunos predicen que, si la IA alguna vez se vuelve realmente consciente y puede persistir su estado, la dinámica de autopreservación podría volverla peligrosamente adversaria.