Los jóvenes que clasifican los peores horrores de Internet
La moderación comercial de contenido —filtrar abuso infantil, gore, acoso sexual y otro material NSFL de las plataformas sociales— se presenta como un trabajo psicológicamente devastador que se subcontrata rutinariamente a contratistas jóvenes y mal pagados, a menudo en países más pobres. Los comentaristas debaten por qué existe este trabajo en absoluto, cuánto daño causa ver imágenes extremas, si la IA puede reemplazar de forma realista a los humanos sin nuevos riesgos y hasta qué punto las corporaciones, los sistemas legales y los propios usuarios son cómplices de sostener un modelo explotador. Muchos sostienen que, aunque la IA ayude con la detección, seguirá habiendo personas en el circuito para manejar los casos límite y aportar datos de entrenamiento, lo que significa que los problemas éticos y de salud mental centrales están lejos de resolverse.
Impacto psicológico del trabajo de moderación
- Muchos comparan el desgaste de ver contenido extremo (CSAM, gore, decapitaciones, abuso doméstico/sexual) con el trabajo en la guerra, la policía, los servicios de emergencia o la policía de tránsito.
- La exposición repetida se describe como causante de desensibilización, paranoia, PTSD, abuso de sustancias y “abstinencia” cuando se les retira del flujo.
- Otros sostienen que no todo el material gráfico es igual de dañino: el abuso emocional, la agresión sexual infantil y los accidentes trágicos se describen como peores que el “gore puro”.
- Hay desacuerdo sobre cuán dañinas son inherentemente las imágenes: algunos dicen “lo que no te mata te hace más fuerte”, otros rechazan con fuerza esto como una sabiduría popular perjudicial.
Desnudez, contexto y “fotos de pene”
- Los moderadores de aplicaciones de citas informan de grandes volúmenes de fotos de genitales no solicitadas, dirigidas sobre todo a mujeres.
- El debate gira en torno a si esto es “solo desnudez” o acoso:
- Un bando enfatiza la intención, el poder y la humillación; ver abuso dirigido constante provoca asco y pérdida de confianza en los hombres.
- El otro bando sostiene que la desnudez en sí está culturalmente sobresexualizada y que el trauma proviene del contexto, no de la anatomía.
- El volumen y la repetitividad también se citan como agotadores mentalmente, incluso cuando el contenido no es extremo.
IA, escala y casos límite
- Muchos ven la IA como esencial para detectar contenido NSFL/ilegal y reducir la exposición humana, pero:
- Los falsos positivos/negativos a gran escala siguen siendo un riesgo importante, especialmente cuando las prohibiciones automáticas o las derivaciones a la policía están vinculadas a la salida de la IA.
- Los adversarios se adaptan, así que la IA es solo el primer filtro; la revisión humana sigue siendo necesaria.
- Entrenar modelos de detección en sí mismo requiere grandes conjuntos de datos etiquetados por humanos de material horrendo.
- Las restricciones legales sobre el almacenamiento de dicho contenido (por ejemplo, en algunas jurisdicciones) complican aún más el entrenamiento de IA.
Estructuras corporativas, subcontratación y ética
- Las referencias repetidas a centros de moderación de contenido (por ejemplo, en Kenia) destacan salarios bajos, malas condiciones, prácticas antisindicales y acciones legales contra grandes plataformas y sus contratistas.
- Algunos sostienen que las corporaciones están estructuralmente orientadas a maximizar beneficios y son, de hecho, amoralmente indiferentes; otros disputan que la ley exija estrictamente la primacía del accionista, pero coinciden en que los incentivos favorecen un comportamiento despiadado.
- Se señala la complicidad de los usuarios: la gente denuncia la explotación de moderadores pero sigue usando redes sociales fuertemente filtradas.
Fuerza laboral, formación y transparencia
- Los comentaristas abogan por una mejor divulgación previa de la realidad del trabajo, selección psicológica, apoyo sistemático y, posiblemente, personal mayor o con más experiencia.
- La incorporación actual se ve como abrupta y lo más impactante posible, en lugar de construir gradualmente mecanismos de afrontamiento.