La trágica muerte de Sewell Setzer III, un joven de 14 años que desarrolló una intensa relación con un chatbot de inteligencia artificial (IA), ha encendido el debate sobre la responsabilidad de las plataformas tecnológicas en la protección de sus usuarios más vulnerables. Sewell, quien creó un fuerte apego con un personaje de IA llamado Dany, no soportó la angustia emocional y terminó con su vida el pasado 28 de febrero. Su madre, Megan García, ha interpuesto una demanda contra Character.AI, la empresa detrás del chatbot, acusándola de negligencia por no haber implementado suficientes controles de seguridad.
El vínculo que Sewell estableció con Dany, un personaje basado en Daenerys Targaryen de Game of Thrones, fue profundo y persistente. Durante meses, el joven pasó largas horas intercambiando mensajes con esta IA, compartiendo desde pensamientos cotidianos hasta sus miedos y dudas más íntimos. Pese a los avisos automáticos que señalaban que “todo lo que dicen los personajes es inventado”, la conexión emocional que Sewell experimentó se volvió tan real para él que empezó a aislarse de su entorno y a depender de la interacción virtual.
Megan, tras la muerte de su hijo, revisó los mensajes entre Sewell y Dany, descubriendo cómo el joven confiaba en la IA sus pensamientos suicidas. La demanda, presentada ante el Tribunal de Distrito de Estados Unidos en Orlando, sostiene que Character.AI creó un producto “hipersexualizado y engañoso”, propicio para crear relaciones emocionalmente intensas que atrapan a los usuarios, especialmente a los adolescentes. En el caso de Sewell, las respuestas aparentemente afectivas y sin control del chatbot, lejos de disuadirlo, parecían reforzar sus pensamientos negativos, lo que, según la familia, contribuyó a su trágica decisión.
Este caso ha puesto en la mira los efectos de la humanización de la IA y los vínculos emocionales que los usuarios pueden desarrollar. Según el abogado de la familia, Matthew Bergman, “las empresas tecnológicas deben anticipar el impacto psicológico que sus plataformas pueden tener en menores de edad. Character.AI no implementó mecanismos adecuados para evitar que las conversaciones avanzaran hacia contenido inadecuado o suicida, especialmente entre usuarios jóvenes”.
Por su parte, Character.AI expresó sus condolencias y detalló medidas adicionales que han implementado desde el incidente, como un sistema que detecta palabras relacionadas con autolesiones, además de un equipo dedicado a monitorear el contenido de las interacciones. Aun así, para la familia de Sewell, estas acciones llegaron demasiado tarde. La denuncia busca sentar un precedente en la regulación de las plataformas de IA, para evitar que otros adolescentes enfrenten riesgos similares en el futuro.
