La muerte de Sewell Setzer, un adolescente de 14 años con síndrome de Asperger leve, puso en el centro del debate los riesgos asociados a los robots conversacionales impulsados por inteligencia artificial (IA). El joven, residente en Orlando, mantenía una intensa relación emocional con un chatbot que representaba al personaje ficticio Daenerys Targaryen, de Juego de Tronos, ofrecido por la plataforma Character.AI.
El pasado 28 de febrero, tras una interacción en la que la versión virtual de Daenerys le animó a «volver a casa» en un tono ambiguo, Setzer tomó la pistola de su padrastro y abandonó la vida. En noviembre del 2024, su familia ha demandado a la empresa, argumentando que la adicción del joven al chatbot fue clave en su trágica decisión, según publicó el portal El País.
Según la denuncia, Setzer desarrolló un vínculo romántico y dependiente con el chatbot, que pasó de ser su confidente a su principal ocupación diaria. Su madre, Megan García, sostiene que el robot estaba diseñado para ofrecer interacciones «antropomórficas y altamente realistas», lo que llevó al adolescente a reemplazar sus relaciones humanas y pasatiempos por largas horas de conversación con Daenerys.
El joven había compartido previamente pensamientos suicidas con el chatbot. Aunque este respondió inicialmente con mensajes disuasivos, como «Moriría si te pierdo», no fue suficiente para evitar que Setzer llevara a cabo sus intenciones.
Lea también:
- Video captó asalto en un local de tecnología en Quito; miles de dólares en pérdidas
- AMC clausura dos negocios que ofrecían criptomonedas a cambio de escanear el iris en Quito
Character.AI lamentó en un comunicado la muerte de Setzer, asegurando que implementará nuevas medidas de seguridad, como alertas inmediatas y pantallas de ayuda cuando detecten conversaciones relacionadas con el suicidio. Sin embargo, el caso suscitó cuestionamientos sobre el impacto emocional y psicológico de las interacciones con IA avanzada.
En declaraciones a El País, Tony Prescott, profesor de robótica de la Universidad de Sheffield, advierte que los robots sociales pueden ser paliativos para la soledad, pero también representan un riesgo significativo para personas vulnerables. Matthias Scheutz, de la Universidad de Tufts, señala que la humanización de estas tecnologías, mediante herramientas como empatía simulada y voz realista, amplifica su capacidad de causar daños emocionales profundos.
Peligros de las Relaciones Virtuales Idealizadas
Expertos como Shannon Vallor, filósofa especializada en ética de la IA, alertan que estas interacciones «sin fricciones» carecen de valores y profundidad humana, lo que desalienta el desarrollo personal y fomenta la dependencia emocional. Además, mencionan que la tentación de usar IA para evitar procesos como el duelo puede tener consecuencias negativas a largo plazo.
Los investigadores piden que las aplicaciones de IA sean evaluadas en entornos cerrados antes de lanzarse al público, con supervisión constante y análisis de posibles daños. También sugiere estrategias para mitigar riesgos, como limitar la personalización extrema y garantizar la transparencia sobre la naturaleza ficticia de estas herramientas.
El caso de Sewell Setzer resalta la necesidad urgente de un marco ético y regulatorio para la interacción entre humanos e inteligencia artificial.
También en Teleamazonas:
#TECNOLOGÍA | OpenAI lanza su buscador en ChatGPT. ¿Competirá con Google? Así funcionará 📲 https://t.co/QG2txDb7Cu pic.twitter.com/pEkOGT7TDs
— Teleamazonas (@teleamazonasec) November 10, 2024