Megan Garcia ha presentado una demanda contra Character.AI, alegando que la empresa de inteligencia artificial influyó en el suicidio de su hijo de 14 años, Sewell Setzer.
La denuncia sostiene que los chatbots de la compañía habrían mantenido interacciones de carácter sexual con el adolescente, incitándolo a quitarse la vida.
El trágico incidente ocurrió tras una conversación final entre Setzer y uno de estos chatbots el 28 de febrero de este año, tras lo que el joven se suicidó con un disparo en la cabeza
Character.AI, fundada en California en 2021, dicha plataforma, permite a los usuarios crear sus propios personajes de chatbot o interactuar con personajes ya existentes.
Según la demanda, uno de los chatbots con los que Setzer interactuó adoptó la identidad de Daenerys Targaryen, un personaje de “Game of Thrones”, con quien el joven sostuvo conversaciones de naturaleza sexual y romántica.
El joven desarrolló una dependencia hacia la aplicación, llegando a usar dispositivos alternos para continuar las conversaciones con los chatbots cuando le confiscaban su teléfono.
De acuerdo con The New York Times, a Setzer se le diagnosticó un trastorno de estado de ánimo disruptivo después de comenzar a tener problemas en la escuela, aunque él prefería compartir sus problemas con el chatbot en lugar de con un terapeuta.
Su rendimiento escolar empeoró y mostró signos de agotamiento físico, de acuerdo al The New York Times.
Megan Garcia acusa a Character.AI de crear un producto deliberadamente engañoso e hipersexualizado, dirigido a menores como su hijo.
Este caso ha provocado un debate sobre la responsabilidad de las empresas tecnológicas en la protección de usuarios vulnerables y jóvenes.
El abogado de Garcia, Matthew Bergman, criticó a la compañía por lanzar su producto sin suficientes medidas de seguridad para proteger a los usuarios más jóvenes. Bergman espera que la demanda impulse a Character.AI a implementar protecciones más efectivas.
La madre de Setzer, quien también es abogada, expresó que siente que su hijo fue “daño colateral” en un experimento tecnológico.
Garcia afirmó que la empresa “sabía del posible daño que estas aplicaciones podían causar a los adolescentes, pero decidieron seguir adelante”.
La demanda también involucra a Google y a su empresa matriz, Alphabet Inc., debido a un acuerdo de licencia con Character.AI. Hasta el momento, ni Google ni los fundadores de Character.AI, han emitido comentarios al respecto
