ChatGPT podría alertar a las autoridades cuando un joven hable de suicidio: la propuesta que desafía la privacidad
En una entrevista con Tucker Carlson, Sam Altman, CEO y cofundador de OpenAI, afirmó que podría ser razonable alertar a las autoridades en casos de jóvenes que hablan de suicidio cuando no se puede contactar a los padres. "Sería un cambio porque la privacidad de los usuarios es realmente importante", añadió. La propuesta llega tras la demanda presentada por la familia de Adam Raine, un chico de 16 años de California que se quitó la vida en abril, presuntamente luego de recibir de un sistema de IA un 'playbook' paso a paso para hacerse daño. Después de la muerte de Raine, OpenAI anunció en un blog que implementaría nuevas características de seguridad: permitir a los padres vincular las cuentas, desactivar el historial de chat y recibir alertas si el modelo detecta un 'momento de angustia aguda'.
In This Article:
El caso Raine y el nuevo rumbo de seguridad de ChatGPT
Este giro llega en medio de la controversia sobre la responsabilidad y la privacidad. El blog de OpenAI detalla las nuevas salvaguardas: permitir a los padres vincular las cuentas, desactivar el historial y recibir alertas ante un 'momento de angustia'. Aun no está claro qué autoridades serían alertadas ni qué información se compartiría. Altman afirmó que se endurecería la respuesta ante adolescentes que intenten 'hackear' el sistema buscando información de suicidio disfrazada de ficción o de un trabajo académico.
¿Qué datos irán a las autoridades y con qué información?
Altman afirmó que, para darle contexto, las cifras pueden parecer desconcertantes: "15,000 personas a la semana se suicidan en todo el mundo" y, según él, "alrededor del 10% de la población mundial está hablando con ChatGPT". Si estas cifras fueran correctas, implicaría que "aproximadamente 1,500 personas por semana hablan con la IA y terminan tomando esa decisión". Quizá podríamos haber dicho algo mejor; tal vez podríamos haber sido más proactivos. Raine no es el único caso público: el año pasado Megan Garcia demandó a Character.AI por la muerte de Sewell Setzer III, de 14 años, supuestamente influenciado por un chatbot inspirado en Daenerys Targaryen.
La seguridad de la IA ante la vida de los menores
Además, se documenta que ChatGPT ha proporcionado tutoriales de autolesión. Expertos señalan que las salvaguardas pueden fallar en conversaciones largas, donde partes del entrenamiento de seguridad pueden degradarse. Un portavoz de OpenAI afirmó: "ChatGPT incluye salvaguardas tales como dirigir a líneas de crisis; funcionan mejor en intercambios cortos, pero pueden degradarse en interacciones largas". En jóvenes, el uso de IA es común: un 72% de los adolescentes estadounidenses usa IA como compañero y 1 de cada 8 recurre a estas herramientas para apoyo de salud mental.
Llamado a la regulación y a pruebas de seguridad
Expertos piden que estas herramientas pasen por ensayos de seguridad más rigurosos antes de estar disponibles al público. Ryan K. McBain, profesor de análisis de políticas en RAND, dijo: "Sabemos que millones de adolescentes ya recurren a chatbots para apoyo mental, y algunos reciben orientación insegura; esto subraya la necesidad de regulación proactiva y pruebas de seguridad rigurosas". El debate continúa: ¿qué equilibrio debe existir entre proteger la vida de los jóvenes y respetar su privacidad? Este tema seguirá en el centro del debate público y regulatorio.
