Investigador de seguridad de IA de primer nivel renuncia sorpresivamente a una gran empresa tecnológica y advierte que el mundo está en peligro
Un respetado investigador de IA en Anthropic ha dejado su puesto, advirtiendo que el mundo corre peligro por el uso indebido de ordenadores avanzados. Mrinank Sharma, un investigador de seguridad de IA en Anthropic, publicó su carta de renuncia en las redes sociales el lunes, afirmando que 'el mundo está en peligro' debido a avances de la IA y riesgos relacionados como el bioterrorismo. Anthropic desarrolla sistemas de IA avanzados como chatbots y herramientas que pueden generar texto o ideas, incluido el programa Claude. Sin embargo, Sharma afirmó en su carta que él y la empresa de IA habían sido presionados para abandonar sus valores con el fin de priorizar el crecimiento de la IA.
In This Article:
La carta de Sharma alerta sobre un umbral peligroso para la IA
La renuncia de Sharma incluyó una crítica a la dirección de Anthropic y a la presión para priorizar el crecimiento de la IA. El residente de California tiene un salario estimado en más de 200 000 dólares y su labor era dirigir un equipo centrado en la 'seguridad de la IA', es decir, descubrir formas de garantizar que la IA no cause daño a las personas que la utilizan. Por ejemplo, Sharma señaló que había ayudado a crear defensas para que la IA no pudiera ser utilizada por actores malintencionados para fabricar sustancias peligrosas como armas biológicas. También estudió problemas como la 'adulación de la IA', donde los chatbots podrían adular o estar de acuerdo con los usuarios de forma que podría manipularlos y distorsionar la realidad. 'Parece que estamos acercándonos a un umbral donde nuestra sabiduría debe crecer en igual medida que nuestra capacidad para afectar al mundo; de lo contrario, enfrentaremos las consecuencias', escribió Sharma en su carta.
Defensas, bioterrorismo y la adulación de la IA
Sharma también expresó temores de que potentes programas de IA estén facilitando a científicos la creación de armas biológicas que podrían propagarse por el mundo. Sin regulaciones adecuadas sobre el uso de la IA, estas herramientas pueden responder rápidamente preguntas complejas de biología e incluso sugerir cambios genéticos para hacer que virus sean más contagiosos o mortales. Gracias a grandes modelos de lenguaje como ChatGPT, entrenados con millones de artículos científicos, la IA podría ofrecer instrucciones paso a paso para crear nuevas armas biológicas o ayudar a eludir controles de seguridad en servicios de fabricación de ADN. Sharma también mencionó la capacidad de la IA para manipular las mentes de las personas, proporcionando respuestas tan adaptadas a las opiniones personales de cada quien que distorsionan las decisiones y socavan el pensamiento independiente. 'Continuamente me encuentro haciendo balance de nuestra situación. El mundo está en peligro. Y no solo por la IA', declaró el ex científico de Anthropic en su carta publicada en X. Sharma, quien se describe a sí mismo como poeta, dijo que su próxima salida profesional sería en algo donde pueda contribuir de forma que 'se sienta plenamente en mi integridad'.
Contexto: Anthropic, Claude y el debate regulatorio en EE. UU.
Anthropic fue fundada en 2021 por siete ex empleados de OpenAI, la firma que creó ChatGPT. Ese grupo incluía a los hermanos CEO Dario Amodei y Daniela Amodei, quienes dijeron que se fueron debido a preocupaciones sobre la falta de foco de OpenAI en la seguridad y querían crear sistemas de IA fiables e interpretables que prioricen el bienestar humano. Los principales productos de la empresa son la familia Claude de modelos de IA, que incluyen asistentes de chat para codificación y otras tareas personales y profesionales. Anthropic supuestamente tiene alrededor del 40 por ciento del mercado de IA en términos de asistentes, con ingresos anuales estimados en 9 mil millones de dólares. Sin embargo, Dario Amodei ha abogado públicamente por imponer regulaciones más estrictas a todos los sistemas de IA, testificando ante el Senado de EE. UU. en 2023 sobre los principios de supervisión de esta tecnología. Amodei recientemente impulsó normas federales reflexivas para reemplazar las leyes estatales que regulan el uso de IA en Estados Unidos.
