Ricercatore di sicurezza AI lascia il gigante tech lanciando un allarme il mondo è in pericolo
Mrinank Sharma, ricercatore di sicurezza IA presso Anthropic, ha annunciato le dimissioni sui social lunedì, affermando che 'world is in peril' a causa dei progressi dell’IA e dei rischi correlati, come il bioterrorismo. Anthropic costruisce sistemi IA avanzati come chatbot e strumenti che possono generare testo o idee, incluso il popolare Claude. Tuttavia, nella sua lettera, Sharma sostiene che lui e l’azienda siano stati pressati a mettere da parte i propri valori per dare priorità alla crescita dell’intelligenza artificiale. Il suo incarico, stimato con uno stipendio superiore ai 200.000 dollari all’anno, era guidare un team focalizzato sulla 'AI safety', ovvero trovare modi per garantire che l’IA non causi danni agli esseri umani che la utilizzano. Per esempio, Sharma ha detto di aver contribuito a creare difese affinché l’IA non possa essere usata da attori malintenzionati per produrre sostanze pericolose come armi biologiche. Ha anche studiato problemi come la 'AI sycophancy', in cui i chatbot IA potrebbero adulare o concordare eccessivamente con gli utenti, manipolandoli e distorcendo la percezione della realtà. «We appear to be approaching a threshold where our wisdom must grow in equal measure to our capacity to affect the world, lest we face the consequences,» Sharma wrote in his letter.
In This Article:
Dimissioni immediate
Mrinank Sharma, ricercatore di sicurezza IA presso Anthropic, ha pubblicato la sua lettera di dimissioni sui social lunedì, sostenendo che 'world is in peril' a causa dei progressi dell’IA e dei rischi correlati, come il bioterrorismo. Anthropic costruisce sistemi IA avanzati come chatbot e strumenti che possono generare testo o idee, incluso il popolare Claude. Tuttavia, Sharma afferma che, nella sua lettera, lui e l’azienda sono stati pressati a mettere da parte i propri valori per dare priorità alla crescita dell’IA. La sua dimissione è stata immediata, dopo quasi tre anni in Anthropic. Il residente della California aveva studiato all'Università di Oxford e all'Università di Cambridge, conseguendo una laurea magistrale in ingegneria e machine learning.
Ruolo, responsabilità e salario: guidare la sicurezza dell’IA
Il suo incarico in Anthropic, stimato con un salario superiore ai 200.000 dollari all’anno, era guidare un team focalizzato su 'AI safety', che significa capire come far sì che l’IA non causi danni agli esseri umani che la utilizzano. Ad esempio, Sharma ha detto di aver contribuito a creare difese affinché l’IA non potesse essere usata da attori malintenzionati per produrre sostanze pericolose come armi biologiche. Ha anche studiato problemi come la 'AI sycophancy', dove i chatbot IA potrebbero adulare o concordare eccessivamente con gli utenti in modi che potrebbero manipolarli e distorcere la percezione della realtà. «We appear to be approaching a threshold where our wisdom must grow in equal measure to our capacity to affect the world, lest we face the consequences,» Sharma wrote in his letter. Sharma (in foto) si è dimesso dal suo ruolo di scienziato della sicurezza IA presso Anthropic, avvertendo che la ricerca sull’IA non regolamentata sta mettendo in pericolo il mondo. Anthropic ha creato l’assistente IA noto come Claude (immagine d’archivio).
Contesto di Anthropic e lo sguardo al mercato
Anthropic è una società di IA fondata nel 2021 da sette ex dipendenti di OpenAI, l’azienda che ha creato ChatGPT. Quel gruppo includeva i fratelli CEO Dario Amodei e Daniela Amodei, che hanno detto di aver lasciato OpenAI per timori riguardo alla mancanza di attenzione alla sicurezza e per voler creare sistemi IA affidabili e interpretabili che privilegiano il benessere umano. Il principale prodotto dell’azienda è la famiglia Claude di modelli IA, che include chatbot per codifica e altri compiti personali e professionali. Anthropic detiene circa il 40% del mercato delle IA in termini di assistenti IA, con un fatturato annuo stimato di 9 miliardi di dollari. Tuttavia, Dario Amodei ha pubblicamente spinto per l’adozione di normative più severe su tutti i sistemi IA, testimoniando nel 2023 al Senato degli Stati Uniti sui principi di supervisione per questa tecnologia. Amodei ha recentemente spinto standard federali ponderati per sostituire una rete di leggi statali che regolano l’uso dell’IA negli Stati Uniti.
La sfida della regolamentazione e le prossime mosse
Questo caso evidenzia la tensione tra progresso tecnologico e sicurezza pubblica. L’attenzione pubblica e la regolamentazione restano temi centrali: Dario Amodei ha spinto per una cornice federale che sostituisca leggi statali frammentate, mentre aziende come Anthropic cercano di bilanciare innovazione e responsabilità.
