Le chercheur en sécurité IA le plus en vue démissionne d’un géant de la tech et avertit que le monde est en péril
Un chercheur respecté du géant de l’IA Anthropic a quitté son poste, laissant un avertissement sombre sur le danger d’un usage abusif des ordinateurs avancés. Mrinank Sharma, chercheur en sécurité de l’IA chez Anthropic, a publié sa lettre de démission sur les réseaux sociaux lundi, affirmant que « le monde est en péril » en raison des progrès de l’IA et des risques associés tels que le bioterrorisme. Anthropic conçoit des systèmes d’IA avancés tels que des chatbots et des outils capables de générer du texte ou des idées, y compris le programme populaire Claude. Cependant, Sharma affirme dans sa lettre que lui et l’entreprise d’IA avaient été pressés de mettre de côté leurs valeurs afin de privilégier la croissance de l’intelligence artificielle. Son poste chez Anthropic, dont le salaire serait supérieur à 200 000 dollars par an, consistait à diriger une équipe axée sur la « sécurité de l’IA », c’est‑à‑dire à trouver des moyens de s’assurer que l’IA ne cause pas de tort aux humains qui l’utilisent. Par exemple, Sharma a déclaré avoir aidé à créer des défenses afin que l’IA ne puisse pas être utilisée par de mauvais acteurs pour fabriquer des substances dangereuses comme des armes biologiques. Il a également étudié des problèmes tels que « AI sycophancy », où les chatbots d’IA pourraient flatter excessivement ou être d’accord avec les utilisateurs de manière à les manipuler et à déformer le sens de la réalité des gens. « Nous semblons approcher d’un seuil où notre sagesse doit croître au même rythme que notre capacité à influencer le monde, sans quoi nous ferons face aux conséquences », a écrit Sharma dans sa lettre. Sa publication sur X a été vue plus de 14 millions de fois d’ici jeudi. Le poète auto‑décrit a déclaré que son prochain mouvement professionnel impliquerait quelque chose où il pourrait contribuer d’une manière qui « se sentira pleinement en accord avec son intégrité ».
Détails de la démission et le rôle de Sharma chez Anthropic
La démission de Sharma a été immédiate, se retirant de son rôle très médiatisé chez Anthropic après près de trois années. Le résident californien avait étudié à l’Université d’Oxford et à l’Université de Cambridge, obtenant un master en ingénierie et apprentissage automatique. Pour ce poste, son rôle consistait à diriger une équipe axée sur la « sécurité de l’IA », soit trouver des moyens de s’assurer que l’IA ne cause pas de tort aux humains qui l’utilisent. Par exemple, Sharma a déclaré avoir aidé à créer des défenses afin que l’IA ne puisse pas être utilisée par de mauvais acteurs pour fabriquer des substances dangereuses comme des armes biologiques. Il a également étudié des problèmes tels que « AI sycophancy », où les chatbots d’IA pourraient flatter excessivement ou être d’accord avec les utilisateurs de manière à les manipuler et à déformer le sens de la réalité des gens. « Nous semblons approcher d’un seuil où notre sagesse doit croître au même rythme que notre capacité à influencer le monde, sans quoi nous ferons face aux conséquences », a écrit Sharma dans sa lettre. Sa publication sur X a été vue plus de 14 millions de fois d’ici jeudi. Le poète auto‑décrit a déclaré que son prochain mouvement professionnel impliquerait quelque chose où il pourrait contribuer d’une manière qui « se sentira pleinement en accord avec son intégrité ».
Contexte d’Anthropic et enjeux pour l’industrie et la régulation
Anthropic est une société d’IA fondée en 2021 par sept anciens employés d’OpenAI, l’entreprise qui a créé ChatGPT. Ce groupe comprenait les frères et sœurs PDG Dario Amodei et Daniela Amodei, qui ont déclaré avoir quitté OpenAI en raison de préoccupations concernant le manque d’attention à la sécurité et voulaient créer des systèmes d’IA fiables et interprétables qui privilégient le bien-être humain. Les principaux produits de l’entreprise sont la famille Claude de modèles d’IA, qui incluent des assistants de chatbot pour le codage et d’autres tâches personnelles et professionnelles. Anthropic détient environ 40 pour cent du marché de l’IA en termes d’assistants IA, avec un chiffre d’affaires annuel estimé à environ 9 milliards de dollars. Pourtant, Dario Amodei a publiquement plaidé pour des réglementations plus strictes sur tous les systèmes d’IA, témoignant devant le Sénat américain en 2023 sur les principes de supervision de cette nouvelle technologie. Amodei a récemment préconisé des normes fédérales réfléchies pour remplacer des lois étendues au niveau des États qui régissent l’utilisation de l’IA aux États‑Unis. »
