Renúncia chocante de pesquisador de segurança de topo na Anthropic alerta que o mundo está em perigo
Um pesquisador respeitado da gigante de IA Anthropic deixou o emprego, lançando um severo aviso de que o mundo está em perigo devido ao uso indevido de computadores avançados. Mrinank Sharma, pesquisador de segurança de IA na Anthropic, publicou a sua carta de demissão nas redes sociais na segunda-feira, afirmando que 'world is in peril' devido aos avanços da IA e a riscos como o bioterrorismo. A Anthropic desenvolve sistemas de IA avançados, como chatbots e ferramentas que podem gerar texto ou ideias, incluindo o popular Claude. No entanto, Sharma afirmou na sua carta que ele e a empresa foram pressionados a abandonar os seus valores para privilegiar o crescimento da IA. O cargo de Sharma na Anthropic, estimado em mais de 200.000 dólares por ano, era liderar uma equipa dedicada à 'AI safety', isto é, encontrar formas de garantir que a IA não cause dano aos humanos que a utilizam. Por exemplo, Sharma afirmou ter ajudado a criar defesas para que a IA não possa ser utilizada por atores mal-intencionados para fabricar substâncias perigosas, como armas biológicas. Ele também estudou problemas como 'AI sycophancy', em que chatbots de IA podem elogiar ou concordar demais com os utilizadores, distorcendo a percepção das pessoas. 'We appear to be approaching a threshold where our wisdom must grow in equal measure to our capacity to affect the world, lest we face the consequences,' Sharma escreveu na sua carta. Mrinank Sharma (em foto) demitiu-se do cargo de cientista de segurança de IA na Anthropic, alertando que a pesquisa desenfreada de IA coloca o mundo em perigo. A Anthropic criou o assistente de IA conhecido como Claude (imagem de arquivo).
Pressões éticas e riscos globais: demissão de Sharma e o alerta para o futuro da IA
A demissão foi imediata, com Sharma a deixar o seu papel de alto perfil na Anthropic após quase três anos. O residente na Califórnia tinha estudado na Universidade de Oxford e na Universidade de Cambridge, obtendo um mestrado em engenharia e aprendizagem automática. No entanto, o especialista em segurança de IA disse que uma mistura de grandes problemas globais interconectados — incluindo guerras, pandemias, mudanças climáticas e o crescimento descontrolado da IA — influenciou a sua decisão de abandonar o emprego. Sharma expressou temores de que programas de IA poderosos estão a facilitar aos cientistas a formulação de armas biológicas que poderiam espalhar doenças pelo mundo. Sem regulamentações adequadas sobre o uso da IA, estas ferramentas ajudam a responder rapidamente a perguntas difíceis de biologia e até sugerir alterações genéticas para tornar vírus mais contagiosos ou letais. Graças a grandes modelos de linguagem, como o ChatGPT, treinados em milhões de artigos científicos, a IA poderia potencialmente fornecer instruções passo a passo para criar novas armas biológicas ou ajudar a contornar verificações de segurança em serviços de fabrico de DNA. Sharma também mencionou a capacidade da IA de mexer com a mente das pessoas, fornecendo respostas que são tão ajustadas aos pontos de vista pessoais de cada pessoa que distorcem as decisões e minam o pensamento independente. 'I continuously find myself reckoning with our situation. The world is in peril. And not just from AI,' declarou o ex-cientista da Anthropic em sua carta partilhada no X. A publicação de Sharma no X já teve mais de 14 milhões de visualizações até quinta-feira. O poeta auto-proclamado disse que o próximo passo na carreira envolveria algo onde pudesse contribuir de forma que 'feels fully in my integrity'.
Anthropic, Claude e o futuro da IA: regulamentação, lucros e responsabilidade
A Anthropic é uma empresa de IA fundada em 2021 por sete ex-funcionários da OpenAI, incluindo Dario Amodei (CEO) e Daniela Amodei (presidente), que deixaram a OpenAI com preocupações sobre a segurança e a busca de sistemas de IA confiáveis e interpretáveis, que priorizem o bem-estar humano. Os principais produtos da empresa são a família Claude de modelos de IA, que incluem assistentes de chat para codificação e outras tarefas pessoais e profissionais. A Anthropic detém aproximadamente 40% do mercado de IA em termos de assistentes, com uma receita anual estimada em 9 mil milhões de dólares. No entanto, Dario Amodei tem defendido publicamente a imposição de regulamentações mais fortes sobre todos os sistemas de IA, tendo testemunhado perante o Senado dos EUA em 2023 sobre os princípios de supervisão para esta nova tecnologia. Amodei recentemente defendeu padrões federais ponderados para substituir leis estaduais que regulam o uso da IA nos EUA.
