Szokująca rezygnacja czołowego badacza bezpieczeństwa AI z Anthropic — ostrzega, że świat stoi na krawędzi katastrofy
Mrinank Sharma, ceniony badacz bezpieczeństwa sztucznej inteligencji w Anthropic, zrezygnował z pracy, pozostawiając ostrzeżenie, że świat jest w niebezpieczeństwie z powodu nadużyć zaawansowanych komputerów. Sharma opublikował w poniedziałek na mediach społecznościowych list rezygnacyjny, stwierdzając, że „świat stoi w niebezpieczeństwie” z powodu postępów AI oraz związanych z tym ryzyk, takich jak bioterrorizm. Anthropic buduje zaawansowane systemy AI, takie jak chat boty i narzędzia generujące tekst lub pomysły, w tym popularny program Claude. Jednak w liście Sharma twierdził, że on i firma AI byli naciskani, by porzucić wartości w celu priorytetowego promowania rozwoju sztucznej inteligencji.
In This Article:
Rola Sharma w Anthropic i presje na utrzymanie wartości
Sharma pełnił funkcję lidera zespołu zajmującego się bezpieczeństwem AI, czyli opracowywaniem sposobów, by AI nie wyrządzała szkód ludziom. Jego stanowisko było wysokoprofilowe, a szacowane roczne wynagrodzenie przekraczało 200 000 USD. California resident studied at University of Oxford and Cambridge; Jednak ekspert ds. bezpieczeństwa AI powiedział, że mieszanka problemów globalnych, które są ze sobą powiązane – w tym wojny, pandemie, zmiany klimatu i niekontrolowany rozwój AI – wpłynęła na jego decyzję o rezygnacji. Sharma twierdzi, że przez dłuższy czas czuł nacisk, by porzucić wartości w imię szybszego rozwoju sztucznej inteligencji.
Bioterroryzmem i manipulacją umysłów w erze AI
Światowy wiatr obaw rośnie, bo Sharma ostrzegał, że potężne programy AI ułatwiają naukowcom formułowanie bioterroru i szerzenie chorób na całym świecie. Bez odpowiednich regulacji te narzędzia mogą szybko odpowiadać na trudne pytania biologiczne i nawet sugerować zmiany genetyczne, aby wirusy były bardziej zaraźliwe lub śmiertelne. Dzięki dużym modelom językowym, takim jak ChatGPT, trenowanym na milionach prac naukowych, AI mogłaby potencjalnie dostarczać instrukcje krok po kroku tworzenia nowych biotechnologii lub pomagać w obchodzeniu systemów bezpieczeństwa w dostarczaniu usług DNA. Sharma wspominał także o AI „sycophancy” i o tym, że jest w stanie manipulatorować decyzjami użytkowników poprzez zbytnie pochlebstwo lub zgadzanie się z nimi, co zniekształca postrzeganie rzeczywistości. „Ciągle stwierdzam, że nasza sytuacja jest pilna. Świat stoi w niebezpieczeństwie. I to nie tylko z powodu AI,” oświadczył w liście udostępnionym na X.
Claude, Anthropic i przyszłe regulacje – kontekst organizacyjny i polityczny
Anthropic został założony w 2021 roku przez siedem byłych pracowników OpenAI. Grupa ta obejmowała również rodzeństwo – CEO Dario Amodei i prezes Daniela Amodei – którzy odeszli z obaw o OpenAI i brak skupienia na bezpieczeństwie, chcąc tworzyć wiarygodne, interpretowalne systemy AI, które stawiają dobro człowieka na pierwszym miejscu. Główne produkty Anthropic to rodzina modeli Claude, w tym asystenci czatbotów do kodowania i innych zadań osobistych i zawodowych. Anthropic rzekomo ma około 40 procent rynku AI w zakresie asystentów, a roczne przychody szacuje się na około 9 miliardów USD. Dario Amodei publicznie popiera silniejsze regulacje nad wszystkimi systemami AI, zeznając przed amerykańskim Senatem w 2023 roku w kwestii zasad nadzoru nad tą technologią. Amodei postuluje przemyślane federalne standardy, które zastąpiłyby szeroko zakrojone prawo stanowe regulujące użycie AI w USA. Sharma na X opublikował post, który do czwartku został wyświetlony ponad 14 milionów razy, a sam określił się jako „poet” i dodał, że jego następny krok w karierze ma być czymś, co „czuję w całej swojej integralności.”
