Renommierter KI-Sicherheitsexperte kündigt schockierend bei Anthropic zurück und warnt Die Welt steht in Gefahr
Ein angesehener Forscher im Bereich KI bei Anthropic hat seinen Job aufgegeben und eine ernste Warnung veröffentlicht, dass die Welt durch den Missbrauch fortschrittlicher Computer gefährdet sei. Mrinank Sharma, ein KI-Sicherheitsexperte bei Anthropic, veröffentlichte am Montag sein Rücktrittsschreiben in den sozialen Netzwerken und behauptete, dass „die Welt ist in Gefahr“ sei, aufgrund von KI-Fortschritten und damit verbundenen Risiken wie Bioterrorismus. Anthropic entwickelt fortschrittliche KI-Systeme wie Chatbots und Werkzeuge, die Texte oder Ideen generieren können, darunter das beliebte Programm Claude.
In This Article:
Druck, Werte zugunsten des KI-Wachstums beiseitezustellen
Sharma behauptete in seinem Brief, dass er und das KI-Unternehmen unter Druck gesetzt worden seien, ihre Werte zugunsten des Wachstums der künstlichen Intelligenz beiseitezustellen. Seine Position bei Anthropic, die schätzungsweise mehr als 200.000 USD pro Jahr betrug, war die Leitung eines Teams, das sich auf „KI-Sicherheit“ konzentrierte — das bedeutet, Wege zu finden, um sicherzustellen, dass KI den Menschen, die sie nutzen, keinen Schaden zufügt. Zum Beispiel wies Sharma darauf hin, dass er geholfen habe, Verteidigungen zu schaffen, damit KI nicht von böswilligen Akteuren genutzt werden könne, um gefährliche Substanzen wie biologische Waffen herzustellen. Er untersuchte auch Probleme wie „KI-Subservilität“, bei der KI-Chatbots Nutzer möglicherweise übermäßig schmeicheln oder ihnen zustimmen, um sie zu manipulieren und das Realitätsverständnis der Menschen zu verzerren. „Wir scheinen uns einer Schwelle zu nähern, an der unsere Weisheit dem Vermögen, die Welt zu beeinflussen, in gleichem Maß wachsen muss, damit wir nicht mit den Folgen konfrontiert werden“, schrieb Sharma in seinem Brief.
Anthropic, Claude und Regulierung Wer kontrolliert die KI-Welt
Anthropic wurde 2021 von sieben ehemaligen Mitarbeitern von OpenAI gegründet, dem Unternehmen, das ChatGPT geschaffen hat. Zu dieser Gruppe gehörten die Geschwister Dario Amodei, CEO, und Daniela Amodei, Präsidentin von Anthropic, die sagten, sie hätten OpenAI aus Sorge um mangelnden Fokus auf Sicherheit verlassen und wollten zuverlässige, interpretierbare KI-Systeme schaffen, die das Wohl der Menschheit in den Vordergrund stellen. Das Unternehmen entwickelt die Claude-Familie von KI-Modellen, zu denen Chatbot-Assistenten für Programmierung und andere persönliche sowie berufliche Aufgaben gehören. Anthropic soll rund 40 Prozent des Marktes für KI-Assistenten halten, mit einem jährlichen Umsatz von schätzungsweise 9 Milliarden USD. Allerdings hat Dario Amodei öffentlich für stärkere Regulierungen aller KI-Systeme plädiert und 2023 vor dem US-Senat zu Aufsichtsprinzipien für diese neue Technologie ausgesagt. Amodei setzte sich kürzlich für bedachte bundesweite Standards ein, um staatliche Regelungen zur Nutzung von KI in den USA zu ersetzen.
Ausblick Regulierung Markt und die Zukunft von Claude
Sharma betonte, dass sein nächster Karriereschritt darin bestünde, in einer Weise beizutragen, bei der er sich „voll in seiner Integrität“ fühlt. Sharmas Post auf X wurde bis Donnerstag mehr als 14 Millionen Mal angesehen. Der sich selbst als Dichter bezeichnende Sharma sagte, sein nächster Karriereweg werde darin bestehen, etwas zu tun, bei dem er sich „voll in seiner Integrität“ fühlt. Anthropic ist ein KI-Unternehmen, das 2021 von sieben ehemaligen OpenAI-Mitarbeitern gegründet wurde, darunter Dario Amodei und Daniela Amodei. Die Gruppe verließ OpenAI aus Sorge über mangelnde Sicherheit und wollte zuverlässige, interpretierbare KI-Systeme schaffen, die das Wohl der Menschheit berücksichtigen. Die Claude-Familie ist das Hauptprodukt des Unternehmens, einschließlich KI-Modellen und Chatbot-Assistenten für Codierung und andere persönliche sowie berufliche Aufgaben. Berichte deuten darauf hin, dass Anthropic rund 40 Prozent des Marktes für KI-Assistenten hält und einen jährlichen Umsatz von etwa 9 Milliarden USD erzielt. Dario Amodei hat sich öffentlich für stärkere Regulierungen aller KI-Systeme eingesetzt und im Jahr 2023 vor dem US-Senat zu den Grundsätzen einer Aufsicht für diese neue Technologie ausgesagt. Amodei sprach sich zuletzt für bedachte bundesstaatliche Standards aus, um breite staatliche Regelungen zu ersetzen.
