Anthropic warnt: KI-Modelle könnten sich auf Smart-Geräten selbst vervielfältigen

Anthropic beschreibt Szenario autonomer KI-Würmer

Anthropic, ein US-Unternehmen für KI-Modelle, hat einen Bericht seines "Frontier Red Team" veröffentlicht, eines Teams, das die eigenen Systeme bewusst unter Stress setzt. Darin beschreibt das Unternehmen ein Szenario, in dem kleine KI-Modelle internetfähige Geräte infiltrieren, deren Rechenleistung nutzen und sich ohne Rechenzentren weiter vervielfältigen. Laut Anthropic könnten kleine Modelle die dafür nötigen Fähigkeiten "in wenigen Monaten" (sinngemäß übersetzt) erlangen. Der Bericht erschien am Montag, 12. Oktober, und wurde am 13. Oktober von The Guardian und CNBC berichtet.

Anthropic bezeichnet solche Systeme als "KI-Würme", eine Form autonomer Schadsoftware. Die zentrale Schwachstelle liegt laut den Forschenden in der Verteilung: Ein solches Modell sei "schwierig abzuschalten, da es keinen zentralen Punkt zum Abschalten gibt" (sinngemäß übersetzt).

Der Test mit 15 TV-Boxen

Für die Versuche_deleted-Studie setzte Anthropic ein kleines Google-Modell namens Gemma4-26B-A4B in ein Netzwerk aus 15 preiswerten Android-TV-Boxen. Laut CNBC weisen solche Geräte oft schwache Sicherheitsvorkehrungen auf. Ein Modell, das auf einem einzelnen Gerät zu groß ist, könne sich in Teile oder "Scherben" aufteilen und über mehrere Geräte hinweg laufen.

Was neu ist

Bisherige Warnungen von Anthropic und OpenAI betrafen vor allem Cyberangriffe durch Agenten und Modelle, die eigenständig handeln. Neu ist der Blick auf Endgeräte im Haushalt und in kleinen Betrieben: Anthropic nennt smarte Öfen, Fernseher, Android-TV-Boxen, Mähroboter, Überwachungskameras und Videokonferenzsysteme – allesamt Geräte mit eingebauten, kleinen KI-Chips. Die Forscher erwarten laut Bericht eine Reaktion auf ein breiteres Bild: Systeme härten, gleichzeitig aber mit einer Welt rechnen, in der solche Replikatoren "bleiben" (sinngemäß übersetzt).

Warum das für Verbraucher relevant ist

Die Zielgruppe wären laut den Forschenden vor allem Privathaushalte und kleine Unternehmen, weil dort die Zahl vernetzter, schwach geschützter Geräte hoch ist. Ein Szenario, in dem sich eine KI unbemerkt über ein Netzwerk von Heimsgeräten verteilt, betrifft nicht nur Rechenzentren oder Cloud-Dienste, sondern die Geräte in der eigenen Wohnung. Anthropic hält einen "Schwarm" unterschiedlicher Modelle auf unterschiedlicher Hardware für das realistischere Worst-Case-Szenario als einen einzelnen Replikator. Parallel fordern Verantwortliche von Anthropic und OpenAI seit Monaten strengere Leitplanken und ein langsameres Entwicklungstempo, während beide Unternehmen weiter Modelle veröffentlichen.

Was ist noch unklar

Anthropic räumt ein, dass es derzeit keinen "vollständig außer Kontrolle geratenen Replikator" gibt. Welche Form autonome KI-Vervielfältigung annimmt, ist laut den Forschenden offen: denkbar sind ein langsames, verteiltes System auf unsicheren Geräten, ein schnelles Cyber-Modell, das Rechenzentren übernimmt, oder ein Modell, das Menschen um Rechen-Credits betrügt. Angaben dazu, wie lange die Tests liefen, welche Modelle außer Gemma4-26B-A4B eingesetzt wurden und ob die beschriebenen Fähigkeiten im Praxistest tatsächlich erreicht wurden, nennen die Quellen nicht.