GPT-6-Astra löst 49 von 50 Physik-Forschungsaufgaben – und entdeckt Fehler der Fachleute

Ein Benchmark mit 50 unveröffentlichten Aufgaben

Ein Team aus 35 Forschenden – darunter das International Centre for Theoretical Sciences, die Harvard University, die KU Leuven und Google DeepMind – legt mit TheoPhysEval 50 unveröffentlichte Forschungsaufgaben aus der theoretischen Physik vor, deren Antworten überprüfbar sind. Laut Autoren bräuchte eine Fachperson aus dem jeweiligen Teilgebiet für eine typische Aufgabe ohne KI etwa einen Tag oder weniger, jemand aus einem benachbarten Gebiet deutlich länger. Getestet wurden handelsübliche KI-Agenten ohne menschliche Hinweise, mit Werkzeugen für Literaturecherche sowie numerische und symbolische Rechnungen. GPT-6-Astra in OpenAIs Codex-Umgebung löste 49 von 50 Aufgaben, also 98 Prozent, durchschnittlich unter 3 US-Dollar pro Aufgabe; The Decoder nennt 2,40 US-Dollar im Mittel und knapp 116 US-Dollar für den gesamten Lauf.

Die Rangliste

Anthropics Opus 5.5 kam in Claude Code auf 92 Prozent, Googles Gemini 3.8 Flash auf 68, DeepSeek-V4.1-Flash auf 54 und GLM 5.3 auf 42. Die Aufgaben decken elf Teilgebiete ab, von Strömungsmechanik über Teilchenphysik bis Kosmologie. Jeder Agent lief zweimal, mit und ohne Websuche; schwächere Modelle kopierten teils Formeln unverändert aus einer Arbeit über fünf Dimensionen, verlangt war die Rechnung in vier. Ohne Websuche fielen Astra und Opus jeweils auf 92 Prozent – nach Ansicht der Autoren ein Hinweis darauf, dass führende Sprachmodelle große Teile der theoretisch-physikalischen Literatur auswendig gelernt haben.

Die Fachleute lagen daneben

Bemerkenswert ist die Schilderung von Mitautor Suvrat Raju vom ICTS: Zunächst lag Astra demnach nur im Bereich der späten Achtziger, dicht gefolgt von Opus 5.5. Bei der Prüfung der vermeintlichen Modellfehler beharrten die Modelle auf ihrer Richtigkeit und hielten die Musterlösungen für falsch. Die Fachleute fanden daraufhin in mehreren Fällen subtile Fehler in ihren eigenen Rechnungen; nach deren Korrektur stieg Astras Wert auf 98 Prozent. Marginal REVOLUTION fasst das als Rollentausch zusammen: Die Antworten der KI seien zum Prüfmaßstab für die Experten geworden.

Rechenarbeit statt Durchbruch

Vorsichtlich sind das keine offenen Forschungsfragen, sondern "Turn-the-crank"-Aufgaben: bekannte Verfahren auf leicht abgewandelte Fragen, mit veränderten Werten aus aktuellen Arbeiten der Mitwirkenden. Eine Aufgabe aus der Schwarzes-Loch-Forschung verlangt, Gleichungen von einer fünf- auf eine vierdimensionale Raumzeit zu übertragen und daraus ein eigenes Programm zu bauen; Raju brauchte dafür etwa einen Tag. Mit Websuche blieb eine Aufgabe für alle Modelle offen: gesucht war eine Gleichung, die eine vorgegebene Kurve erzeugt, und die Musterlösung nutzt spezielle mathematische Formen. Die Autoren räumen ein, das wirke möglicherweise unfair, halten es aber für realistisch.

Was den Agenten fehlt

Eine überprüfbare Rechnung steht laut den Autoren erst am Ende des Forschungsprozesses: Zuvor muss jemand eine Theorie aufbauen und die richtigen Fragen stellen, bei zu schweren Aufgaben auf ein verwandtes, einfacheres Problem ausweichen. Genau daran scheitern die Agenten, auch am Finden interessanter Probleme. In der Mathematik hätten Agenten bereits offene Probleme gelöst; OpenAI rechnet dafür das Navier-Stokes-Problem der Millennium-Probleme auf, ein vergleichbarer Durchbruch in der theoretischen Physik fehlt bislang. Auffällig ist zudem, dass die Agenten TheoPhysEval besser bestehen als Benchmarks wie CritPt, obwohl die Autoren ihre eigenen Aufgaben im Schnitt für schwieriger halten; eine aktuelle Studie fand, dass manche Physik-Benchmarks falsch bewertet werden und die Fähigkeiten von Modellen unterschätzen.

Folgen für Nachwuchs und Zugang

Laut Studie taugen die Benchmark-Aufgaben nicht mehr als erste Forschungsprojekte für Nachwuchsforschende, außer es geht ausdrücklich um das Durcharbeiten des Stoffes. Da theoretische Physik traditionell weit weniger Geld benötigt als experimentelle Forschung, erwarten die Autoren bei schwierigeren Aufgaben stark steigenden Ressourcenbedarf – und damit Budgetfragen, die bestimmen, was eine Forschungsgruppe erreichen kann.

Zweiter Datenpunkt: Claude rechnet weiter

Ergänzend berichtet IBM Think, Anthropic habe mit Claude eine Berechnung zur Streuungsamplitude von acht auf neun Schleifen erweitert; Physiker hätten die Ergebnisse unabhängig geprüft. Die Physikerin Anastasia Volovich von der Brown University sieht darin einen Schritt Richtung Vertrauen in Frontier-Systeme, bezweifelt aber, dass KI wirklich neue Methoden oder Strukturen entwickelt (sinngemäß übersetzt).

Was ist noch unklar

Ein Veröffentlichungsdatum nennen die Quellen nicht, ebenso wenig eine unabhängige Nachprüfung der 98 Prozent. Offen bleibt, wie die korrigierten Musterlösungen weiter validiert wurden und ob die Leistung auf echte Forschungsarbeit übertragbar ist. Zu Verfügbarkeit, Preisen oder Zugang zu GPT-6-Astra und Codex in Deutschland machen die Quellen keine Angaben.

Wie es weitergeht

Probleme und Testaufbau sind als Datensatz auf Hugging Face verfügbar. Die Autoren plädieren dafür, dass die theoretische Physik Debatten über Zugang und Chancengleichheit wie in der Mathematik (Leiden Declaration) anstößt, bevor KI das Feld verändert. Ihrer Einschätzung nach könnten Agenten bald eigenständig Forschung auf Spitzenniveau leisten – das erfordere mehr als das Lösen von Aufgaben.