Inherents Faraday schlägt Claude und GPT-5.5 – im eigenen Test

Das Londoner KI-Lab Inherent hat am 14. August einen Agenten namens Faraday vorgestellt, der publizierte Forschungsarbeiten selbstständig nachbaut – und dabei laut eigenen Messungen Anthropics Claude Opus 4.8 und OpenAIs GPT-5.5 hinter sich lässt. Bemerkenswert ist die Grösse: Faraday läuft auf einem Modell mit 27 Milliarden Parametern, die geschlagenen Systeme sind um ein Vielfaches grösser. Gemessen hat Inherent allerdings mit einem selbst gebauten Testverfahren.

Der Kleine gibt dem Grossen Anweisungen

Faraday basiert auf Qwen3.6-27B, einem frei verfügbaren Modell unter Apache-2.0-Lizenz. Den Code schreibt es nicht selbst, sondern dirigiert GPT-5.5 Codex als Werkzeug – Inherent nennt das «Coding Agent as a Tool». Faraday hält den Versuchsplan und entscheidet, welche Hypothese als Nächstes dran ist. Codex tippt.

Faraday steuert damit ein Modell, das laut Inherent «mehrere Grössenordnungen grösser» ist – und verbessert dessen Ergebnis.

Eine Stunde, ein Siebtel Grafikkarte

Getestet wurde auf Replica: 310 Aufgaben zu 100 Forschungsarbeiten aus den Jahren 1990 bis 2026. Aus jedem Paper wird eine Ergebnis-Abbildung entfernt, der Agent muss das dahinterliegende Experiment rekonstruieren – Budget: 60 Minuten und ein Siebtel einer H200-Grafikkarte.

Das Ergebnis gemäss Paper: Im Trainingsgebiet Machine Learning liegt Faraday auf 73 Prozent der Aufgaben vor beiden Konkurrenten, bei zurückgehaltenen Aufgaben aus anderen Wissenschaftsfeldern noch auf 60 Prozent. Der mittlere Vorsprung im Testset: 6 Prozent gegenüber Claude, 8 Prozent gegenüber Codex.

Der Schiedsrichter sitzt im eigenen Haus

Und hier beginnt die Vorsicht. Aufgaben, Bewertungsschema und Durchführung stammen komplett von Inherent. Es gibt kein hartes Pass/Fail – ein LLM vergibt Punkte nach einer pro Aufgabe selbst generierten Rubrik. Das Team räumt im Paper ein, dass dieser Prüfer bei mehreren Aufgaben nicht mit menschlichen Fachleuten übereinstimmt und dass die Validierung für grössere Experimente noch aussteht. Immerhin haben bei vier Arbeiten die Original-Autorinnen und -Autoren Faradays Nachbau begutachtet. Eine unabhängige Nachprüfung des Gesamtvergleichs gibt es aber bislang nicht. Chief Scientist Edward Hughes sagte TechCrunch ohnehin, das Schlagen der Frontier-Agenten sei nicht der Punkt gewesen, sondern der Weg dorthin.

Lausanne steht auf der Autorenliste

Für die Schweiz ist die Sache doppelt interessant. Auf der Autorenliste steht Anja Surina, Doktorandin an der EPFL im Caglar Gulcehre Lab und ETH-Zürich-Absolventin. Und das Rezept ist nachbaubar: Qwen3.6-27B ist offen lizenziert und wurde im letzten Monat über 6,3 Millionen Mal von Hugging Face geladen. Wenn du in einer Schweizer Forschungsgruppe oder einem KMU Fachwissen in ein Modell bringen willst, musst du dafür also nicht zwingend teure Frontier-APIs mieten.

Spannend ist der Kontrast zu dem, worüber wir gestern berichtet haben: Nvidia argumentiert, das Gerüst um ein Modell herum bringe mehr als ein grösseres Modell. Inherent dreht das um – der Gewinn stecke in den trainierten Gewichten, nicht in einem komplexeren Gerüst. Welche These trägt, entscheidet sich erst, wenn jemand ausserhalb des Labs nachmisst.