EPFL gibt der KI Zweifel – und spart 40 Prozent Experimente

Selbstsicher ist nicht dasselbe wie richtig

Sprachmodelle könnten diese Übersetzungsarbeit überflüssig machen: Sie haben breites wissenschaftliches Wissen intus und verstehen ein Experiment in normalem Englisch. Ihr Problem ist ein anderes – ein LLM formuliert jede Antwort mit demselben Brustton der Überzeugung, ob es die Sache weiss oder halluziniert.

Die EPFL-Lösung koppelt das Sprachmodell deshalb mit einem Gauss-Prozess, von der Hochschule salopp «Zweifel-Detektor» genannt. Das ist ein statistisches Modell, das zu jeder Vorhersage eine Fehlerbandbreite mitliefert – nicht nur «Ausbeute rund 70 Prozent», sondern «70 Prozent, plus/minus 15». Genau diese Bandbreite fehlt dem Sprachmodell.

«Sprachmodelle sind notorisch schlecht darin, zu wissen, wann sie falschliegen. In GOLLuM wird genau diese Unsicherheit zum Signal, das sie trainiert», sagt Bojana Ranković, die die Methode während ihrer Doktorarbeit an der EPFL entwickelt hat.

Der Clou: Das Sprachmodell wählt die Experimente nicht selbst aus, sondern wird mit den Bewertungen des Gauss-Prozesses trainiert. Dadurch ordnet es seine interne Landkarte des Suchraums neu – Bedingungen mit ähnlichem Ausgang rücken zusammen, unterschiedliche driften auseinander.

36,3 statt 29,7 Prozent Treffer

Getestet wurde auf 23 Aufgaben aus organischer Synthese, Prozesschemie, Materialien und Molekül-Design – jeder Lauf startend mit zehn absichtlich schlechten Ergebnissen und überall mit derselben Konfiguration, ohne Nachjustieren pro Problem.

Bei einem Budget von 50 Experimenten landeten laut EPFL 36,3 Prozent der getesteten Bedingungen in den besten fünf Prozent aller möglichen Ergebnisse. Die klassische Bayes'sche Optimierung mit expertengebauten Deskriptoren kam auf 29,7 Prozent. Auf der Buchwald–Hartwig-Kupplung, einer Standardreaktion der Pharmasynthese, verdoppelte GOLLuM die Trefferquote laut Paper nahezu: 43 Prozent gegenüber 24 bis 25 Prozent.

Wie wichtig der Zweifel-Detektor ist, zeigt der Gegentest. Liess man das Sprachmodell die Experimente direkt vorschlagen, schwankten die Fehlerraten zwischen 10 und rund 80 Prozent – mit erfundenen chemischen Strukturen, doppelt vorgeschlagenen Bedingungen und Vorschlägen ausserhalb des erlaubten Suchraums.

Vom Deskriptor-Workshop zum ersten Versuchstag

Für Forschungsgruppen ist der praktische Gewinn weniger die Prozentzahl als der Start. «Wir können Optimierungskampagnen ab dem ersten Tag starten, statt sechs Monate lang zu diskutieren, wie man Experimente am besten beschreibt und Deskriptoren berechnet», sagt Philippe Schwaller in der EPFL-Mitteilung.

Wichtig für die Einordnung: Alle Zahlen stammen aus Benchmarks auf bestehenden Datensätzen, nicht aus neuen Laborkampagnen. Und GOLLuM macht Sprachmodelle nicht ehrlicher – es umgeht ihre Selbstüberschätzung, indem ein zweites Modell die Unsicherheit übernimmt. Dasselbe Muster – KI als Werkzeug statt als Orakel – zeigte sich zuletzt bei einem Modell zum Replizieren von Studien und bei effizienteren Modellen aus der FHNW-Forschung.

Finanziert wurde die Arbeit vom Schweizerischen Nationalfonds über den Forschungsschwerpunkt NCCR Catalysis. Paper und Code sind frei zugänglich.