OpenAI hat zwei neue Evals für selten genutzte Programmiersprachen vorgestellt, MultiLangBench und eine COBOL-Migration. Laut eigenen Angaben schafft GPT-6.1 Sol 86,6 % bei niedrigem Reasoning-Aufwand, GPT-5.6 Sol kommt auf 5,4 %. Das Eval-Setup ist auf GitHub öffentlich, die Zahlen stammen aber von OpenAI selbst.
KI-Beratung und Softwareentwicklung aus dem St. Galler Rheintal.
COBOL-Migration wird für KI-Modelle laut OpenAI-Eigentest machbar, in der Praxis solltest du das aber erst mit eigenen Testfällen an einem kleinen Modul prüfen.
OpenAI hat am 19. Oktober 2026 zwei neue Tests für Programmiersprachen vorgestellt, zu denen es wenig Trainingsmaterial gibt – und meldet dabei laut eigenen Angaben einen Sprung bei der COBOL-Migration: GPT-6.1 Sol schafft bei niedrigem Reasoning-Aufwand 86,6 % der Aufgaben, das Vorgängermodell GPT-5.6 Sol kam im gleichen Setting auf 5,4 %. Das ist relevant, weil COBOL in vielen Banken und Behörden noch immer produktiv läuft. Alle Zahlen stammen aus OpenAIs eigenen Evals und sind nicht unabhängig überprüft.
Der erste Test heisst MultiLangBench. Das Modell muss eine zu SQLite kompatible Datenbank von Grund auf programmieren – und zwar in 20 Sprachen, darunter COBOL, Fortran, OCaml, Visual Basic, aber auch Python und Rust. Der zweite Test prüft, ob ein Modell COBOL-Programme nach C++, Java, Kotlin, Python oder Rust übersetzt, ohne dass sich das Verhalten ändert. Ein Durchlauf zählt nur, wenn alle versteckten Tests bestehen. OpenAI hat das Eval-Setup auf GitHub veröffentlicht, die Ergebnisse lassen sich also grundsätzlich nachprüfen.
Bei der COBOL-Migration meldet OpenAI für GPT-6.1 Sol:
Bei MultiLangBench (maximaler Reasoning-Aufwand) kommt im Schnitt auf 87,4 % nach 26,8 % bei GPT-5.6 Sol. Allein bei COBOL steigt der Wert von 10,9 auf 72,1 %. , die günstige Variante, erreicht 40,3 % bei rund 78 % tieferen Kosten pro Durchlauf. The Decoder nennt als Vergleich GPT-5.6 Terra mit rund 38 % – Lunas Vorteil liegt damit vor allem im Preis.
COBOL rechnet mit Festkomma-Arithmetik: Überzählige Nachkommastellen werden abgeschnitten, ausser Rundung ist ausdrücklich verlangt. Solche Details machen eine Migration heikel, denn bei Geldbeträgen darf sich das Ergebnis nicht um einen Rappen ändern. Laut IBM, auf die sich OpenAI beruft, steckt COBOL hinter mehr als 40 % der Online-Banking-Systeme und 95 % der Geldautomaten-Transaktionen.
Für die Schweiz heisst das: Auch hierzulande gibt es COBOL-Altlasten. Swisscom etwa hat 2017 entschieden, ihren Mainframe abzulösen; allein die Billing-Anwendung umfasste laut Computerweekly 1'058 COBOL-Programme. Als Gründe nannte das Unternehmen fehlendes internes Wissen und die Abhängigkeit von einem Lieferanten. Viele Banken und Behörden stehen vor ähnlichen Fragen.
Wer Legacy-Code verantwortet, bekommt mit den Zahlen einen Anhaltspunkt – aber keinen Freipass. Ein Benchmark mit klaren Tests ist nicht dasselbe wie ein jahrzehntealtes Bankensystem mit undokumentierten Eigenheiten. Sinnvoll ist ein Pilot an einem überschaubaren Modul, mit eigenen Testfällen. Zum Preisvorteil von GPT-6.1 Sol im Allgemeinen haben wir bereits berichtet; hier geht es um den Praxistest an Altlasten.
Meta veröffentlicht Muse Spark Open mit offenen Gewichten: 816 Milliarden Parameter, 1 Million Token Kontext. Lokal braucht es rund ein Terabyte Arbeitsspeicher. Die Benchmark-Angaben stammen von Meta und sind nicht unabhängig geprüft.