Project Lily: Hunderte Menschen lesen deine ChatGPT-Chats

OpenAI lässt hunderte externe Vertragsarbeiter echte ChatGPT-Konversationen lesen und bewerten – intern läuft das unter dem Codenamen Project Lily. Das berichtete das US-Techmagazin 404 Media am 14. September 2026 auf Basis geleakter interner Dokumente und tatsächlicher Nutzer-Prompts. Betroffen sind potenziell alle privaten Konten: Die Einstellung, die diese Auswertung erlaubt, ist bei Free-, Plus- und Pro-Accounts standardmässig eingeschaltet. ChatGPT kommt laut TechCrunch auf über 900 Millionen wöchentliche Nutzerinnen und Nutzer.

Vier Antworten, eine Skala von 1 bis 7

Der Ablauf ist laut 404 Media immer derselbe: Die Reviewerinnen und Reviewer öffnen einen echten Prompt, fassen in eigenen Worten zusammen, was die Person wollte, und benoten anschliessend vier generierte Antworten auf einer Skala von 1 bis 7. Geachtet werden soll dabei besonders auf drei Dinge – übermässige Schmeichelei (in der Fachsprache Sycophancy), zu menschenähnliches Auftreten des Chatbots und unpassende Emojis.

Das ist kein Randphänomen der KI-Entwicklung, sondern ein Kernstück davon: Modelle werden nicht nur durch mehr Trainingsdaten besser, sondern durch menschliches Feedback auf konkrete Antworten. Bezahlt wird entsprechend – eine in Nordamerika ansässige Person gab gegenüber 404 Media an, mehr als 50 Dollar pro Stunde zu verdienen. Anthropic bestätigte gegenüber 404 Media, ebenfalls menschliche Prüfer einzusetzen, und auch Google weist in Gemini darauf hin, dass gespeicherte Chats von Menschen gelesen werden können.

Der Filter, der Fehler machen darf

Nutzernamen sehen die Reviewer nicht. OpenAI setzt zudem ein eigenes Modell ein, das persönliche Daten vorab entfernt: den im April 2026 veröffentlichten OpenAI Privacy Filter, der laut OpenAI 96 Prozent F1 auf dem Benchmark PII-Masking-300k erreicht. Auf derselben Seite räumt OpenAI aber ein, dass das Modell seltene Identifikatoren übersehen und bei wenig Kontext zu wenig schwärzen kann.

Der Haken laut 404 Media und TNW: Über dem Prompt kann eine Zusammenfassung der «user memories» stehen – also wofür jemand den Chatbot bisher genutzt hat und in welcher Weltgegend die Person ungefähr lebt. Dass keine Nutzernamen sichtbar sind, heisst damit nicht, dass die Person unidentifizierbar bleibt.

Hingewiesen wird auf die menschliche Prüfung in der FAQ zur Datennutzung – dort schreibt OpenAI, autorisiertes Personal und geprüfte Dienstleister könnten Inhalte einsehen, unter anderem um die Modellleistung zu verbessern, «unless you have opted out». Und direkt danach: keine sensiblen Informationen eingeben, die man nicht geprüft haben möchte.

In 30 Sekunden abgeschaltet

Wer das nicht will, muss selbst aktiv werden. Der Pfad laut OpenAI-Hilfecenter:

1. Web, eingeloggt: Profilbild anklicken → Settings → Data Controls → «Improve the model for everyone» ausschalten.
2. Mobile App: Seitenmenü öffnen → Profilbild antippen → Data Controls → denselben Schalter ausschalten.
3. Ohne Login im Browser: das ?-Symbol unten rechts → Settings → Schalter ausschalten.

Drei Dinge dazu: Die Einstellung gilt kontoweit und synchronisiert sich über alle Geräte. Sie wirkt nur für neue Unterhaltungen – bereits geführte Chats holt man damit nicht zurück. Und der Chatverlauf bleibt erhalten, er wird lediglich nicht mehr fürs Training verwendet. Alternativ gibt es den temporären Chat: Solche Gespräche werden laut OpenAI nach 30 Tagen gelöscht, nicht fürs Training genutzt und nur bei Missbrauchsverdacht geprüft. Für ChatGPT Business, Enterprise und Edu ist das Training laut OpenAI ohnehin standardmässig deaktiviert.

Was das für Schweizer Konten bedeutet

Rechtlich ist die Sache offen. Für die EU hält TNW fest, dass der Europäische Gerichtshof im September 2025 im Fall EDPS gegen SRB entschieden hat, die Informationspflicht treffe den Verantwortlichen im Moment der Datenerhebung – unabhängig davon, ob der Empfänger jemanden identifizieren kann. Italiens Datenschutzbehörde Garante hatte OpenAI bereits im Dezember 2024 mit 15 Millionen Euro gebüsst – unter anderem wegen fehlender Rechtsgrundlage und mangelnder Transparenz; OpenAI kündigte damals Berufung an.

Für die Schweiz gilt das revidierte Datenschutzgesetz auch dann, wenn die Bearbeitung im Ausland stattfindet: Es erfasst laut Art. 3 Abs. 1 DSG «Sachverhalte, die sich in der Schweiz auswirken, auch wenn sie im Ausland veranlasst werden». Art. 19 DSG verlangt zudem, dass bei der Beschaffung über den Bearbeitungszweck und gegebenenfalls über die Empfängerkategorien informiert wird. Ob OpenAIs Hinweis in einer Hilfeseite dafür genügt, ist damit nicht entschieden – ein Verfahren des EDÖB zu Project Lily ist bislang nicht bekannt. Bis das jemand klärt, bleibt der Schalter in den Datenkontrollen das wirksamste Mittel, das du selbst in der Hand hast.