OpenAI, Google, Microsoft und Anthropic wollen ein gemeinsames robots.txt-Signal gegen KI-Training unterstützen. Es ist erst ein Entwurf, und die Firmen setzen es zwischen jetzt und 2027 um.
KI-Beratung und Softwareentwicklung aus dem St. Galler Rheintal.
Du kannst KI-Training mit einer robots.txt-Zeile ablehnen, aber das Signal ist ein Entwurf, und die Firmen halten sich erst ab 2027 daran.
OpenAI, Google, Microsoft und Anthropic wollen dir das Aussperren von KI-Training erleichtern. Am 30. Oktober 2026 haben die vier Firmen angekündigt, ein gemeinsames Signal in der robots.txt zu unterstützen: den Token __usage_ai-training. Statt jeden KI-Crawler einzeln zu sperren, schreibst du eine Zeile für alle. Das Signal gibt es erst als Vorschlag, und die Firmen setzen es zu sehr unterschiedlichen Zeitpunkten um.
Das Signal steht in einem IETF-Entwurf (draft-kelley-aipref-training-preference-signal-00) von Kevin Kelley, der bei Anthropic arbeitet. Du schreibst es wie eine normale robots.txt-Regel, nur mit dem Token als User-Agent:
`` User-Agent: __usage_ai-training Disallow: / Allow: /press-kit/ ``
Das heisst: kein KI-Training mit deinen Seiten, ausser mit dem Pressebereich. Der Entwurf führt keine neuen Befehle ein, bestehende Regeln gelten weiter. Wichtig: Ein allgemeines User-Agent: * erfasst den Token nicht. Ohne eigene Gruppe gibst du keine Präferenz ab.
Anthropic sagt, die Unterstützung sei bereits in Arbeit. OpenAI will das Signal «in den kommenden Monaten» umsetzen und betont, die bisherigen robots.txt-Regeln blieben bestehen. Microsoft startet am 1. Februar 2027 mit neuen Einstellungen für Training und «Grounding» (Antworten mit Live-Quellen), beide gelten standardmässig als erlaubt, solange du nichts angibst. Google peilt 2027 an und behandelt den Token als Sperre von Google-Extended, falls du dazu nichts Eigenes schreibst.
Der Entwurf hat keinen offiziellen Status im IETF-Prozess und läuft am 3. Mai 2027 ab, falls er nicht erneuert wird. Der Token regelt nur Training, nicht das Abrufen von Seiten; Crawler können sie weiter laden. Wer sich nicht an die Regel hält, wird nicht gestoppt, wie auch bei der bisherigen robots.txt. Bereits gesammelte Inhalte bleiben in bestehenden Datensätzen. Dazu kommt ein Zielkonflikt bei Microsoft: Wer das Grounding sperrt, riskiert laut Microsoft weniger Sichtbarkeit in KI-Antworten.
Entscheide zuerst, ob du Training sperren, aber Sichtbarkeit in KI-Antworten behalten willst. Wenn ja, trägst du den Token ein, lässt aber die Gruppen für Suchbots wie OAI-SearchBot unverändert. Beachte: Regeln unter User-Agent: * gelten für den Token nicht, seine Gruppe legst du separat an. Für Schweizer Verlage und Firmen, die um ihre Inhalte besorgt sind, ist das ein kleiner Schritt mit begrenzter Wirkung: Er zeigt deinen Willen, erzwingt ihn aber nicht.
Meta verschiebt die neuen Geschäftsbedingungen mit der Crawling-Klausel auf den 20. November. «Train» ist gestrichen, «develop» bleibt. Der Verlegerverband Schweizer Medien unterstützt die Forderung von WAN-IFRA, die Regel auszusetzen.