Cloudflare zwingt KI-Crawler zur Bezahlung

Das halbe Web läuft über Cloudflare – und jetzt zieht der Konzern eine neue Grenze für KI-Firmen.

Stichtag 15. September

Cloudflare stellt zum 15. September 2026 seine Standard-Einstellungen um. Ab dann blockiert die Plattform sogenannte «mixed-use»-Crawler – also Bots, die klassische Suche, KI-Agenten und Modell-Training in einem vermischen – automatisch auf allen Seiten, die Werbung ausspielen. Wer diese Bots trotzdem hereinlassen will, muss das künftig aktiv erlauben.

Die neue Voreinstellung greift für neue Cloudflare-Kunden, für neue Seiten bestehender Kunden und für sämtliche Gratis-Kunden. Der Gedanke dahinter: Die meisten Website-Betreiber wollen in der Suche auffindbar bleiben – aber nicht, dass dieselbe Reportage gratis ein kommerzielles KI-Modell füttert.

Vom Abruf zum Wert: «Pay Per Use»

Schon 2025 hatte Cloudflare mit «Pay Per Crawl» einen Marktplatz gestartet, auf dem Publisher pro Bot-Abruf Geld verlangen konnten. Daraus wird jetzt «Pay Per Use»: Bezahlt wird nicht mehr beim blossen Abholen einer Seite, sondern erst, wenn der Inhalt tatsächlich Wert schafft – etwa, wenn er in einer KI-Antwort landet.

Den Anfang machen zwei Partner: Ceramic.ai und You.com. Ein Publisher wird zum Beispiel bezahlt, wenn sein Text in Ceramics KI-Suchergebnissen auftaucht oder You.com auf einen kostenpflichtigen Beitrag zugreift. Andere KI-Firmen können das Modell für sich anpassen.

Ein Seitenhieb Richtung Google

Cloudflare-Mitgründer und CEO Matthew Prince nimmt den «grössten Suchanbieter der Welt» ins Visier – gemeint ist unüberhörbar Google. Dieser habe Zugang zu rund «doppelt so vielen Informationen» wie andere, weil man ohne Freigabe für KI kaum in der Suche sichtbar bleibe.

«Jetzt, wo die Mehrheit des Internet-Traffics nicht mehr von Menschen stammt, müssen wir weiter gehen und schneller handeln, damit ein nachhaltiges Ökosystem entstehen kann.»

Prince spielt damit auf einen Kipp-Punkt an: Bots haben den menschlichen Traffic im Web erstmals überholt. Gleichzeitig, so Cloudflare, entfielen über 50 Prozent des KI-Crawl-Traffics schlicht aufs erneute Abrufen unveränderter Seiten.

Was das für dich bedeutet

Für Schweizer Medienhäuser, Blogs und Firmen-Websites ist das handfest: Wer Cloudflare einsetzt – und das sind sehr viele –, bekommt mehr Kontrolle darüber, ob die eigenen Inhalte fürs KI-Training freigegeben werden, ohne dafür aus der Google-Suche zu fallen. Für KI-Firmen wird der billige Gratis-Zugang zu fremden Inhalten enger.

Einordnung: Es ist der bisher konkreteste Versuch eines Infrastruktur-Anbieters, das Prinzip «erst scrapen, nie fragen» umzudrehen – und ein Vorgeschmack darauf, wie das Ringen um Bezahlung für Trainingsdaten 2026 weitergeht.