Am 15. September 2026 ändert Cloudflare die Standardbehandlung von KI-bezogenem Bot-Traffic. Bei neuen Domains werden Training und Agent auf Seiten mit Werbung standardmäßig blockiert, während Search erlaubt bleibt. Für SEO und GEO sind Multi-Purpose-Crawler der entscheidende Punkt.
Was ändert sich?
Cloudflare unterscheidet zwischen Training, Agent und Search. Hat ein Crawler mehrere Aufgaben, kann die restriktivste zutreffende Regel entscheiden, ob der Zugriff erlaubt wird.
Warum ist das für SEO und GEO wichtig?
Suchsichtbarkeit setzt voraus, dass relevante Crawler Inhalte entdecken und verstehen können. Eine Regel gegen Modelltraining kann unbeabsichtigt auch die Suche beeinträchtigen.
Können Googlebot oder BingBot betroffen sein?
Cloudflare nennt Googlebot, Applebot und BingBot als Beispiele für Crawler mit mehreren Funktionen. Unternehmen sollten deshalb konkrete Nutzungsarten steuern statt pauschal alle KI-Bots zu blockieren.
Was sollten Unternehmen tun?
- Cloudflare-Regeln für KI-Bots prüfen.
- Search erlauben, wenn organische Sichtbarkeit wichtig ist.
- Multi-Purpose-Crawler kontrollieren.
- Crawling und Indexierung in Search Console und Bing Webmaster Tools beobachten.
- Die Crawler-Policy als Teil von SEO und GEO dokumentieren.
Mehr über Adeos SEO-Arbeit.