Google dokumentiert Search, Gemini, Shopping und weitere Produkte inzwischen über eine gemeinsame Crawling-Infrastruktur. Für SEO und GEO ist entscheidend, dass Googlebot und Google-Extended unterschiedliche Aufgaben haben.
Googlebot
Googlebot crawlt Inhalte für Google Search. Werden wichtige Seiten blockiert, kann das Auffindbarkeit, Verständnis und Indexierung beeinträchtigen.
Google-Extended
Google beschreibt Google-Extended als Kontrolltoken dafür, wie veröffentlichte Inhalte von Gemini-Apps und der Vertex AI API für Gemini verwendet werden dürfen. Es ist nicht identisch mit Googlebot.
Getrennte Steuerung
Websites können Präferenzen für Google-Extended setzen, ohne Googlebot zu blockieren.
GEO-Auswirkungen
Unternehmen sollten Ziele für Google Search, generative Suchergebnisse und Gemini-Verfügbarkeit getrennt definieren, bevor robots.txt geändert wird.
Quellen
Google Crawling Infrastructure und Google AI optimization guide.