GEO / AI-Search

AI-Crawler

Auch bekannt als: LLM-Crawler, KI-Bot, GPTBot, ClaudeBot, Google-Extended, PerplexityBot

AI-Crawler sind spezialisierte Bots, die KI-Anbieter betreiben, um Webseiten für zwei Zwecke zu crawlen: Training künftiger LLM-Modelle und Live-Retrieval für Antwort-Generierung. Im Gegensatz zu klassischen Suchmaschinen-Bots gibt es pro Anbieter oft mehrere User-Agents mit unterschiedlichen Zwecken — wer die Sichtbarkeit in KI-Antworten erhalten will, muss die Live-Retrieval-Bots erlauben, kann aber Training-Bots bei Bedarf sperren.

Die wichtigsten AI-Crawler

GPTBot (OpenAI) — Training-Crawler für künftige GPT-Modelle.
OAI-SearchBot (OpenAI) — Live-Crawler für ChatGPT Search.
ChatGPT-User (OpenAI) — User-getriggerter Live-Crawler.
Google-Extended (Google) — Training-Crawler für Gemini.
ClaudeBot (Anthropic) — Training-Crawler.
Claude-User, Claude-SearchBot (Anthropic) — Live-Crawler.
PerplexityBot (Perplexity) — Training und Index.
Perplexity-User (Perplexity) — User-getriggerter Live-Crawler.
Bytespider (TikTok/Doubao) — Training-Crawler.
CCBot (Common Crawl) — Indexiert Web für viele LLM-Trainings.
FacebookExternalAgent, Meta-ExternalAgent (Meta) — Live und Training.
Amazonbot (Amazon) — für Alexa/Q.

Strategie: Welche erlauben, welche sperren

Drei pragmatische Empfehlungen: (1) Volle Sichtbarkeit — alle AI-Crawler erlauben. Maximaler GEO-Hebel, gleichzeitig Training-Einwilligung. (2) Live ja, Training nein — Live-Crawler (OAI-SearchBot, Claude-SearchBot, Perplexity) erlauben, Training-Crawler (GPTBot, ClaudeBot, Google-Extended) sperren. Erhält GEO-Sichtbarkeit, ohne der Trainings-Use zuzustimmen. (3) Komplettsperre — alle AI-Crawler raus. Schützt Inhalte vor jeglicher KI-Nutzung, aber Domain ist in KI-Antworten unsichtbar — gleichbedeutend mit „existiert nicht" in der Multi-Engine-Zukunft.

Konkretes robots.txt-Beispiel (Variante 2)

# Training-Crawler sperren
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: CCBot
Disallow: /

# Live-Crawler erlauben (kein Eintrag = erlaubt)
# OAI-SearchBot, Claude-User, Perplexity sind nicht aufgeführt = freier Zugriff

Praxisbeispiel

Beispiel: Ein Magazin sperrte 2023 alle KI-Crawler komplett — Strategy: „Wir geben unsere Inhalte nicht für KI-Training her." Folge 2025: Bei 47 von 50 Test-Anfragen in ChatGPT Search und Perplexity wird das Magazin nicht zitiert, obwohl klassische Google-Rankings gut sind. Konkurrenz mit ähnlichen Inhalten, die Live-Crawler erlauben, gewinnt einen wachsenden Anteil des KI-Referral-Traffics. Korrektur Anfang 2026: Variante 2 (Training-Sperre, Live-Crawler frei) — Sichtbarkeit in KI-Antworten erholt sich nach 8 Wochen auf 35 von 50 Anfragen.

Wird in Rankmio genutzt fuer

AI-Bot-Konfiguration im robots.txt-Audit

Zur Funktion →

Letzte Aktualisierung: 2026-06-17 · Alle Glossar-Eintraege ansehen