GEO / AI-Search

AI-Crawler

Q: Was ist ein AI-Crawler?

Ein AI-Crawler ist ein spezialisierter Bot von KI-Anbietern (OpenAI, Anthropic, Google, Perplexity), der Webseiten für zwei Zwecke besucht: Training künftiger LLM-Modelle und Live-Retrieval für aktuelle Antworten. Beispiele: GPTBot (OpenAI Training), OAI-SearchBot (ChatGPT Live), ClaudeBot (Anthropic Training), PerplexityBot (Perplexity Index).

Q: Sollte man AI-Crawler blockieren?

Kommt auf das Ziel an. Wer in KI-Antworten zitiert werden will, muss Live-Crawler erlauben — sonst existiert die Domain für ChatGPT, Claude und Perplexity nicht. Training-Crawler lassen sich separat sperren, wenn Inhalte nicht in künftige Modelle einfließen sollen. Komplettsperre kostet GEO-Sichtbarkeit vollständig.

Q: Wie sperrt man einen AI-Crawler?

Per robots.txt:User-agent: GPTBotDisallow: /Für Live-Crawler zusätzlich Claude-User, OAI-SearchBot, PerplexityBot. Manche Anbieter beachten zusätzlich Meta-Robots-Tags wie noai oder noimageai.

Q: Halten sich AI-Crawler an die robots.txt?

Die etablierten Anbieter ja — OpenAI, Anthropic, Google, Perplexity dokumentieren ihre User-Agents und respektieren robots.txt. Ausnahmen: einzelne Scraper und Aggregatoren ignorieren Regeln. Für kritische Daten empfiehlt sich zusätzlich Server-seitige Bot-Erkennung mit User-Agent-Prüfung und Rate-Limiting.

Q: Welche AI-Crawler gibt es 2026?

Über 20 bekannte User-Agents. Wichtigste: GPTBot, OAI-SearchBot, ChatGPT-User (OpenAI), ClaudeBot, Claude-User, Claude-SearchBot (Anthropic), Google-Extended (Gemini), PerplexityBot, Perplexity-User (Perplexity), Bytespider (TikTok/Doubao), CCBot (Common Crawl), Meta-ExternalAgent (Meta), Amazonbot (Alexa). Neue Crawler kommen alle paar Monate hinzu.

Auch bekannt als: LLM-Crawler, KI-Bot, GPTBot, ClaudeBot, Google-Extended, PerplexityBot

AI-Crawler sind spezialisierte Bots, die KI-Anbieter betreiben, um Webseiten für zwei Zwecke zu crawlen: Training künftiger LLM-Modelle und Live-Retrieval für Antwort-Generierung. Im Gegensatz zu klassischen Suchmaschinen-Bots gibt es pro Anbieter oft mehrere User-Agents mit unterschiedlichen Zwecken — wer die Sichtbarkeit in KI-Antworten erhalten will, muss die Live-Retrieval-Bots erlauben, kann aber Training-Bots bei Bedarf sperren.

Die wichtigsten AI-Crawler

GPTBot (OpenAI) — Training-Crawler für künftige GPT-Modelle.
OAI-SearchBot (OpenAI) — Live-Crawler für ChatGPT Search.
ChatGPT-User (OpenAI) — User-getriggerter Live-Crawler.
Google-Extended (Google) — Training-Crawler für Gemini.
ClaudeBot (Anthropic) — Training-Crawler.
Claude-User, Claude-SearchBot (Anthropic) — Live-Crawler.
PerplexityBot (Perplexity) — Training und Index.
Perplexity-User (Perplexity) — User-getriggerter Live-Crawler.
Bytespider (TikTok/Doubao) — Training-Crawler.
CCBot (Common Crawl) — Indexiert Web für viele LLM-Trainings.
FacebookExternalAgent, Meta-ExternalAgent (Meta) — Live und Training.
Amazonbot (Amazon) — für Alexa/Q.

Strategie: Welche erlauben, welche sperren

Drei pragmatische Empfehlungen: (1) Volle Sichtbarkeit — alle AI-Crawler erlauben. Maximaler GEO-Hebel, gleichzeitig Training-Einwilligung. (2) Live ja, Training nein — Live-Crawler (OAI-SearchBot, Claude-SearchBot, Perplexity) erlauben, Training-Crawler (GPTBot, ClaudeBot, Google-Extended) sperren. Erhält GEO-Sichtbarkeit, ohne der Trainings-Use zuzustimmen. (3) Komplettsperre — alle AI-Crawler raus. Schützt Inhalte vor jeglicher KI-Nutzung, aber Domain ist in KI-Antworten unsichtbar — gleichbedeutend mit „existiert nicht" in der Multi-Engine-Zukunft.

Konkretes robots.txt-Beispiel (Variante 2)

# Training-Crawler sperren
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: CCBot
Disallow: /

# Live-Crawler erlauben (kein Eintrag = erlaubt)
# OAI-SearchBot, Claude-User, Perplexity sind nicht aufgeführt = freier Zugriff

Praxisbeispiel

Beispiel: Ein Magazin sperrte 2023 alle KI-Crawler komplett — Strategy: „Wir geben unsere Inhalte nicht für KI-Training her." Folge 2025: Bei 47 von 50 Test-Anfragen in ChatGPT Search und Perplexity wird das Magazin nicht zitiert, obwohl klassische Google-Rankings gut sind. Konkurrenz mit ähnlichen Inhalten, die Live-Crawler erlauben, gewinnt einen wachsenden Anteil des KI-Referral-Traffics. Korrektur Anfang 2026: Variante 2 (Training-Sperre, Live-Crawler frei) — Sichtbarkeit in KI-Antworten erholt sich nach 8 Wochen auf 35 von 50 Anfragen.

Haeufige Fragen

Was ist ein AI-Crawler?

Ein AI-Crawler ist ein spezialisierter Bot von KI-Anbietern (OpenAI, Anthropic, Google, Perplexity), der Webseiten für zwei Zwecke besucht: Training künftiger LLM-Modelle und Live-Retrieval für aktuelle Antworten. Beispiele: GPTBot (OpenAI Training), OAI-SearchBot (ChatGPT Live), ClaudeBot (Anthropic Training), PerplexityBot (Perplexity Index).

Sollte man AI-Crawler blockieren?

Kommt auf das Ziel an. Wer in KI-Antworten zitiert werden will, muss Live-Crawler erlauben — sonst existiert die Domain für ChatGPT, Claude und Perplexity nicht. Training-Crawler lassen sich separat sperren, wenn Inhalte nicht in künftige Modelle einfließen sollen. Komplettsperre kostet GEO-Sichtbarkeit vollständig.

Wie sperrt man einen AI-Crawler?

Per robots.txt:

User-agent: GPTBot
Disallow: /

Für Live-Crawler zusätzlich Claude-User, OAI-SearchBot, PerplexityBot. Manche Anbieter beachten zusätzlich Meta-Robots-Tags wie noai oder noimageai.

Halten sich AI-Crawler an die robots.txt?

Die etablierten Anbieter ja — OpenAI, Anthropic, Google, Perplexity dokumentieren ihre User-Agents und respektieren robots.txt. Ausnahmen: einzelne Scraper und Aggregatoren ignorieren Regeln. Für kritische Daten empfiehlt sich zusätzlich Server-seitige Bot-Erkennung mit User-Agent-Prüfung und Rate-Limiting.

Welche AI-Crawler gibt es 2026?

Über 20 bekannte User-Agents. Wichtigste: GPTBot, OAI-SearchBot, ChatGPT-User (OpenAI), ClaudeBot, Claude-User, Claude-SearchBot (Anthropic), Google-Extended (Gemini), PerplexityBot, Perplexity-User (Perplexity), Bytespider (TikTok/Doubao), CCBot (Common Crawl), Meta-ExternalAgent (Meta), Amazonbot (Alexa). Neue Crawler kommen alle paar Monate hinzu.

Wird in Rankmio genutzt fuer

AI-Bot-Konfiguration im robots.txt-Audit

Zur Funktion →

Letzte Aktualisierung: 2026-06-17 · Alle Glossar-Eintraege ansehen