AI-Crawler

Die wichtigsten AI-Crawler

• GPTBot (OpenAI) — Training-Crawler für künftige GPT-Modelle.
• OAI-SearchBot (OpenAI) — Live-Crawler für ChatGPT Search.
• ChatGPT-User (OpenAI) — User-getriggerter Live-Crawler.
• Google-Extended (Google) — Training-Crawler für Gemini.
• ClaudeBot (Anthropic) — Training-Crawler.
• Claude-User, Claude-SearchBot (Anthropic) — Live-Crawler.
• PerplexityBot (Perplexity) — Training und Index.
• Perplexity-User (Perplexity) — User-getriggerter Live-Crawler.
• Bytespider (TikTok/Doubao) — Training-Crawler.
• CCBot (Common Crawl) — Indexiert Web für viele LLM-Trainings.
• FacebookExternalAgent, Meta-ExternalAgent (Meta) — Live und Training.
• Amazonbot (Amazon) — für Alexa/Q.

Die Kennung allein beweist nicht, dass ein echter KI-Crawler anfragt

Der User-Agent ist ein frei wählbarer Text. In einer Auswertung der Serverprotokolle von rankmio.de über 14 Tage mit 171.590 Zugriffen (Oktober 2026) kamen Angriffsversuche unter den Namen echter KI-Bots herein, etwa ein Versuch, Systemdateien auszulesen, mit der Kennung von ClaudeBot. Drei Adressen aus der Google Cloud wechselten im Minutentakt zwischen GPTBot, ChatGPT-User, OAI-SearchBot, Claude-User und PerplexityBot.

Echte Crawler erkennst du an der Herkunftsadresse/IP-Adresse, nicht an der Kennung. Die großen Anbieter veröffentlichen die Adressbereiche ihrer Crawler, OpenAI etwa für GPTBot. Wer KI-Crawler-Besuche zählt, sollte deshalb beides prüfen, sonst zählen Angreifer als KI-Sichtbarkeit mit.

Strategie: Welche erlauben, welche sperren

Drei pragmatische Empfehlungen: (1) Volle Sichtbarkeit — alle AI-Crawler erlauben. Maximaler GEO-Hebel, gleichzeitig Training-Einwilligung. (2) Live ja, Training nein — Live-Crawler (OAI-SearchBot, Claude-SearchBot, Perplexity) erlauben, Training-Crawler (GPTBot, ClaudeBot, Google-Extended) sperren. Erhält GEO-Sichtbarkeit, ohne der Trainings-Use zuzustimmen. (3) Komplettsperre — alle AI-Crawler raus. Schützt Inhalte vor jeglicher KI-Nutzung, aber Domain ist in KI-Antworten unsichtbar — gleichbedeutend mit „existiert nicht" in der Multi-Engine-Zukunft.

Konkretes robots.txt-Beispiel (Variante 2)

# Training-Crawler sperren
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: CCBot
Disallow: /

# Live-Crawler erlauben (kein Eintrag = erlaubt)
# OAI-SearchBot, Claude-User, Perplexity sind nicht aufgeführt = freier Zugriff