robots.txt-Check

Was robots.txt macht — und die KI-Crawler-Realitaet

robots.txt ist ein freiwilliges Protokoll, das Crawlern sagt, welche Pfade sie besuchen duerfen. Alle großen Engines halten sich daran; schlecht-meinende Scraper ignorieren es komplett. Fuer SEO ist robots.txt der Single-Source-of-Truth fuer Crawl-Kontrolle.

Die fuenf Regeln, die du kennen solltest

• User-agent: — benennt den Crawler, fuer den die naechsten Regeln gelten. * matcht alle nicht explizit gelisteten.
• Disallow: /path — blockiert diesen Pfad. Disallow: / blockiert die ganze Site.
• Allow: /path — ueberschreibt ein eltern-Disallow fuer einen Unter-Pfad.
• Sitemap: https://... — verweist auf die XML-Sitemap. Optional aber Standard.
• Crawl-delay: — nicht im Standard. Google ignoriert das, Bing und Yandex halten sich dran.

Die KI-Crawler-Blockade, die du 2026 kennen musst

Wer von ChatGPT, Perplexity oder Google AI Overviews zitiert werden will, darf deren Crawler nicht blockieren. Die haeufigsten ungewollten Blockaden:

• User-agent: GPTBot + Disallow: / (blockt OpenAI-Training, aber auch ChatGPT-Search-Citations).
• User-agent: Google-Extended + Disallow: / (blockt Gemini und Bard, nicht die regulaere Google-Suche).
• User-agent: anthropic-ai + Disallow: / (alter Claude-Crawler).
• User-agent: ClaudeBot — aktueller Claude-Crawler fuer Citations.
• User-agent: PerplexityBot — Pflicht fuer Perplexity-Citations.

Das Drift-Problem, das dieses Tool loest

CMS-Plugins und CDN-Edge-Regeln ueberschreiben robots.txt unbemerkt. WordPress mit Yoast kann Regeln anhaengen, die kein Dev geschrieben hat; Cloudflare kann am Edge eine andere Datei ausliefern als am Origin. Diesen Check nach jedem Theme-Update, Plugin-Update oder CDN-Change laufen lassen.

Die SEO/GEO-Perspektive

Eine falsche robots.txt ist einer der teuersten Bugs in SEO — und der am leichtesten uebersehene. Sie produziert keinen Fehler in irgendeiner Konsole, keine Warnung in irgendeinem Audit und kein Flag in irgendeinem Dashboard. Das einzige Signal ist ein langsamer, unsichtbarer Traffic-Rueckgang. Dieses Tool macht ihn in zwei Sekunden sichtbar.