robots.txt-Check

Was robots.txt macht — und die KI-Crawler-Realitaet

robots.txt ist ein freiwilliges Protokoll, das Crawlern sagt, welche Pfade sie besuchen duerfen. Alle großen Engines halten sich daran; schlecht-meinende Scraper ignorieren es komplett. Fuer SEO ist robots.txt der Single-Source-of-Truth fuer Crawl-Kontrolle.

Die fuenf Regeln, die du kennen solltest

User-agent: — benennt den Crawler, fuer den die naechsten Regeln gelten. * matcht alle nicht explizit gelisteten.
Disallow: /path — blockiert diesen Pfad. Disallow: / blockiert die ganze Site.
Allow: /path — ueberschreibt ein eltern-Disallow fuer einen Unter-Pfad.
Sitemap: https://... — verweist auf die XML-Sitemap. Optional aber Standard.
Crawl-delay: — nicht im Standard. Google ignoriert das, Bing und Yandex halten sich dran.

Die KI-Crawler-Blockade, die du 2026 kennen musst

Wer von ChatGPT, Perplexity oder Google AI Overviews zitiert werden will, darf deren Crawler nicht blockieren. Die haeufigsten ungewollten Blockaden:

User-agent: GPTBot + Disallow: / (blockt OpenAI-Training, aber auch ChatGPT-Search-Citations).
User-agent: Google-Extended + Disallow: / (blockt Gemini und Bard, nicht die regulaere Google-Suche).
User-agent: anthropic-ai + Disallow: / (alter Claude-Crawler).
User-agent: ClaudeBot — aktueller Claude-Crawler fuer Citations.
User-agent: PerplexityBot — Pflicht fuer Perplexity-Citations.

Das Drift-Problem, das dieses Tool loest

CMS-Plugins und CDN-Edge-Regeln ueberschreiben robots.txt unbemerkt. WordPress mit Yoast kann Regeln anhaengen, die kein Dev geschrieben hat; Cloudflare kann am Edge eine andere Datei ausliefern als am Origin. Diesen Check nach jedem Theme-Update, Plugin-Update oder CDN-Change laufen lassen.

Die SEO/GEO-Perspektive

Eine falsche robots.txt ist einer der teuersten Bugs in SEO — und der am leichtesten uebersehene. Sie produziert keinen Fehler in irgendeiner Konsole, keine Warnung in irgendeinem Audit und kein Flag in irgendeinem Dashboard. Das einzige Signal ist ein langsamer, unsichtbarer Traffic-Rueckgang. Dieses Tool macht ihn in zwei Sekunden sichtbar.

Häufige Fragen

Die robots.txt ist eine Textdatei unter `/robots.txt`, die kooperativen Crawlern sagt, welche URLs sie abrufen dürfen und welche nicht. Es ist eine Bitte, keine Sicherheitsbarriere — sich anständig verhaltende Crawler (Googlebot, Bingbot, Applebot) respektieren sie, feindliche Scraper ignorieren sie. Wer wirklich verhindern will, muss HTTP-Authentifizierung oder IP-Beschränkung nutzen. robots.txt ist am besten als „Crawl-Budget-Management" zu verstehen, nicht als „Datenschutz".

Für jeden Bot eine `User-agent:`-Zeile plus `Disallow: /` ergänzen. Mitte 2026 wichtig: GPTBot (OpenAI-Training), OAI-SearchBot (ChatGPT-Suche), ClaudeBot (Anthropic), Google-Extended (Google-Training separat von der Suche), Meta-ExternalAgent, und Bytespider (TikTok). Training-Bots blocken hält Inhalte aus Modell-Trainings raus; Search-User-Bots blocken nimmt dich aus KI-Suche-Citations. Das sind zwei getrennte Entscheidungen.

Es blockiert alle kooperativen Bots, die den Wildcard-Block `User-agent: *` lesen. Google, Bing, DuckDuckGo, Applebot, Yandex, Baidu respektieren das alle. Eine Seite kann aber trotzdem ohne Inhalt (nur URL) in Suchergebnissen erscheinen, wenn andere Seiten dorthin verlinken — Google versteht robots.txt als „nicht crawlen", nicht als „nicht indexieren". Um Indexierung komplett zu verhindern, brauchst du das `noindex`-Meta-Tag auf der Seite selbst (das Google nur sieht, wenn es die Seite crawlen darf).

Ja. robots.txt unterstützt mehrere `User-agent:`-Blöcke. Blöcke mit spezifischem Bot-Namen gelten nur für diesen Bot; der `User-agent: *`-Block gilt für alle, die nicht durch einen spezifischen Block adressiert sind. Reihenfolge zählt: Ein Bot liest zuerst seinen eigenen Block und ignoriert den Wildcard-Block dann komplett — jede Wildcard-Regel, die trotzdem gelten soll, muss im spezifischen Block wiederholt werden.

Wenn mehrere Regeln auf eine URL passen, wählt Google (und die meisten anderen) die Regel mit dem längsten passenden Pfad — unabhängig von der Reihenfolge in der Datei. Beispiel: `Disallow: /` plus `Allow: /public/` bedeutet, dass alles außer `/public/*` blockiert ist, weil `/public/` länger als `/` ist. So baust du sinnvolle Allow-List-Muster, ohne jede URL einzeln zu listen.

Sie sagt Crawlern, wo deine sitemap.xml (oder Sitemap-Index) liegt. Mehrere `Sitemap:`-Zeilen sind erlaubt und nützlich, um große Sites aufzuteilen. Absolute URLs sind Pflicht. Das ist der schnellste Weg, Bing neue Sitemaps zu melden (Bing hat keinen dedizierten „Sitemap einreichen"-Flow wie die Google Search Console).

Google spezifiziert UTF-8. In der Praxis funktionieren reine ASCII-Dateien überall; nicht-ASCII-Zeichen (etwa in `#`-Kommentaren) müssen UTF-8-kodiert sein, ohne BOM. Ein BOM am Dateianfang kann ältere Parser verwirren.

Mehr Crawler-Analyse für die eigene Seite?

Was robots.txt macht — und die KI-Crawler-Realitaet

Die fuenf Regeln, die du kennen solltest

Die KI-Crawler-Blockade, die du 2026 kennen musst

Das Drift-Problem, das dieses Tool loest

Die SEO/GEO-Perspektive

Häufige Fragen

Weitere kostenlose Rankmio-Tools

robots.txt-Test

Sitemap-Tester

Website-Crawler

Website-Speedtest

Sitemap-Check

Schema.org-Check

Domain-Check

Woerter zaehlen

Wie ist meine IP?

Passwort-Generator

Bereit, deine Website zu optimieren?