FREE-TOOL

robots.txt-Check

Datei holen, parsen, visualisieren: alle User-Agents, ihre Allow- und Disallow-Regeln plus alle referenzierten Sitemaps. Sofortige Übersicht ohne Anmeldung.

Trage eine Domain ein und das Tool holt automatisch /robots.txt via HTTPS. Tieferer Check für deine eigene Domain — inklusive KI-Crawler-Diagnostik — gibt es im robots.txt-Test.

Mehr Crawler-Analyse für die eigene Seite?

Der spezialisierte robots.txt-Test prüft alle relevanten KI-Bots (GPTBot, ClaudeBot, OAI-SearchBot, PerplexityBot, Google-Extended).

robots.txt-Test →

Was robots.txt macht — und die KI-Crawler-Realität

robots.txt ist ein freiwilliges Protokoll, das Crawlern sagt, welche Pfade sie besuchen dürfen. Alle großen Engines halten sich daran; schlecht-meinende Scraper ignorieren es komplett. Für SEO ist robots.txt der Single-Source-of-Truth für Crawl-Kontrolle.

Die fünf Regeln, die du kennen solltest

  • User-agent: — benennt den Crawler, für den die nächsten Regeln gelten. * matcht alle nicht explizit gelisteten.
  • Disallow: /path — blockiert diesen Pfad. Disallow: / blockiert die ganze Site.
  • Allow: /path — überschreibt ein eltern-Disallow für einen Unter-Pfad.
  • Sitemap: https://... — verweist auf die XML-Sitemap. Optional aber Standard.
  • Crawl-delay: — nicht im Standard. Google ignoriert das, Bing und Yandex halten sich dran.

Die KI-Crawler-Blockade, die du 2026 kennen musst

Wer von ChatGPT, Perplexity oder Google AI Overviews zitiert werden will, darf deren Crawler nicht blockieren. Die häufigsten ungewollten Blockaden:

  • User-agent: GPTBot + Disallow: / (blockt OpenAI-Training, aber auch ChatGPT-Search-Citations).
  • User-agent: Google-Extended + Disallow: / (blockt Gemini und Bard, nicht die reguläre Google-Suche).
  • User-agent: anthropic-ai + Disallow: / (alter Claude-Crawler).
  • User-agent: ClaudeBot — aktueller Claude-Crawler für Citations.
  • User-agent: PerplexityBot — Pflicht für Perplexity-Citations.

Das Drift-Problem, das dieses Tool löst

CMS-Plugins und CDN-Edge-Regeln überschreiben robots.txt unbemerkt. WordPress mit Yoast kann Regeln anhängen, die kein Dev geschrieben hat; Cloudflare kann am Edge eine andere Datei ausliefern als am Origin. Diesen Check nach jedem Theme-Update, Plugin-Update oder CDN-Change laufen lassen.

Die SEO/GEO-Perspektive

Eine falsche robots.txt ist einer der teuersten Bugs in SEO — und der am leichtesten übersehene. Sie produziert keinen Fehler in irgendeiner Konsole, keine Warnung in irgendeinem Audit und kein Flag in irgendeinem Dashboard. Das einzige Signal ist ein langsamer, unsichtbarer Traffic-Rückgang. Dieses Tool macht ihn in zwei Sekunden sichtbar.

Häufige Fragen

Die robots.txt ist eine Textdatei unter `/robots.txt`, die kooperativen Crawlern sagt, welche URLs sie abrufen dürfen und welche nicht. Es ist eine Bitte, keine Sicherheitsbarriere — sich anständig verhaltende Crawler (Googlebot, Bingbot, Applebot) respektieren sie, feindliche Scraper ignorieren sie. Wer wirklich verhindern will, muss HTTP-Authentifizierung oder IP-Beschränkung nutzen. robots.txt ist am besten als „Crawl-Budget-Management" zu verstehen, nicht als „Datenschutz".
Für jeden Bot eine `User-agent:`-Zeile plus `Disallow: /` ergänzen. Mitte 2026 wichtig: GPTBot (OpenAI-Training), OAI-SearchBot (ChatGPT-Suche), ClaudeBot (Anthropic), Google-Extended (Google-Training separat von der Suche), Meta-ExternalAgent, und Bytespider (TikTok). Training-Bots blocken hält Inhalte aus Modell-Trainings raus; Search-User-Bots blocken nimmt dich aus KI-Suche-Citations. Das sind zwei getrennte Entscheidungen.
Es blockiert alle kooperativen Bots, die den Wildcard-Block `User-agent: *` lesen. Google, Bing, DuckDuckGo, Applebot, Yandex, Baidu respektieren das alle. Eine Seite kann aber trotzdem ohne Inhalt (nur URL) in Suchergebnissen erscheinen, wenn andere Seiten dorthin verlinken — Google versteht robots.txt als „nicht crawlen", nicht als „nicht indexieren". Um Indexierung komplett zu verhindern, brauchst du das `noindex`-Meta-Tag auf der Seite selbst (das Google nur sieht, wenn es die Seite crawlen darf).
Ja. robots.txt unterstützt mehrere `User-agent:`-Blöcke. Blöcke mit spezifischem Bot-Namen gelten nur für diesen Bot; der `User-agent: *`-Block gilt für alle, die nicht durch einen spezifischen Block adressiert sind. Reihenfolge zählt: Ein Bot liest zuerst seinen eigenen Block und ignoriert den Wildcard-Block dann komplett — jede Wildcard-Regel, die trotzdem gelten soll, muss im spezifischen Block wiederholt werden.
Wenn mehrere Regeln auf eine URL passen, wählt Google (und die meisten anderen) die Regel mit dem längsten passenden Pfad — unabhängig von der Reihenfolge in der Datei. Beispiel: `Disallow: /` plus `Allow: /public/` bedeutet, dass alles außer `/public/*` blockiert ist, weil `/public/` länger als `/` ist. So baust du sinnvolle Allow-List-Muster, ohne jede URL einzeln zu listen.
Sie sagt Crawlern, wo deine sitemap.xml (oder Sitemap-Index) liegt. Mehrere `Sitemap:`-Zeilen sind erlaubt und nützlich, um große Sites aufzuteilen. Absolute URLs sind Pflicht. Das ist der schnellste Weg, Bing neue Sitemaps zu melden (Bing hat keinen dedizierten „Sitemap einreichen"-Flow wie die Google Search Console).
Google spezifiziert UTF-8. In der Praxis funktionieren reine ASCII-Dateien überall; nicht-ASCII-Zeichen (etwa in `#`-Kommentaren) müssen UTF-8-kodiert sein, ohne BOM. Ein BOM am Dateianfang kann ältere Parser verwirren.

Weitere kostenlose Rankmio-Tools

Jedes Tool läuft ohne Konto. Kombinier sie für einen schnellen Technik-SEO-Check oder nutze ein einzelnes isoliert.

robots.txt

robots.txt-Test

Prüfe Crawler-Regeln für Googlebot, GPTBot, ClaudeBot, PerplexityBot in einem Lauf.

robots.txt prüfen → XML-Sitemap

Sitemap-Tester

XML-Sitemaps validieren, Sitemap-Index rekursiv auflösen, kaputte URLs finden.

Sitemap prüfen → Onpage

Website-Crawler

Bis zu 100 Seiten crawlen: Status, Title, Meta, H1, Schema-Markup, interne Links.

Webseite crawlen → PageSpeed

Website-Speedtest

Performance, Core Web Vitals, SEO- und Accessibility-Score per Google PageSpeed.

Speedtest starten → sitemap.xml

Sitemap-Check

URL-Anzahl, Sitemap-Index, Lastmod-Coverage und XML-Syntax-Fehler in Sekunden.

Sitemap analysieren → JSON-LD

Schema.org-Check

JSON-LD extrahieren, Pflichtfelder prüfen, Drift zwischen Schema und Inhalt finden.

Schema prüfen → DNS · WHOIS

Domain-Check

DNS-Records (A, AAAA, NS, MX, TXT) plus WHOIS-Abfrage in einer Übersicht.

Domain prüfen → Text-Tool

Wörter zählen

Zeichen-, Wort- und Satzzählung plus Lesezeit. Browser-only, kein Upload.

Text analysieren → Netzwerk

Wie ist meine IP?

Eigene IP-Adresse, Browser, Sprache und Bildschirmgröße sofort sichtbar.

IP anzeigen → Sicherheit

Passwort-Generator

Sichere Passwörter im Browser erzeugen — kryptografisch starker Zufall, keine Übertragung.

Passwort erzeugen →

Kostenloser SEO- & GEO-Check

SEO-Score, KI-Sichtbarkeit und Zitierbarkeit deiner Website in 30 Sekunden — ohne Registrierung.

Jetzt kostenlos prüfen

Bereit, deine Website zu optimieren?

Kostenlos registrieren, 10 Credits erhalten und direkt loslegen.

Jetzt registrieren