Kostenloses Webseiten-Tool

robots.txt-Test — in 5 Sekunden online prüfen

Ist deine robots.txt korrekt? Werden Googlebot, Bingbot und KI-Crawler wie GPTBot oder ClaudeBot richtig behandelt? Sofortige Antwort, ohne Konto.

Teil des Voll-SEO-Checks ohne Konto Fokus robots.txt

Was wird im Detail geprüft?

Eine fehlerhafte robots.txt blockiert Suchmaschinen, frisst Crawl-Budget oder schließt deine Webseite ungewollt aus KI-Antworten aus.

Erreichbarkeit & Syntax

HTTP-Status, Dateigröße, Encoding und ob die Syntax dem Robots-Exclusion-Standard entspricht. Häufiger Fehler: Tippfehler in Direktiven wie „Disalow" statt „Disallow".

Regeln pro User-Agent

Welche Disallow- und Allow-Regeln gelten für Googlebot, Bingbot, GPTBot, ClaudeBot, PerplexityBot & Co.? Häufiger Fehler: ein globales „Disallow: /" das versehentlich live ging.

Sitemap-Verweise

Verweist deine robots.txt auf eine erreichbare Sitemap? Stimmt die Sitemap-URL? Fehlende Sitemap-Einträge sind ein Standard-Bug, der die Indexierung verzögert.

KI-Crawler-Status

GPTBot, ClaudeBot, PerplexityBot, Google-Extended — sind die Bots zugelassen oder blockiert? Wer in ChatGPT, Perplexity oder Google AI Overviews als Quelle empfohlen werden will, muss sie hier durchlassen.

Crawl-Delay

Wird das nicht-Standard-konforme „Crawl-delay" gesetzt? Googlebot ignoriert es, andere Bots respektieren es — das kann ungewollt zu langsamem Crawling führen.

Bekannte Anti-Patterns

Disallow-Regeln, die unbeabsichtigt indexierte Seiten blockieren (z.B. „/wp-content"), und Wildcard-Pattern, die mehr fangen als gewollt.

Wie sieht ein Ergebnis aus?

Beispiel-Output mit klaren Status-Badges — sofort handlungsfähig.

Analyse für example.de

✓ OK robots.txt erreichbar (HTTP 200, 412 Bytes)
✓ OK Syntax valide, 4 User-Agent-Blöcke gefunden
✓ OK Sitemap-Verweis: https://example.com/sitemap.xml
! Hinweis GPTBot wird blockiert — deine Inhalte erscheinen nicht in ChatGPT-Antworten
✗ Fehler „Disallow: /blog/" blockiert vermutlich ungewollt deinen ganzen Blog-Bereich
✓ OK Google-Extended: zugelassen (Google AI Overviews-Quelle möglich)

Die KI-Crawler, die du kennen solltest

Sie entscheiden, ob deine Webseite in ChatGPT, Perplexity oder Gemini als Antwortquelle empfohlen wird.

GPTBot
OpenAI / ChatGPT — Training und Live-Antworten
User-agent: GPTBot
ClaudeBot
Anthropic / Claude — Antwort-Quelle
User-agent: ClaudeBot
PerplexityBot
Perplexity AI — KI-Suchmaschine mit Quellenangabe
User-agent: PerplexityBot
Google-Extended
Google AI Overviews & Gemini — Trainings-Crawler
User-agent: Google-Extended

Häufige Fragen

Sie sagt Web-Crawlern (Googlebot, Bingbot, GPTBot, ClaudeBot etc.), welche Bereiche deiner Webseite sie besuchen dürfen und welche nicht. Eine falsch konfigurierte robots.txt kann ganze Seitenbereiche unsichtbar machen — für Google und für KI-Antwortdienste.
Erreichbarkeit (HTTP-Status, Größe), Syntax-Validität, alle Disallow- und Allow-Regeln pro User-Agent, Sitemap-Verweise und ob KI-Crawler (GPTBot, ClaudeBot, PerplexityBot, Google-Extended) explizit zugelassen oder blockiert werden.
Null. Kein Konto, keine Kreditkarte, kein Newsletter. Der Test läuft direkt im Browser und nutzt unsere öffentliche Crawler-Infrastruktur.
Wenn deine Webseite in ChatGPT, Perplexity oder Google AI Overviews als Antwortquelle empfohlen werden soll. GPTBot, ClaudeBot und Google-Extended sind die Crawler, über die deine Inhalte in KI-Antworten landen. Komplett blockieren = unsichtbar in der KI-Suche.
Mit Konto bekommst du den Robots-Monitor: tägliche Checks deiner robots.txt mit E-Mail-Benachrichtigung bei Änderungen, Versionierung (du siehst was wann gewechselt wurde) und einen direkten Bezug zu deinen Sitemap-Crawls. Plus die Diagnose-Funktion „warum wird Seite XYZ nicht gecrawlt".

Du willst die robots.txt dauerhaft überwachen?

Mit dem kostenlosen Rankmio-Account bekommst du tägliche Checks, E-Mail-Alerts bei Änderungen und Versions-Vergleich.

Kostenlos registrieren →

Weitere kostenlose Rankmio-Tools

Jedes Tool laeuft ohne Konto. Kombinier sie fuer einen schnellen Technik-SEO-Check oder nutze ein einzelnes isoliert.

XML-Sitemap

Sitemap-Tester

XML-Sitemaps validieren, Sitemap-Index rekursiv aufloesen, kaputte URLs finden.

Sitemap pruefen → Onpage

Website-Crawler

Bis zu 100 Seiten crawlen: Status, Title, Meta, H1, Schema-Markup, interne Links.

Webseite crawlen → PageSpeed

Website-Speedtest

Performance, Core Web Vitals, SEO- und Accessibility-Score per Google PageSpeed.

Speedtest starten → robots.txt

robots.txt-Check

Datei holen, parsen, Uebersicht der User-Agents, Allow/Disallow-Regeln, Sitemaps.

robots.txt holen → sitemap.xml

Sitemap-Check

URL-Anzahl, Sitemap-Index, Lastmod-Coverage und XML-Syntax-Fehler in Sekunden.

Sitemap analysieren → JSON-LD

Schema.org-Check

JSON-LD extrahieren, Pflichtfelder pruefen, Drift zwischen Schema und Inhalt finden.

Schema pruefen → DNS · WHOIS

Domain-Check

DNS-Records (A, AAAA, NS, MX, TXT) plus WHOIS-Abfrage in einer Uebersicht.

Domain pruefen → Text-Tool

Woerter zaehlen

Zeichen-, Wort- und Satzzaehlung plus Lesezeit. Browser-only, kein Upload.

Text analysieren → Netzwerk

Wie ist meine IP?

Eigene IP-Adresse, Browser, Sprache und Bildschirmgroesse sofort sichtbar.

IP anzeigen → Sicherheit

Passwort-Generator

Sichere Passwoerter im Browser erzeugen — kryptografisch starker Zufall, keine Uebertragung.

Passwort erzeugen →