robots.txt-Test — in 5 Sekunden online prüfen

Was wird im Detail geprüft?

Eine fehlerhafte robots.txt blockiert Suchmaschinen, frisst Crawl-Budget oder schließt deine Webseite ungewollt aus KI-Antworten aus.

• Erreichbarkeit & Syntax

  HTTP-Status, Dateigröße, Encoding und ob die Syntax dem Robots-Exclusion-Standard entspricht. Häufiger Fehler: Tippfehler in Direktiven wie „Disalow" statt „Disallow".

• Regeln pro User-Agent

  Welche Disallow- und Allow-Regeln gelten für Googlebot, Bingbot, GPTBot, ClaudeBot, PerplexityBot & Co.? Häufiger Fehler: ein globales „Disallow: /" das versehentlich live ging.

• Sitemap-Verweise

  Verweist deine robots.txt auf eine erreichbare Sitemap? Stimmt die Sitemap-URL? Fehlende Sitemap-Einträge sind ein Standard-Bug, der die Indexierung verzögert.

• KI-Crawler-Status

  GPTBot, ClaudeBot, PerplexityBot, Google-Extended — sind die Bots zugelassen oder blockiert? Wer in ChatGPT, Perplexity oder Google AI Overviews als Quelle empfohlen werden will, muss sie hier durchlassen.

• Crawl-Delay

  Wird das nicht-Standard-konforme „Crawl-delay" gesetzt? Googlebot ignoriert es, andere Bots respektieren es — das kann ungewollt zu langsamem Crawling führen.

• Bekannte Anti-Patterns

  Disallow-Regeln, die unbeabsichtigt indexierte Seiten blockieren (z.B. „/wp-content"), und Wildcard-Pattern, die mehr fangen als gewollt.

Die KI-Crawler, die du kennen solltest

Sie entscheiden, ob deine Webseite in ChatGPT, Perplexity oder Gemini als Antwortquelle empfohlen wird.