SEO

robots.txt

Q: Was ist die robots.txt?

Die robots.txt ist eine Textdatei im Root-Verzeichnis einer Website (/robots.txt), die Crawler anweist, welche Bereiche sie besuchen dürfen und welche nicht. Sie folgt dem Robots Exclusion Standard und wird von Google, Bing und den meisten AI-Crawlern respektiert.

Q: Kann eine falsche robots.txt SEO ruinieren?

Ja — sofort und komplett. Ein versehentliches Disallow: / für User-agent * sperrt alle Crawler aus, die Website verschwindet aus dem Index innerhalb weniger Tage. Klassische Fehlerquellen: Deployment aus der Staging-Umgebung, CMS-Plugin-Update, versehentlicher Wildcard-Block.

Q: Muss ich AI-Crawler in der robots.txt behandeln?

Ja, wenn Sichtbarkeit in KI-Antworten wichtig ist. Ohne explizite Freigabe könnten neue AI-Crawler durch pauschale Sperren blockiert werden. Best Practice: Live-Crawler (OAI-SearchBot, Claude-SearchBot, PerplexityBot) explizit erlauben, Training-Crawler (GPTBot, ClaudeBot) je nach Präferenz sperren.

Q: Wo lege ich die robots.txt ab?

Im Root der Domain unter https://beispiel.de/robots.txt. Subdomains brauchen eigene Dateien (blog.beispiel.de/robots.txt). Der Zugriff muss HTTP 200 zurückgeben — 404 signalisiert Crawlern „alles erlaubt". Rankmio prüft die robots.txt-Konsistenz im SEO-Audit automatisch.

Auch bekannt als: Robots Exclusion Protocol, robots.txt-Datei

Die robots.txt ist eine einfache Textdatei im Webseiten-Root (https://example.de/robots.txt), die Web-Crawlern Anweisungen gibt, welche URLs sie crawlen dürfen und welche nicht. Sie basiert auf dem Robots Exclusion Protocol (REP), das 1994 als informeller Standard entstand und 2022 als RFC 9309 formalisiert wurde. Wichtig: robots.txt verhindert Crawling, nicht Indexierung — und sie ist für seriöse Crawler verbindlich, nicht für böswillige Bots.

Aufbau einer robots.txt

Eine robots.txt besteht aus User-agent-Blöcken mit Allow- und Disallow-Regeln. Beispiel:

User-agent: *
Disallow: /admin/
Disallow: /search?

User-agent: GPTBot
Disallow: /

Sitemap: https://example.de/sitemap.xml

Die ersten Zeilen sperren alle Crawler aus dem Admin-Bereich und internen Suchergebnis-Seiten. Der zweite Block sperrt OpenAIs GPTBot komplett aus. Die Sitemap-Zeile gilt als globale Direktive — auch ohne User-agent-Bezug.

Wichtigste Bot-Spezifizierungen

Googlebot, Bingbot — klassische Suchmaschinen-Crawler.
GPTBot (OpenAI), OAI-SearchBot (ChatGPT Search), ClaudeBot, Google-Extended (Gemini-Training), PerplexityBot — AI-Crawler. Sperrung blockt Trainings-/Antwort-Nutzung, aber auch Citation-Chancen in KI-Antworten.
AhrefsBot, SemrushBot, MJ12bot — SEO-Tool-Crawler. Sperrung versteckt das Backlink-Profil vor Wettbewerbern.
* — Fallback für alle nicht spezifisch genannten Bots.

Häufige robots.txt-Fehler

Sechs Klassiker: (1) Komplettsperre auf Live (User-agent: * / Disallow: /) nach Übernahme aus dem Staging — Webseite verschwindet aus dem Index. (2) Noindex per robots.txt-Disallow blockieren wollen — funktioniert nicht, Google sieht Noindex nicht mehr, indexiert die URL ohne Snippet. (3) JS-/CSS-Sperren verhindern korrektes Rendering. (4) Falsche Pfad-Patterns — robots.txt ist case-sensitiv und prefix-basiert. (5) Sitemap-Direktive vergessen. (6) Großes Disallow-Wildcard-Muster, das versehentlich Money-Pages mit-blockt.

Praxisbeispiel

Beispiel: Eine Agentur übernimmt eine Neukunden-Webseite und entdeckt: Die robots.txt enthält noch Disallow: / aus der Staging-Phase. Indexstatus laut GSC: 0 indexierte Seiten, Site nicht in Suchergebnissen sichtbar. Nach Korrektur und URL-Inspektion-Trigger in der GSC werden binnen 10 Tagen 87 % der URLs wieder indexiert — die Sichtbarkeit erholt sich nach 4 Wochen vollständig. Klassischer Bug, der mit einem Pre-Launch-Check vermeidbar wäre.

Häufige Fragen

Was ist die robots.txt?

Die robots.txt ist eine Textdatei im Root-Verzeichnis einer Website (/robots.txt), die Crawler anweist, welche Bereiche sie besuchen dürfen und welche nicht. Sie folgt dem Robots Exclusion Standard und wird von Google, Bing und den meisten AI-Crawlern respektiert.

Was ist der Unterschied zwischen Disallow und noindex?

Disallow blockiert das Crawlen, noindex verhindert Indexierung. Wichtig: eine per Disallow blockierte Seite kann trotzdem im Index landen (ohne Content), wenn andere Seiten auf sie verlinken. Wer eine Seite dauerhaft aus dem Index halten will, nutzt <meta name="robots" content="noindex"> im HTML.

Kann eine falsche robots.txt SEO ruinieren?

Ja — sofort und komplett. Ein versehentliches Disallow: / für User-agent * sperrt alle Crawler aus, die Website verschwindet aus dem Index innerhalb weniger Tage. Klassische Fehlerquellen: Deployment aus der Staging-Umgebung, CMS-Plugin-Update, versehentlicher Wildcard-Block.

Muss ich AI-Crawler in der robots.txt behandeln?

Ja, wenn Sichtbarkeit in KI-Antworten wichtig ist. Ohne explizite Freigabe könnten neue AI-Crawler durch pauschale Sperren blockiert werden. Best Practice: Live-Crawler (OAI-SearchBot, Claude-SearchBot, PerplexityBot) explizit erlauben, Training-Crawler (GPTBot, ClaudeBot) je nach Präferenz sperren.

Wo lege ich die robots.txt ab?

Im Root der Domain unter https://beispiel.de/robots.txt. Subdomains brauchen eigene Dateien (blog.beispiel.de/robots.txt). Der Zugriff muss HTTP 200 zurückgeben — 404 signalisiert Crawlern „alles erlaubt". Rankmio prüft die robots.txt-Konsistenz im SEO-Audit automatisch.

Wird in Rankmio genutzt für

robots.txt-Audit und AI-Bot-Konfiguration

Zur Funktion →

Letzte Aktualisierung: 2026-10-26 · Alle Glossar-Einträge ansehen

Kostenloser SEO- & GEO-Check

SEO-Score, KI-Sichtbarkeit und Zitierbarkeit deiner Website in 30 Sekunden — ohne Registrierung.

Jetzt kostenlos prüfen

Bereit, deine Website zu optimieren?

Kostenlos registrieren, 10 Credits erhalten und direkt loslegen.

Jetzt registrieren