SEO

robots.txt

Auch bekannt als: Robots Exclusion Protocol, robots.txt-Datei

Die robots.txt ist eine einfache Textdatei im Webseiten-Root (https://example.de/robots.txt), die Web-Crawlern Anweisungen gibt, welche URLs sie crawlen dürfen und welche nicht. Sie basiert auf dem Robots Exclusion Protocol (REP), das 1994 als informeller Standard entstand und 2022 als RFC 9309 formalisiert wurde. Wichtig: robots.txt verhindert Crawling, nicht Indexierung — und sie ist für seriöse Crawler verbindlich, nicht für böswillige Bots.

Aufbau einer robots.txt

Eine robots.txt besteht aus User-agent-Blöcken mit Allow- und Disallow-Regeln. Beispiel:

User-agent: *
Disallow: /admin/
Disallow: /search?

User-agent: GPTBot
Disallow: /

Sitemap: https://example.de/sitemap.xml

Die ersten Zeilen sperren alle Crawler aus dem Admin-Bereich und internen Suchergebnis-Seiten. Der zweite Block sperrt OpenAIs GPTBot komplett aus. Die Sitemap-Zeile gilt als globale Direktive — auch ohne User-agent-Bezug.

Wichtigste Bot-Spezifizierungen

Googlebot, Bingbot — klassische Suchmaschinen-Crawler.
GPTBot (OpenAI), OAI-SearchBot (ChatGPT Search), ClaudeBot, Google-Extended (Gemini-Training), PerplexityBot — AI-Crawler. Sperrung blockt Trainings-/Antwort-Nutzung, aber auch Citation-Chancen in KI-Antworten.
AhrefsBot, SemrushBot, MJ12bot — SEO-Tool-Crawler. Sperrung versteckt das Backlink-Profil vor Wettbewerbern.
* — Fallback für alle nicht spezifisch genannten Bots.

Häufige robots.txt-Fehler

Sechs Klassiker: (1) Komplettsperre auf Live (User-agent: * / Disallow: /) nach Übernahme aus dem Staging — Webseite verschwindet aus dem Index. (2) Noindex per robots.txt-Disallow blockieren wollen — funktioniert nicht, Google sieht Noindex nicht mehr, indexiert die URL ohne Snippet. (3) JS-/CSS-Sperren verhindern korrektes Rendering. (4) Falsche Pfad-Patterns — robots.txt ist case-sensitiv und prefix-basiert. (5) Sitemap-Direktive vergessen. (6) Großes Disallow-Wildcard-Muster, das versehentlich Money-Pages mit-blockt.

Praxisbeispiel

Beispiel: Eine Agentur übernimmt eine Neukunden-Webseite und entdeckt: Die robots.txt enthält noch Disallow: / aus der Staging-Phase. Indexstatus laut GSC: 0 indexierte Seiten, Site nicht in Suchergebnissen sichtbar. Nach Korrektur und URL-Inspektion-Trigger in der GSC werden binnen 10 Tagen 87 % der URLs wieder indexiert — die Sichtbarkeit erholt sich nach 4 Wochen vollständig. Klassischer Bug, der mit einem Pre-Launch-Check vermeidbar wäre.

Wird in Rankmio genutzt fuer

robots.txt-Audit und AI-Bot-Konfiguration

Zur Funktion →

Letzte Aktualisierung: 2026-06-17 · Alle Glossar-Eintraege ansehen