Kostenloses Webseiten-Tool

robots.txt-Test — in 5 Sekunden online prüfen

Ist deine robots.txt korrekt? Werden Googlebot, Bingbot und KI-Crawler wie GPTBot oder ClaudeBot richtig behandelt? Sofortige Antwort, ohne Konto.

Teil des Voll-SEO-Checks ohne Konto Fokus robots.txt

Was wird im Detail geprüft?

Eine fehlerhafte robots.txt blockiert Suchmaschinen, frisst Crawl-Budget oder schließt deine Webseite ungewollt aus KI-Antworten aus.

Erreichbarkeit & Syntax

HTTP-Status, Dateigröße, Encoding und ob die Syntax dem Robots-Exclusion-Standard entspricht. Häufiger Fehler: Tippfehler in Direktiven wie „Disalow" statt „Disallow".

Regeln pro User-Agent

Welche Disallow- und Allow-Regeln gelten für Googlebot, Bingbot, GPTBot, ClaudeBot, PerplexityBot & Co.? Häufiger Fehler: ein globales „Disallow: /" das versehentlich live ging.

Sitemap-Verweise

Verweist deine robots.txt auf eine erreichbare Sitemap? Stimmt die Sitemap-URL? Fehlende Sitemap-Einträge sind ein Standard-Bug, der die Indexierung verzögert.

KI-Crawler-Status

GPTBot, ClaudeBot, PerplexityBot, Google-Extended — sind die Bots zugelassen oder blockiert? Wer in ChatGPT, Perplexity oder Google AI Overviews als Quelle empfohlen werden will, muss sie hier durchlassen.

Crawl-Delay

Wird das nicht-Standard-konforme „Crawl-delay" gesetzt? Googlebot ignoriert es, andere Bots respektieren es — das kann ungewollt zu langsamem Crawling führen.

Bekannte Anti-Patterns

Disallow-Regeln, die unbeabsichtigt indexierte Seiten blockieren (z.B. „/wp-content"), und Wildcard-Pattern, die mehr fangen als gewollt.

Wie sieht ein Ergebnis aus?

Beispiel-Output mit klaren Status-Badges — sofort handlungsfähig.

Analyse für example.de

✓ OK robots.txt erreichbar (HTTP 200, 412 Bytes)

✓ OK Syntax valide, 4 User-Agent-Blöcke gefunden

✓ OK Sitemap-Verweis: https://example.de/sitemap.xml

! Hinweis GPTBot wird blockiert — deine Inhalte erscheinen nicht in ChatGPT-Antworten

✗ Fehler „Disallow: /blog/" blockiert vermutlich ungewollt deinen ganzen Blog-Bereich

✓ OK Google-Extended: zugelassen (Google AI Overviews-Quelle möglich)

Die KI-Crawler, die du kennen solltest

Sie entscheiden, ob deine Webseite in ChatGPT, Perplexity oder Gemini als Antwortquelle empfohlen wird.

GPTBot

OpenAI / ChatGPT — Training und Live-Antworten

User-agent: GPTBot

ClaudeBot

Anthropic / Claude — Antwort-Quelle

User-agent: ClaudeBot

PerplexityBot

Perplexity AI — KI-Suchmaschine mit Quellenangabe

User-agent: PerplexityBot

Google-Extended

Google AI Overviews & Gemini — Trainings-Crawler

User-agent: Google-Extended

Häufige Fragen

Sie sagt Web-Crawlern (Googlebot, Bingbot, GPTBot, ClaudeBot etc.), welche Bereiche deiner Webseite sie besuchen dürfen und welche nicht. Eine falsch konfigurierte robots.txt kann ganze Seitenbereiche unsichtbar machen — für Google und für KI-Antwortdienste.

Erreichbarkeit (HTTP-Status, Größe), Syntax-Validität, alle Disallow- und Allow-Regeln pro User-Agent, Sitemap-Verweise und ob KI-Crawler (GPTBot, ClaudeBot, PerplexityBot, Google-Extended) explizit zugelassen oder blockiert werden.

Null. Kein Konto, keine Kreditkarte, kein Newsletter. Der Test läuft direkt im Browser und nutzt unsere öffentliche Crawler-Infrastruktur.

Wenn deine Webseite in ChatGPT, Perplexity oder Google AI Overviews als Antwortquelle empfohlen werden soll. GPTBot, ClaudeBot und Google-Extended sind die Crawler, über die deine Inhalte in KI-Antworten landen. Komplett blockieren = unsichtbar in der KI-Suche.

Mit Konto bekommst du den Robots-Monitor: tägliche Checks deiner robots.txt mit E-Mail-Benachrichtigung bei Änderungen, Versionierung (du siehst was wann gewechselt wurde) und einen direkten Bezug zu deinen Sitemap-Crawls. Plus die Diagnose-Funktion „warum wird Seite XYZ nicht gecrawlt".