KI-Crawler zulassen: robots.txt, GPTBot und Co. richtig prüfen

KI-Crawler lassen Sie zu, indem Sie in der robots.txt keine Sperre für ihre User-Agents setzen und zusätzlich CDN, Firewall und Bot-Schutz so konfigurieren, dass sie Ihre Seiten mit Statuscode 200 abrufen können. Prüfen können Sie das mit einem Checker und den Server-Logs.

Warum der Zugang die erste Stufe ist

Im GEO-Funnel steht der Crawl am Anfang: Erst wenn ein System Ihre Seiten abrufen kann, kann es sie verstehen und zitieren. Der GEO-Leitfaden von BusinessMCP nennt als ersten Schritt, zu prüfen, ob KI-Crawler wie GPTBot, ClaudeBot, PerplexityBot oder Google-Extended die wichtigen Seiten erreichen, auch hinter CDN- und Bot-Schutzeinstellungen. Blockierte Crawler stoppen alles Weitere.

Das Problem: Sperren sind oft unbeabsichtigt. Ein Sicherheits-Plugin, eine Voreinstellung im CDN oder eine pauschale Regel gegen unbekannte Bots reichen.

Drei Ebenen der Sperre

Ebene	Wo	Typisches Symptom	Prüfung
robots.txt	Datei im Stammverzeichnis	Disallow für User-Agent	Datei lesen, Regeln prüfen
CDN/WAF	Anbieter-Konfiguration	Crawler erhält 403 oder Challenge	Bot-Regeln, Logs
Server/Plugin	Webserver, CMS-Sicherheit	Rate-Limits, IP-Blocks	Server-Logs

Kernsatz: Eine saubere robots.txt nützt nichts, wenn die Firewall dieselben Crawler abweist.

Schritt für Schritt prüfen

1. robots.txt öffnen. Rufen Sie ihredomain.de/robots.txt auf. Suchen Sie nach User-agent-Blöcken für KI-Crawler und nach pauschalen Disallow: /-Regeln unter User-agent: *. Das Protokoll ist in RFC 9309 beschrieben.
2. Checker nutzen. Der AI-Crawler-Checker von BusinessMCP zeigt laut Seite, welche KI-Crawler Ihre robots.txt zulässt und ob Sie eine llms.txt veröffentlichen. Das Web-Werkzeug ist als kostenlos gelistet; die API kostet laut Seite 0,01 US-Dollar pro Aufruf (vorausbezahlt, für neue Nutzer 5 US-Dollar Guthaben für 7 Tage). Für automatische Prüfungen mehrerer Domains kann das interessant sein.
3. Logs ansehen. Welche Bots kommen tatsächlich, und welchen Status erhalten sie? Zu Server-seitigem Tracking hat BusinessMCP einen eigenen Leitfaden: KI-Crawler serverseitig tracken.
4. CDN-Regeln prüfen. Schauen Sie, ob "Bot Fight"-ähnliche Funktionen oder Rate-Limits unbekannte User-Agents abweisen. Die Bezeichnungen unterscheiden sich je Anbieter.
5. Erneut testen, nachdem Sie Regeln geändert haben.

Welche Crawler gibt es?

Die Liste ändert sich. OpenAI dokumentiert eigene Crawler samt Zweck (siehe Quellen); Anthropic, Perplexity, Google und andere veröffentlichen ähnliche Angaben. Nach der Checker-Seite von BusinessMCP werden unter anderem GPTBot, ClaudeBot, PerplexityBot, CCBot, Google-Extended, ChatGPT-User, Claude-Web und OAI-SearchBot genannt. Wir kopieren hier keine Zuordnung von Name zu Zweck, weil sie veralten kann; schlagen Sie sie bei der Quelle nach. Wichtig ist die Unterscheidung, die manche Anbieter treffen: Crawler für Training, für Suche und für Abrufe auf Nutzerwunsch. Wer sie getrennt behandeln will, muss sie getrennt regeln.

Zulassen oder sperren?

Es gibt gute Gründe für beides:

• Zulassen: Sie wollen in KI-Antworten vorkommen, Ihre Inhalte sind ohnehin öffentlich, und Sichtbarkeit hat Wert.
• Selektiv sperren: Sie schützen Bereiche (Kundenkonto, interne Suche, Preislisten für Partner) oder wollen Training einschränken.
• Komplett sperren: Sie nehmen weniger Sichtbarkeit in Kauf.

Rechtliche Fragen zu Urheberrecht und Nutzungsvorbehalten sind eine Sache für Fachleute und nicht für diesen Artikel.

Nach dem Öffnen

Mit offener Tür lohnt sich die Orientierungsdatei: Wie sie entsteht, zeigt llms.txt erstellen, der Unterschied zu robots.txt steht in llms.txt vs. robots.txt. Eine Garantie auf Zitate ergibt sich daraus nicht, aber ohne Zugang ergibt sich gar nichts. Als Nächstes lesen Sie, wie Sie in ChatGPT zitiert werden. Der kostenlose llms.txt Generator von BusinessMCP verweist auf genau diese Prüfung, nämlich auf den Crawler-Checker, wenn die Datei hochgeladen ist.

Beispiel: robots.txt-Varianten im Vergleich

Die folgenden Varianten sind Denkmodelle, keine Empfehlung für Ihre Seite. Die genauen User-Agent-Namen entnehmen Sie bitte der Dokumentation der Anbieter.

Ziel	Prinzip in der robots.txt	Folge
Alle zulassen	Keine Disallow-Regel für KI-User-Agents	Crawler dürfen abrufen (CDN muss mitspielen)
Nur bestimmte Bereiche sperren	Disallow für einzelne Pfade wie Kundenkonto oder interne Suche	Öffentliche Inhalte bleiben erreichbar
Training einschränken, Suche zulassen	Getrennte Regeln für Trainings- und Such-Crawler, soweit der Anbieter sie trennt	Feinere Kontrolle, aber mehr Pflege
Alle KI-Crawler sperren	Disallow für die bekannten User-Agents	Geringere Sichtbarkeit, mehr Kontrolle

Beachten Sie, dass robots.txt ein Höflichkeitsprotokoll ist: Seriöse Crawler halten sich daran, technisch erzwungen wird es nicht. Wer Inhalte wirksam schützen muss, braucht serverseitige Mittel und eine rechtliche Einordnung durch Fachleute.

Häufige Ursachen unbeabsichtigter Sperren

Vorlagen aus dem Netz. Manche robots.txt-Vorlagen sperren pauschal alle bekannten KI-Bots. Wer sie vor Jahren übernommen hat, blockiert womöglich bis heute Sichtbarkeit, die er inzwischen will.

Sicherheits-Plugins mit Bot-Schutz. Funktionen, die unbekannte oder "verdächtige" Bots abweisen, treffen auch seriöse KI-Crawler. Prüfen Sie Einstellungen und Protokolle.

CDN-Standardregeln. Manche Anbieter bringen Voreinstellungen mit, die automatisierte Zugriffe herausfordern. Die Bezeichnungen und Standardwerte unterscheiden sich; schauen Sie in Ihre Konfiguration, statt sich auf Annahmen zu verlassen.

Staging-Reste. Nach einem Relaunch steht gelegentlich noch die Sperre der Entwicklungsumgebung in der Live-robots.txt. Ein einzelnes Disallow: / genügt, um alles auszuschließen.

Login-Zwang oder Cookie-Wand. Inhalte, die erst nach Interaktion erscheinen, sind für Crawler oft nicht sichtbar, auch wenn sie nominal erlaubt sind.

Entscheidungsprozess in drei Schritten

1. Ziel klären: Wollen wir in KI-Antworten vorkommen? Welche Bereiche sind öffentlich gedacht, welche nicht?
2. Ist-Zustand erheben: robots.txt, CDN, Server-Protokolle, Checker. Notieren Sie das Ergebnis mit Datum.
3. Soll-Zustand festlegen und umsetzen: Regeln anpassen, testen, nach einigen Tagen die Protokolle erneut ansehen.

Die Entscheidung gehört ausdrücklich nicht nur der IT. Marketing, Geschäftsführung und gegebenenfalls Datenschutz sollten wissen, was Sie freigeben oder sperren, denn die Konsequenzen reichen von Sichtbarkeit bis Urheberrecht.

Was nach erfolgreichem Zugang kommt

Sind Crawler zugelassen, geht es um Verständlichkeit: klare Seiten, direkte Antworten, konsistente Identität. Dazu zählt die kuratierte Übersicht in der llms.txt, die Sie mit dem Generator von BusinessMCP in Minuten bauen können. Für die Messung der Folgen empfehlen wir KI-Sichtbarkeit messen und die GEO-Checkliste, die den Zugang als ersten Block führt.