robots.txt für KI-Crawler: welche Bots Sie zulassen sollten und über welche Sie nachdenken sollten
Die User Agents hinter ChatGPT, Claude, Perplexity und Gemini, was jeder davon tut, eine robots.txt zum Kopieren und die Firewall-Einstellung, die sie aushebelt.
Jedes KI-Unternehmen betreibt mehr als einen Crawler, und die Crawler haben unterschiedliche Aufgaben. Manche rufen Seiten ab, damit der Assistent sie in Live-Antworten zitieren kann. Andere sammeln Trainingsdaten für künftige Modelle. Wer die erste Art blockiert, verschwindet aus den heutigen Antworten. Wer die zweite blockiert, beeinflusst nur, was künftige Modelle lernen. Beide in einen Topf zu werfen, ist der häufigste robots.txt-Fehler, den wir sehen.
Die Crawler, auf die es ankommt
| Unternehmen | User Agent | Aufgabe |
|---|---|---|
| OpenAI | OAI-SearchBot | Indexiert Seiten für die Suchergebnisse von ChatGPT |
| OpenAI | ChatGPT-User | Ruft eine Seite ab, wenn ein Nutzergespräch sie braucht |
| OpenAI | GPTBot | Sammelt Trainingsdaten |
| Anthropic | Claude-SearchBot | Indexiert Seiten für die Suche von Claude |
| Anthropic | Claude-User | Ruft eine Seite ab, wenn ein Nutzer Claude danach fragt |
| Anthropic | ClaudeBot | Sammelt Trainingsdaten |
| Perplexity | PerplexityBot | Indexiert Seiten für die Antworten von Perplexity |
| Perplexity | Perplexity-User | Ruft Seiten als Reaktion auf eine Nutzerfrage ab |
Googlebot | Crawlt für die Google-Suche, einschließlich AI Overviews | |
Google-Extended | Steuert die Nutzung Ihrer Inhalte für Gemini-Modelle; ohne Einfluss auf die Suche | |
| Microsoft | Bingbot | Crawlt für Bing, das Copilot und andere Assistenten durchsuchen |
Anbieter fügen Agents hinzu und benennen sie um. Prüfen Sie deren Crawler-Dokumentation deshalb ein- bis zweimal im Jahr.
Eine robots.txt als Ausgangspunkt
Diese Datei lässt Suchmaschinen und alle KI-Crawler zu, hält sie von privaten Pfaden fern und verweist auf Ihre Sitemap:
User-agent: *
Allow: /
Disallow: /account/
Disallow: /api/
Sitemap: https://yourdomain.com/sitemap.xmlEine Gruppe User-agent: * deckt bereits jeden Crawler ab, der keine eigene Gruppe hat. Probleme entstehen, wenn eine Website einen älteren Block wie User-agent: GPTBot gefolgt von Disallow: / enthält, oft 2023 hinzugefügt, als das Blockieren von KI-Training eine beliebte Standardeinstellung war. Diese Regel gilt bis heute.
Wenn Sie sich gegen das Training entscheiden, aber in Live-Antworten bleiben wollen, blockieren Sie nur die Trainings-Agents:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /Lassen Sie OAI-SearchBot, Claude-SearchBot, PerplexityBot, die -User-Abrufer, Googlebot und Bingbot zugelassen.
Trainings-Crawler: eine echte Abwägung
Wer Trainings-Crawler blockiert, hält seine Inhalte aus künftigen Modellversionen heraus. Der Preis: Diese Modelle wissen weniger über Ihre Marke, wenn sie ohne Suche antworten. Für einen Verlag, der eigene Inhalte verkauft, kann Blockieren die richtige Entscheidung sein. Für ein Softwareunternehmen, das empfohlen werden will, ist Zulassen meist die bessere Wahl.
Die Firewall kann robots.txt aushebeln
robots.txt ist eine Bitte. Ein CDN oder eine Firewall kann den Crawler abweisen, bevor er die Datei überhaupt liest. Cloudflare bietet eine Einstellung, mit der sich KI-Crawler per Klick blockieren lassen, und hat sie für einige neue Domains zur Standardoption gemacht. Bot-Schutz bei Vercel, Akamai und anderen Hostern kann denselben Effekt haben.
Prüfen Sie das von außen, indem Sie eine Seite mit dem User Agent eines Crawlers anfragen:
curl -s -o /dev/null -w "%{http_code}\n" \
-A "Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)" \
https://yourdomain.com/Ein 403, ein 429 oder eine Challenge-Seite bedeutet, dass vermutlich auch die echten Crawler abgewiesen werden. Das kostenlose KI-Readiness-Audit führt diesen Test für vier KI-Crawler aus und liest Ihre robots.txt-Regeln für elf.
FAQ
Brauche ich für jeden KI-Crawler eine eigene Regel?
Nein. Wenn Ihre Gruppe User-agent: * das Crawlen erlaubt, ist jeder Crawler ohne eigene Gruppe zugelassen. Eigene Gruppen sind nur nötig, wenn Sie für einen bestimmten Agent andere Regeln wollen.
Verschwinde ich aus AI Overviews, wenn ich Google-Extended blockiere?
Nein. Google gibt an, dass Google-Extended keinen Einfluss auf die Google-Suche hat, und AI Overviews sind Teil der Suche. Für beides ist Googlebot zuständig.
Was ist mit llms.txt?
llms.txt ist ein vorgeschlagenes Dateiformat, das Ihre Website für Sprachmodelle zusammenfasst. Es kostet wenig Aufwand, aber die großen Assistenten haben nicht zugesagt, es zu lesen. Behandeln Sie es als optional und bringen Sie zuerst robots.txt und Ihre Firewall in Ordnung.