Guides · Leitfaden
robots.txt für Googlebot und OAI-SearchBot richtig prüfen
Ein praxisnaher Prüfablauf für öffentlich zugängliche deutsche Tech-Inhalte: robots.txt, noindex, Sitemap, WAF und die Trennung von OAI-SearchBot und GPTBot.
Kurzantwort: robots.txt steuert, welche URLs ein Crawler abrufen darf; sie ist kein Ersatz für noindex und keine Zugriffskontrolle. Für ChatGPT Search sollte OAI-SearchBot ausdrücklich zugreifen dürfen, während GPTBot separat behandelt wird, wenn kein Training gewünscht ist.
Das Wichtigste auf einen Blick
- Googlebot und OAI-SearchBot brauchen Zugriff auf öffentliche HTML-Seiten, CSS und JavaScript.
- Nicht indexierbare App-Oberflächen gehören über noindex aus dem Index, nicht über robots.txt versteckt.
- WAF, CDN und Rate-Limits können einen erlaubten Bot trotzdem mit 403 oder 429 blockieren.
robots.txt, noindex und Authentifizierung unterscheiden
robots.txt ist eine Crawling-Anweisung. Eine Seite kann trotz Disallow als URL bekannt werden, wenn sie an anderer Stelle verlinkt ist. Für private oder nicht indexierbare Oberflächen sind noindex, Login-Schutz oder eine echte Zugriffskontrolle die passenden Mechanismen.
Die Sitemap sollte nur kanonische, öffentlich gewünschte URLs enthalten. Suchparameter, Entwürfe und Seiten mit noindex gehören nicht hinein.
Die Bots getrennt steuern
Google verwendet für die Suche den Produkt-Token Googlebot. OpenAI unterscheidet OAI-SearchBot für Suchfunktionen und GPTBot für mögliche Trainingsverwendung. Diese Regeln sind unabhängig und sollten nicht durch eine pauschale User-agent-Regel unbeabsichtigt überschrieben werden.
- Googlebot: öffentliche Seiten erlauben.
- OAI-SearchBot: öffentliche Seiten erlauben, wenn ChatGPT Search gewünscht ist.
- GPTBot: nur erlauben, wenn diese Nutzung ausdrücklich gewünscht ist; sonst disallow setzen.
Mit HTTP-Logs und WAF-Regeln verifizieren
Ein robots.txt-Test allein beweist keine Erreichbarkeit. Prüfe für repräsentative URLs den tatsächlichen Statuscode, Redirects, Response-Größe und die geladenen Ressourcen. Für WAF- und CDN-Regeln sind die Infrastruktur-Logs maßgeblich; im Repository von German Tech Chunks liegen dazu aktuell keine Cloudflare- oder WAF-Konfigurationen vor.
Grenzen und Alternativen
Kein Lernformat passt für jedes Ziel. Ergänze kurze Szenario-Übungen bei Bedarf durch einen Kurs, individuelles Feedback, echte Teamgespräche oder ein Tandem. Prüfe Aussagen über Anbieter, Preise und Funktionen immer direkt auf der jeweiligen offiziellen Seite; konkrete Anbieterangaben sind hier bewusst nicht behauptet.
Für weitere Übungen kannst du die passenden Tech-Deutsch-Decks öffnen oder im Glossar einen Begriff nachschlagen.
Häufige Fragen
Verhindert Disallow in robots.txt die Indexierung?
Nein. Disallow verhindert in erster Linie den Abruf. Für einen Indexierungsausschluss ist noindex oder Zugriffsschutz erforderlich, wobei der Crawler die noindex-Anweisung abrufen können muss.
Kann OAI-SearchBot erlaubt und GPTBot blockiert werden?
Ja. OpenAI dokumentiert diese Crawler als getrennte Steuerungsmöglichkeiten. Das erlaubt eine bewusste Entscheidung für Suchzugriff ohne pauschale Freigabe von GPTBot.
Quellen und weiterführende Links
Zuletzt geprüft: 25. Oktober 2026. Preise, Produktfunktionen und externe Richtlinien können sich ändern.