Erklärung
Die OpenAI-Dokumentation unterscheidet diese Zwecke der User-Agents:
OAI-SearchBotcrawlt Inhalte für die Anzeige in ChatGPT-Suchfunktionen.GPTBotcrawlt Inhalte, die möglicherweise zum Trainieren von Modellen genutzt werden. Diese Einstellung ist unabhängig vonOAI-SearchBot.ChatGPT-Usersteht für eine durch eine Nutzeraktion in ChatGPT/Custom GPTs ausgelöste Anfrage; es ist kein automatischer Crawler und kein Signal zur Steuerung der Sichtbarkeit in der Suche. Robots.txt-Regeln gelten dafür möglicherweise nicht.
Ein User-Agent-String lässt sich fälschen und beweist nicht, dass eine Anfrage von einem OpenAI-Crawler stammt. Prüfe zur Verifikation die Zugriffsprotokolle und die Quell-IP und vergleiche sie mit den aktuellen offiziellen Bereichen in searchbot.json oder einem verifizierten Bot-Signal deines CDN/WAF. Halte Antwortstatus, URL, Zeitpunkt und Entscheidung des Schutzsystems fest. Ändere WAF-Regeln nicht allein aufgrund eines passenden User-Agents. Erlaubter Zugriff macht eine Seite für das System potenziell erreichbar, garantiert aber weder Auswahl noch Zitat.
Fiktives Beispiel
Ein fiktives Zugriffsprotokoll für /robots enthält Anfragen mit dem User-Agent OAI-SearchBot, doch ihre IP-Adressen stimmen nicht mit den veröffentlichten Bereichen überein. Das ist ein nicht verifizierter Crawler: Notiere „gibt OAI-SearchBot als User-Agent an; Quelle nicht verifiziert“ und erlaube den Zugriff nicht auf dieser Grundlage. Später erhält eine Anfrage von einer IP aus dem aktuellen offiziellen Bereich vom WAF 403. Das belegt, dass eine verifizierte Netzwerkquelle zu diesem Zeitpunkt blockiert wurde; der Eigentümer kann die Regel gesondert prüfen.
Die fiktive .test-Domain eignet sich nicht für eine echte ChatGPT-Search-Prüfung. Stelle eine Anfrage nur, wenn du eine eigene öffentlich erreichbare Testdomain hast, die das System abrufen kann. Ist keine solche Prüfung möglich, der Dienst nicht verfügbar oder wurde keine Anfrage ausgeführt, notiere „nicht geprüft“, nicht „keine Quelle“. Erst eine ausgeführte Anfrage mit gespeicherter Antwort kann zeigen, ob die URL in genau diesem Ergebnis zitiert wurde.
Bei echten Zugriffsprotokollen dürfen Quell-IP-Adressen nur so lange gespeichert werden, wie es die Aufgabe erfordert; beachte die geltenden Datenschutz- und Aufbewahrungsregeln.
Übung
- Lies die offizielle Plattformdokumentation und bestimme, welcher Crawler ihrer Suchfunktion entspricht.
- Vergleiche im fiktiven Protokoll den User-Agent mit der Quell-IP und dem aktuellen offiziellen Bereich oder dem verifizierten Bot-Signal deines CDN/WAF. Halte HTTP-Status und Schutzentscheidung fest. Sende keine Anfrage mit nachgeahmtem User-Agent und behandle sie als Beweis für einen Crawler.
- Verwende für eine Live-Prüfung ausschließlich deine eigene öffentlich erreichbare Testdomain. Hast du keine oder ist KI-Suche nicht verfügbar, notiere „nicht geprüft“. Ist die Prüfung möglich, stelle drei neutrale Fragen in der angegebenen Sprache und Region; speichere Anfrage, Datum, Modus, vollständige Antwort und Quell-URLs.
- Leite aus einer einzelnen Antwort keine dauerhafte Sichtbarkeit ab.
Prüfliste
OAI-SearchBot,GPTBotundChatGPT-Userwerden nicht verwechselt.- Der User-Agent wird nicht zur Authentifizierung verwendet.
- Die Quell-IP wurde mit der aktuellen offiziellen Liste oder einem verifizierten CDN-Bot-Signal abgeglichen.
- Website-Zugriff und ein Zitat in einer Antwort sind getrennte Beobachtungen.
- Nicht verfügbare Suche ist als „nicht geprüft“ vermerkt.
Häufiger Fehler
„Wir haben GPTBot erlaubt, also wird die Website in ChatGPT zitiert“, oder jeder OAI-SearchBot-String im Protokoll wird als echt angesehen. OpenAI nennt OAI-SearchBot für Such-Crawling; Netzwerkanfragen müssen per IP/Plattform verifiziert werden, und Zitate sind in tatsächlichen Antworten zu prüfen.