Rozróżnij roboty AI, dostęp i cytowane źródła

Wyjaśnienie

Dokumentacja OpenAI rozróżnia przeznaczenie następujących agentów użytkownika:

• OAI-SearchBot pobiera treści na potrzeby wyświetlania w funkcjach wyszukiwania ChatGPT.
• GPTBot pobiera treści, które mogą być używane do trenowania modeli. To ustawienie jest niezależne od OAI-SearchBot.
• ChatGPT-User oznacza żądanie zainicjowane działaniem użytkownika w ChatGPT/Custom GPTs; nie jest automatycznym robotem ani sygnałem sterującym widocznością w wyszukiwarce. Zasady robots.txt mogą go nie obejmować.

Ciąg User-Agent można podrobić i nie dowodzi on, że żądanie pochodzi od robota OpenAI. W celu weryfikacji sprawdź logi dostępu, adres źródłowego IP i porównaj go z aktualnymi oficjalnymi zakresami w searchbot.json albo sygnałem zweryfikowanego robota z CDN/WAF. Zapisz status odpowiedzi, adres URL, czas i decyzję systemu ochrony. Nie zmieniaj reguł WAF wyłącznie na podstawie zgodnego User-Agent. Dozwolony dostęp oznacza, że system potencjalnie może pobrać stronę, ale nie gwarantuje jej wyboru ani cytowania.

Fikcyjny przykład

Fikcyjny log dostępu dla szkoleniowej strony /robots zawiera żądania z User-Agent OAI-SearchBot, ale ich adresy IP nie pasują do opublikowanych zakresów. To niezweryfikowany robot: zapisz „deklaruje User-Agent OAI-SearchBot; źródło niezweryfikowane” i nie zezwalaj na dostęp na tej podstawie. Później żądanie z adresu IP z aktualnego oficjalnego zakresu otrzymuje od WAF status 403. To dowód, że w danym momencie zablokowano zweryfikowane źródło sieciowe; właściciel może osobno rozważyć tę regułę.

Fikcyjnej domeny .test nie można użyć do rzeczywistego sprawdzenia ChatGPT Search. Zapytanie uruchamiaj tylko wtedy, gdy masz własną publicznie dostępną domenę testową, którą system może pobrać. Jeśli taka kontrola jest niemożliwa, usługa niedostępna albo zapytania nie wykonano, zapisz „nie sprawdzono”, a nie „brak źródła”. Dopiero zakończone zapytanie wraz z zapisaną odpowiedzią pozwala ustalić, czy URL zacytowano w tym konkretnym wyniku.

Podczas pracy z prawdziwymi logami przechowuj źródłowe adresy IP tylko tak długo, jak wymaga tego zadanie, i przestrzegaj obowiązujących zasad prywatności oraz retencji danych.

Ćwiczenie

1. Przeczytaj oficjalną dokumentację platformy i ustal, który robot odpowiada za jej funkcję wyszukiwania.
2. W fikcyjnym logu porównaj User-Agent z adresem źródłowym IP oraz aktualnym oficjalnym zakresem lub sygnałem zweryfikowanego robota z CDN/WAF. Zapisz status HTTP i decyzję systemu ochrony. Nie wysyłaj żądania z podszytym User-Agentem i nie traktuj go jako dowodu obecności robota.
3. Do kontroli na żywo używaj wyłącznie własnej publicznie dostępnej domeny testowej. Jeśli jej nie masz lub Wyszukiwanie AI jest niedostępne, zapisz „nie sprawdzono”. Jeśli kontrola jest możliwa, zadaj trzy neutralne pytania w podanym języku i regionie; zachowaj zapytanie, datę, tryb, pełną odpowiedź i adresy źródeł.
4. Nie wyciągaj wniosków o stałej widoczności na podstawie jednej odpowiedzi.

Lista kontrolna

• OAI-SearchBot, GPTBot i ChatGPT-User nie są ze sobą mylone.
• User-Agent nie jest używany jako uwierzytelnienie.
• Źródłowy adres IP sprawdzono względem aktualnej oficjalnej listy lub sygnału zweryfikowanego robota z CDN.
• Dostęp do witryny i pojawienie się cytowania w odpowiedzi to odrębne obserwacje.
• Niedostępne wyszukiwanie zapisano jako „nie sprawdzono”.

Częsty błąd

Wniosek: „Zezwoliliśmy GPTBot, więc witryna jest cytowana w ChatGPT” albo uznawanie każdego ciągu OAI-SearchBot w logu za prawdziwy. OpenAI wskazuje OAI-SearchBot jako robota wyszukiwania; żądania sieciowe wymagają weryfikacji IP/platformy, a cytowania należy sprawdzać w rzeczywistych odpowiedziach.

Źródła podstawowe

• Oficjalny opis robotów OpenAI
• Aktualne zakresy IP OpenAI SearchBot
• Wyszukiwanie w sieci za pomocą ChatGPT: wymagania dostępu do witryny