Atskirkite AI robotus, prieigą ir cituojamus šaltinius

Paaiškinimas

OpenAI dokumentacijoje šių User-Agent paskirtys atskirtos:

• OAI-SearchBot naudojamas naršyti, kad svetainės galėtų būti pateikiamos ChatGPT paieškos funkcijose.
• GPTBot naršo turinį, kuris gali būti naudojamas modeliams mokyti. Šis nustatymas nepriklauso nuo OAI-SearchBot.
• ChatGPT-User žymi naudotojo veiksmu inicijuotą užklausą ChatGPT / Custom GPT; tai nėra automatinis robotas ar paieškos rodymą valdantis signalas. Robots.txt taisyklės jam gali būti netaikomos.

User-Agent eilutę galima suklastoti, todėl ji neįrodo, kad užklausa atėjo iš OpenAI roboto. Užklausoms tikrinti naudokite prieigos žurnalus su šaltinio IP adresu ir palyginkite jį su dabartiniais oficialaus searchbot.json adresų intervalais arba CDN/WAF patvirtinto roboto signalu. Užrašykite atsakymo būseną, URL, laiką ir apsaugos sistemos sprendimą. Nekeiskite WAF taisyklių vien pagal sutampantį User-Agent. Leidžiama prieiga padaro puslapį potencialiai pasiekiamą sistemai, bet negarantuoja jo pasirinkimo ar citavimo.

Išgalvotas pavyzdys

Mokomojo puslapio /robots sintetiniame prieigos žurnale yra užklausų su OAI-SearchBot User-Agent, tačiau jų IP nepatenka į paskelbtus intervalus. Tai nepatvirtintas robotas: pažymėkite „deklaruoja OAI-SearchBot User-Agent; šaltinis nepatvirtintas“ ir neleiskite prieigos remdamiesi vien šiuo požymiu. Vėliau užklausa iš IP, patenkančio į dabartinį oficialų intervalą, gauna WAF atsakymą 403. Tai įrodymas, kad tuo metu buvo užblokuotas patvirtintas tinklo šaltinis; savininkas gali atskirai įvertinti taisyklę.

Sintetinio .test domeno negalima naudoti tikrai ChatGPT Search patikrai. Užklausą vykdykite tik jei turite savo viešai pasiekiamą bandomąjį domeną, kurį sistema gali gauti. Jei tokios patikros atlikti negalite, produktas nepasiekiamas arba užklausa nebuvo vykdyta, rašykite „nepatikrinta“, o ne „šaltinio nėra“. Tik įvykdyta užklausa su išsaugotu atsakymu leidžia nustatyti, ar URL buvo pacituotas būtent tame rezultate.

Naudodami tikrus prieigos žurnalus, šaltinio IP adresus saugokite tik tiek, kiek reikia užduočiai, ir laikykitės taikomos privatumo bei duomenų saugojimo politikos.

Praktika

1. Perskaitykite oficialią platformos dokumentaciją ir nustatykite, kuris robotas susijęs su jos paieškos funkcija.
2. Išgalvotame žurnale palyginkite User-Agent su šaltinio IP ir dabartiniu oficialiu intervalu arba CDN/WAF patvirtinto roboto signalu. Užrašykite HTTP būseną ir apsaugos sprendimą. Nesiųskite užklausos su apsimestiniu User-Agent ir nelaikykite jos roboto įrodymu.
3. Tiesioginei patikrai naudokite tik savo viešai pasiekiamą bandomąjį domeną. Jei tokio neturite arba AI Search nepasiekiamas, žymėkite „nepatikrinta“. Jei patikra įmanoma, pateikite tris neutralius klausimus nurodyta kalba ir regione; išsaugokite užklausą, datą, režimą, visą atsakymą ir šaltinių URL.
4. Iš vieno atsakymo nedarykite išvados apie nuolatinį matomumą.

Kontrolinis sąrašas

• OAI-SearchBot, GPTBot ir ChatGPT-User nesuplakti į vieną.
• User-Agent nenaudojamas kaip autentifikacija.
• Šaltinio IP tikrinamas pagal dabartinį oficialų sąrašą arba CDN patvirtinto roboto signalą.
• Prieiga prie svetainės atskirta nuo citavimo atsakyme.
• Nepasiekiama paieška pažymėta „nepatikrinta”.

Dažna klaida

Daryti išvadą „leidome GPTBot, vadinasi, ChatGPT cituoja svetainę“ arba laikyti kiekvieną OAI-SearchBot eilutę žurnale tikra. OpenAI paieškos nuskaitymui nurodo OAI-SearchBot; tinklo užklausas reikia patikrinti pagal IP / platformos signalą, o citavimą – pagal tikrus atsakymus.

Pirminiai šaltiniai

• Oficiali OpenAI robotų apžvalga
• Dabartiniai OpenAI SearchBot IP intervalai
• Paieška žiniatinklyje su ChatGPT: svetainės prieigos reikalavimai