Erista AI-roboteid, ligipääsu ja viidatud allikaid

Selgitus

OpenAI dokumentatsioon eristab järgmiste User-Agent’ide eesmärke:

• OAI-SearchBot roomab veebisaiti, et see saaks ilmuda ChatGPT otsingufunktsioonides.
• GPTBot roomab sisu, mida võidakse kasutada mudelite treenimiseks. See seade on OAI-SearchBot-ist sõltumatu.
• ChatGPT-User tähistab ChatGPT/Custom GPT kasutaja algatatud päringut; see pole automaatne robot ega otsingus ilmumise juhtsignaal. Sellele ei pruugi robots.txt reeglid kehtida.

User-Agent’i stringi saab võltsida ning see ei tõenda, et päring pärines OpenAI robotilt. Päringute kontrollimiseks kasuta ligipääsuloge koos lähte-IP-aadressiga ja võrdle seda kehtiva ametliku searchbot.json vahemikuga või CDN-i/WAF-i kinnitatud roboti signaaliga. Pane kirja vastuse olek, URL, aeg ja kaitsesüsteemi otsus. Ära muuda WAF-i reegleid ainult sobiva User-Agent’i põhjal. Lubatud ligipääs teeb lehe süsteemile potentsiaalselt kättesaadavaks, kuid ei taga selle valimist ega tsiteerimist.

Väljamõeldud näide

Õppestsenaariumi /robots sünteetilises ligipääsulogis on OAI-SearchBot User-Agent’iga päringuid, kuid nende IP-d ei kuulu avaldatud vahemikesse. See on kinnitamata robot: märgi „väidab end olevat OAI-SearchBot; allikas kinnitamata” ning ära luba ligipääsu selle põhjal. Hiljem saab ametlikus vahemikus olevalt IP-lt päring WAF-ilt 403 vastuse. See tõendab, et kinnitatud võrguallikas blokeeriti sel hetkel; omanik võib reeglit eraldi hinnata.

Sünteetilist .test-domeeni ei saa päriselt ChatGPT Searchis kontrollida. Tee päring ainult siis, kui sul on oma avalikult kättesaadav testdomeen, mille süsteem saab alla laadida. Kui sellist kontrolli pole võimalik teha, toode pole saadaval või päringut ei tehtud, märgi „kontrollimata”, mitte „allikas puudub”. Ainult tehtud päring koos salvestatud vastusega võimaldab kinnitada, kas URL-i selles konkreetses tulemuses tsiteeriti.

Päris ligipääsulogide kasutamisel säilita lähte-IP-aadresse ainult nii kaua, kui ülesanne nõuab, ning järgi kehtivat privaatsus- ja säilitamispoliitikat.

Harjutus

1. Loe platvormi ametlikku dokumentatsiooni ja selgita välja, milline robot vastab otsingufunktsioonile.
2. Võrdle näidislogis User-Agent’i lähte-IP-ga ning kehtiva ametliku vahemiku või CDN-i/WAF-i kinnitatud roboti signaaliga. Pane kirja HTTP-olek ja kaitsesüsteemi otsus. Ära saada võltsitud User-Agent’iga päringut ega pea seda roboti tõendiks.
3. Reaalajas kontrolliks kasuta ainult enda avalikult kättesaadavat testdomeeni. Kui sul seda pole või AI Search pole saadaval, märgi „kontrollimata”. Kui kontroll on võimalik, esita määratud keeles ja piirkonnas kolm neutraalset küsimust; salvesta päring, kuupäev, režiim, täielik vastus ja allika-URL-id.
4. Ära järelda ühe vastuse põhjal püsivat leitavust.

Kontrollnimekiri

• OAI-SearchBot, GPTBot ja ChatGPT-User pole segamini aetud.
• User-Agent’i ei käsitleta autentimisena.
• Lähte-IP-d võrreldakse kehtiva ametliku loendi või CDN-i kinnitatud roboti signaaliga.
• Saidi ligipääs on eristatud vastuses tsiteerimisest.
• Kättesaamatu otsing märgitakse „kontrollimata”.

Levinud viga

Järeldada „lubasime GPTBoti, järelikult viidatakse saidile ChatGPT-s” või pidada iga logis olevat OAI-SearchBot stringi ehtsaks. Otsingurobotina nimetab OpenAI OAI-SearchBot-i; võrgupäringud tuleb kinnitada IP või platvormi signaaliga ning viiteid tuleb kontrollida tegelikest vastustest.

Esmased allikad

• OpenAI robotite ametlik ülevaade
• OpenAI SearchBoti kehtivad IP-vahemikud
• Veebis otsimine ChatGPT-ga: saidi ligipääsunõuded