Erota AI-robotit, pääsy ja viitatut lähteet

Selitys

OpenAI erottaa dokumentaatiossaan näiden User-Agentien tarkoitukset:

• OAI-SearchBot ryömii sisältöä, jotta sivustot voivat näkyä ChatGPT:n hakutoiminnoissa.
• GPTBot ryömii sisältöä, jota voidaan käyttää mallien kouluttamiseen. Tämä asetus on riippumaton OAI-SearchBot-asetuksesta.
• ChatGPT-User kuvaa käyttäjän toiminnon aloittamaa pyyntöä ChatGPT:ssä / Custom GPT:issä; se ei ole automaattinen robotti eikä hakunäkyvyyden hallintasignaali. Robots.txt-säännöt eivät välttämättä koske sitä.

User-Agent-merkkijono voidaan väärentää, eikä se todista, että pyyntö tuli OpenAI-robotilta. Tarkista pyynnöt käyttämällä pääsylokeja ja lähde-IP-osoitetta; vertaa osoitetta ajantasaiseen viralliseen searchbot.json-luetteloon tai CDN/WAF-palvelun vahvistetun robotin signaaliin. Kirjaa vastaustila, URL, aika ja suojausjärjestelmän päätös. Älä muuta WAF-sääntöjä pelkän täsmäävän User-Agentin perusteella. Sallittu pääsy tekee sivusta järjestelmälle mahdollisesti saavutettavan, mutta ei takaa sen valintaa tai lainaamista.

Kuvitteellinen esimerkki

Harjoitussivun /robots synteettisessä pääsylokissa on OAI-SearchBot User-Agentin sisältäviä pyyntöjä, mutta niiden IP-osoitteet eivät kuulu julkaistuihin alueisiin. Kyseessä on vahvistamaton robotti: kirjaa ”ilmoittaa OAI-SearchBot User-Agentin; lähdettä ei vahvistettu” äläkä salli pääsyä tämän perusteella. Myöhemmin viralliseen alueeseen kuuluva IP saa WAFilta 403-vastauksen. Tämä osoittaa, että vahvistettu verkkolähde estettiin tuolloin; omistaja voi arvioida sääntöä erikseen.

Synteettistä .test-verkkotunnusta ei voi käyttää oikeaan ChatGPT Search -tarkistukseen. Tee kysely vain, jos sinulla on oma julkisesti saavutettava testiverkkotunnus, jonka järjestelmä voi hakea. Jos tällaista tarkistusta ei voi tehdä, tuote ei ole käytettävissä tai kyselyä ei tehty, merkitse ”ei tarkistettu”, älä ”lähdettä ei ole”. Vain tehty kysely tallennettuine vastauksineen osoittaa, lainattiinko URL-osoitetta juuri kyseisessä tuloksessa.

Kun käytät oikeita pääsylokeja, säilytä lähde-IP-osoitteita vain tehtävän vaatiman ajan ja noudata sovellettavaa tietosuoja- ja säilytyskäytäntöä.

Harjoitus

1. Lue alustan virallinen dokumentaatio ja selvitä, mikä robotti vastaa sen hakutoiminnosta.
2. Vertaa kuvitteellisessa lokissa User-Agentia lähde-IP-osoitteeseen ja ajantasaiseen viralliseen alueeseen tai CDN/WAF-palvelun vahvistetun robotin signaaliin. Kirjaa HTTP-tila ja suojausjärjestelmän päätös. Älä lähetä pyynnön yhteydessä väärennettyä User-Agentia ja pidä sitä todisteena robotista.
3. Käytä reaaliaikaiseen tarkistukseen vain omaa julkisesti saavutettavaa testiverkkotunnustasi. Jos sellaista ei ole tai AI Search ei ole saatavilla, merkitse ”ei tarkistettu”. Jos tarkistus onnistuu, esitä kolme neutraalia kysymystä määritetyllä kielellä ja alueella; tallenna kysely, päivämäärä, tila, koko vastaus ja lähde-URL-osoitteet.
4. Älä päättele yhdestä vastauksesta pysyvää näkyvyyttä.

Tarkistuslista

• OAI-SearchBot, GPTBot ja ChatGPT-User eivät sekoitu toisiinsa.
• User-Agentia ei käytetä tunnistautumisena.
• Lähde-IP tarkistetaan ajantasaista virallista luetteloa tai CDN:n vahvistetun robotin signaalia vasten.
• Sivuston pääsy erotetaan vastauksessa näkyvästä viittauksesta.
• Käyttökelvoton haku merkitään ”ei tarkistettu”.

Yleinen virhe

Päätellään ”sallimme GPTBotin, joten sivustoon viitataan ChatGPT:ssä” tai pidetään jokaista lokin OAI-SearchBot-merkkijonoa aitona. OpenAI nimeää OAI-SearchBotin hakua varten; verkkopyynnöt on tarkistettava IP- tai alustasignaalista ja viittaukset todellisista vastauksista.

Ensisijaiset lähteet

• OpenAI-robottien virallinen yleiskuvaus
• OpenAI SearchBotin ajantasaiset IP-alueet
• Haku verkosta ChatGPT:llä: sivuston pääsyvaatimukset