Asingkan crawler AI, akses dan sumber yang dipetik

Penjelasan

Dokumentasi OpenAI membezakan tujuan User-Agent ini:

• OAI-SearchBot digunakan untuk merayapi kandungan bagi paparan dalam ciri carian ChatGPT.
• GPTBot merayapi kandungan yang mungkin digunakan untuk melatih model. Tetapan ini berasingan daripada OAI-SearchBot.
• ChatGPT-User mewakili permintaan yang dimulakan oleh tindakan pengguna dalam ChatGPT/Custom GPTs; ia bukan crawler automatik atau isyarat untuk mengawal paparan dalam Search. Peraturan robots.txt mungkin tidak terpakai kepadanya.

Rentetan User-Agent boleh dipalsukan dan tidak membuktikan bahawa permintaan datang daripada crawler OpenAI. Untuk menyemak permintaan, gunakan log akses dengan IP sumber dan bandingkannya dengan julat searchbot.json rasmi semasa atau isyarat bot yang disahkan daripada CDN/WAF anda. Rekodkan status respons, URL, masa dan keputusan sistem perlindungan. Jangan ubah peraturan WAF hanya berdasarkan User-Agent yang sepadan. Akses yang dibenarkan menjadikan halaman berpotensi boleh dicapai oleh sistem, tetapi tidak menjamin pemilihan atau petikan.

Contoh rekaan

Log akses sintetik untuk halaman latihan /robots mengandungi permintaan dengan User-Agent OAI-SearchBot, tetapi IP-nya tidak sepadan dengan julat yang diterbitkan. Ini ialah crawler yang belum disahkan: catat “mendakwa User-Agent OAI-SearchBot; sumber belum disahkan” dan jangan benarkan akses atas dasar itu. Kemudian, permintaan daripada IP dalam julat rasmi semasa menerima 403 daripada WAF. Ini ialah bukti bahawa sumber rangkaian yang disahkan disekat pada masa itu; pemilik boleh mempertimbangkan peraturan tersebut secara berasingan.

Domain sintetik .test tidak boleh digunakan untuk semakan ChatGPT Search sebenar. Jalankan pertanyaan hanya jika anda mempunyai domain ujian awam sendiri yang boleh diambil oleh sistem. Jika semakan sedemikian mustahil, produk tidak tersedia atau tiada pertanyaan dijalankan, catat “tidak disemak”, bukan “tiada sumber”. Hanya pertanyaan yang selesai dengan respons tersimpan boleh mengesahkan sama ada URL dipetik dalam hasil khusus itu.

Apabila menggunakan log akses sebenar, simpan IP sumber hanya selama yang diperlukan untuk tugasan dan patuhi dasar privasi serta pengekalan data yang berkenaan.

Amalan

1. Baca dokumentasi rasmi platform dan kenal pasti crawler yang berkaitan dengan ciri cariannya.
2. Dalam log rekaan, bandingkan User-Agent dengan IP sumber dan julat rasmi semasa atau isyarat bot yang disahkan oleh CDN/WAF anda. Rekodkan status HTTP dan keputusan perlindungan. Jangan hantar permintaan dengan User-Agent yang menyamar lalu menganggapnya bukti crawler.
3. Untuk semakan langsung, gunakan domain ujian awam anda sendiri sahaja. Jika tiada atau AI Search tidak tersedia, catat “tidak disemak”. Jika semakan boleh dibuat, ajukan tiga soalan neutral dalam bahasa dan rantau yang ditetapkan; simpan pertanyaan, tarikh, mod, respons penuh dan URL sumber.
4. Jangan membuat kesimpulan tentang keterlihatan berterusan daripada satu respons.

Senarai semak

• OAI-SearchBot, GPTBot dan ChatGPT-User tidak disamakan.
• User-Agent tidak digunakan sebagai pengesahan.
• IP sumber disemak dengan senarai rasmi semasa atau isyarat bot sah daripada CDN.
• Akses laman dipisahkan daripada kemunculan petikan dalam jawapan.
• Carian yang tidak tersedia direkodkan sebagai “tidak disemak”.

Kesilapan lazim

Membuat kesimpulan “kami membenarkan GPTBot, jadi laman dipetik dalam ChatGPT,” atau menganggap setiap rentetan OAI-SearchBot dalam log itu sahih. OpenAI menamakan OAI-SearchBot untuk perayapan carian; permintaan rangkaian memerlukan pengesahan IP/platform, manakala petikan perlu disemak dalam respons sebenar.

Sumber utama

• Gambaran rasmi crawler OpenAI
• Julat IP OpenAI SearchBot semasa
• Mencari di web dengan ChatGPT: syarat akses laman