แยก crawler ของ AI การเข้าถึง และแหล่งข้อมูลที่ถูกอ้างอิง

คำอธิบาย

เอกสารของ OpenAI แยกวัตถุประสงค์ของ User-Agent เหล่านี้:

• OAI-SearchBot ใช้ crawl เนื้อหาเพื่อให้ปรากฏในฟีเจอร์ค้นหาของ ChatGPT
• GPTBot crawl เนื้อหาที่อาจใช้ฝึกโมเดล การตั้งค่านี้เป็นอิสระจาก OAI-SearchBot
• ChatGPT-User หมายถึงคำขอที่เริ่มจากการกระทำของผู้ใช้ใน ChatGPT/Custom GPTs; ไม่ใช่ crawler อัตโนมัติหรือสัญญาณสำหรับควบคุมการปรากฏใน Search กฎ robots.txt อาจไม่มีผลกับ User-Agent นี้

สามารถปลอมสตริง User-Agent ได้ และสตริงดังกล่าว ไม่ได้พิสูจน์ ว่าคำขอมาจาก crawler ของ OpenAI หากต้องการตรวจคำขอ ให้ใช้ access log ที่มี IP ต้นทาง แล้วเปรียบเทียบกับช่วง IP จาก searchbot.json ทางการฉบับปัจจุบัน หรือสัญญาณ bot ที่ CDN/WAF ของคุณยืนยันแล้ว บันทึกสถานะการตอบกลับ URL เวลา และการตัดสินใจของระบบป้องกัน อย่าเปลี่ยนกฎ WAF เพียงเพราะ User-Agent ตรงกัน การอนุญาตให้เข้าถึงทำให้ระบบอาจเข้าถึงหน้าได้ แต่ไม่ได้รับประกันการเลือกหรือการอ้างอิงหน้าเป็นแหล่งข้อมูล

ตัวอย่างสมมติ

access log สังเคราะห์ของหน้าฝึก /robots มีคำขอที่ใช้ User-Agent OAI-SearchBot แต่ IP ไม่อยู่ในช่วงที่เผยแพร่ไว้ นี่คือ crawler ที่ยังไม่ยืนยันตัวตน: บันทึกว่า “อ้าง User-Agent OAI-SearchBot; ยังไม่ยืนยันแหล่งที่มา” และอย่าอนุญาตการเข้าถึงโดยอาศัยข้อมูลนี้ ต่อมาคำขอจาก IP ในช่วงทางการปัจจุบันได้รับ 403 จาก WAF นี่เป็นหลักฐานว่าแหล่งเครือข่ายที่ยืนยันแล้วถูกบล็อกในเวลานั้น; เจ้าของอาจพิจารณากฎดังกล่าวแยกต่างหาก

โดเมน .test สังเคราะห์ใช้ตรวจ ChatGPT Search จริงไม่ได้ ให้ค้นหาคำตอบเฉพาะเมื่อคุณมีโดเมนทดสอบสาธารณะของตนเองที่ระบบเข้าถึงได้ หากทำการตรวจสอบเช่นนั้นไม่ได้ ผลิตภัณฑ์ไม่พร้อมใช้งาน หรือไม่ได้ส่งคำค้น ให้บันทึกว่า “ไม่ได้ตรวจสอบ” ไม่ใช่ “ไม่มีแหล่งข้อมูล” เฉพาะคำค้นที่ดำเนินการเสร็จและบันทึกคำตอบไว้เท่านั้นที่ยืนยันได้ว่า URL ถูกอ้างอิงในผลลัพธ์นั้นหรือไม่

เมื่อใช้ access log จริง ให้เก็บ IP ต้นทางไว้นานเท่าที่จำเป็นสำหรับงานเท่านั้น และปฏิบัติตามนโยบายความเป็นส่วนตัวและการเก็บรักษาข้อมูลที่เกี่ยวข้อง

แบบฝึกปฏิบัติ

1. อ่านเอกสารทางการของแพลตฟอร์มและระบุว่า crawler ใดเกี่ยวข้องกับฟีเจอร์ค้นหาของแพลตฟอร์ม
2. ใน log สมมติ ให้เปรียบเทียบ User-Agent กับ IP ต้นทางและช่วง IP ทางการปัจจุบัน หรือสัญญาณ bot ที่ CDN/WAF ของคุณยืนยันแล้ว บันทึกสถานะ HTTP และการตัดสินใจของระบบป้องกัน ห้ามส่งคำขอโดยปลอม User-Agent แล้วถือว่าเป็นหลักฐานของ crawler
3. สำหรับการตรวจสอบจริง ให้ใช้เฉพาะโดเมนทดสอบสาธารณะของคุณเอง หากไม่มีหรือ AI Search ใช้ไม่ได้ ให้บันทึกว่า “ไม่ได้ตรวจสอบ” หากตรวจสอบได้ ให้ถามคำถามที่เป็นกลางสามข้อในภาษาและภูมิภาคที่กำหนด; เก็บคำถาม วันที่ โหมด คำตอบฉบับเต็ม และ URL แหล่งข้อมูล
4. อย่าสรุปว่ามองเห็นได้อย่างต่อเนื่องจากคำตอบเพียงครั้งเดียว

เช็กลิสต์

• ไม่ปะปน OAI-SearchBot, GPTBot และ ChatGPT-User
• ไม่ใช้ User-Agent เป็นการยืนยันตัวตน
• ตรวจ IP ต้นทางกับรายชื่อทางการปัจจุบันหรือสัญญาณ bot ที่ CDN ยืนยันแล้ว
• แยกการเข้าถึงเว็บไซต์ออกจากการปรากฏของการอ้างอิงในคำตอบ
• บันทึกการค้นหาที่ใช้งานไม่ได้ว่า “ไม่ได้ตรวจสอบ”

ข้อผิดพลาดที่พบบ่อย

สรุปว่า “เราอนุญาต GPTBot แล้ว เว็บไซต์จึงถูกอ้างอิงใน ChatGPT” หรือคิดว่าทุกสตริง OAI-SearchBot ใน log เป็นของจริง OpenAI ระบุว่า OAI-SearchBot ใช้ crawl เพื่อการค้นหา; คำขอเครือข่ายต้องตรวจสอบ IP/แพลตฟอร์ม และการอ้างอิงต้องตรวจจากคำตอบจริง

แหล่งข้อมูลหลัก

• ภาพรวม crawler อย่างเป็นทางการของ OpenAI
• ช่วง IP ของ OpenAI SearchBot ปัจจุบัน
• ค้นหาเว็บด้วย ChatGPT: ข้อกำหนดการเข้าถึงเว็บไซต์