الشرح
تميّز وثائق OpenAI بين أغراض وكلاء المستخدم هؤلاء:
- يُستخدم
OAI-SearchBotللزحف بغرض الظهور في ميزات البحث في ChatGPT. - يزحف
GPTBotإلى محتوى قد يُستخدم لتدريب النماذج. هذا الإعداد مستقل عنOAI-SearchBot. - يمثل
ChatGPT-Userطلبًا بدأه إجراء مستخدم في ChatGPT/Custom GPTs؛ وليس برنامج زحف آليًا أو إشارة للتحكم في الظهور في البحث. وقد لا تنطبق عليه قواعد robots.txt.
يمكن تزوير سلسلة User-Agent، وهي لا تثبت أن الطلب جاء من برنامج زحف OpenAI. للتحقق من الطلبات، استخدم سجلات الوصول مع عنوان IP المصدر وقارنه بنطاقات searchbot.json الرسمية الحالية أو بإشارة بوت موثّق من CDN/WAF لديك. سجّل حالة الاستجابة وURL والوقت وقرار نظام الحماية. لا تغيّر قواعد WAF بناءً على تطابق User-Agent وحده. يجعل السماح بالوصول الصفحة قابلة نظريًا لوصول النظام إليها، لكنه لا يضمن اختيارها أو الاستشهاد بها.
مثال افتراضي
يتضمن سجل وصول اصطناعي لصفحة التدريب /robots طلبات تحمل User-Agent OAI-SearchBot، لكن عناوين IP الخاصة بها لا تطابق النطاقات المنشورة. هذا برنامج زحف غير موثّق: سجّل «يدّعي استخدام User-Agent OAI-SearchBot؛ المصدر غير موثّق» ولا تسمح بالوصول على هذا الأساس. لاحقًا، يتلقى طلب من IP ضمن النطاق الرسمي الحالي الحالة 403 من WAF. هذا دليل على أن مصدرًا شبكيًا موثقًا قد حُظر في ذلك الوقت؛ ويمكن للمالك النظر في القاعدة على نحو منفصل.
لا يمكن استخدام نطاق .test الاصطناعي لإجراء فحص حقيقي لـ ChatGPT Search. أجرِ استعلامًا فقط إذا كان لديك نطاق اختبار خاص بك متاح للعامة ويمكن للنظام جلبه. إذا تعذر إجراء هذا الفحص، أو كان المنتج غير متاح، أو لم يُجرَ أي استعلام، فسجّل «لم يتم التحقق»، لا «لا يوجد مصدر». لا يمكن إثبات ما إذا كان URL قد استُشهد به في تلك النتيجة المحددة إلا باستعلام مكتمل وحفظ استجابته.
عند استخدام سجلات وصول حقيقية، احتفظ بعناوين IP المصدر للمدة التي تتطلبها المهمة فقط، واتبع سياسة الخصوصية والاحتفاظ المعمول بها.
التطبيق العملي
- اقرأ الوثائق الرسمية للمنصة وحدد برنامج الزحف المرتبط بميزة البحث فيها.
- في السجل الافتراضي، قارن User-Agent بعنوان IP المصدر وبالنطاق الرسمي الحالي أو بإشارة البوت الموثّق من CDN/WAF لديك. سجّل حالة HTTP وقرار الحماية. لا ترسل طلبًا ينتحل User-Agent ثم تعتبره دليلًا على برنامج زحف.
- للفحص المباشر، استخدم نطاق اختبار خاصًا بك ومتاحًا للعامة فقط. إذا لم يكن لديك نطاق كهذا أو لم يكن AI Search متاحًا، فسجّل «لم يتم التحقق». وإذا أمكن إجراء الفحص، فاطرح ثلاثة أسئلة محايدة باللغة والمنطقة المحددتين، واحفظ الاستعلام والتاريخ والوضع والاستجابة الكاملة وعناوين URL للمصادر.
- لا تستنتج ظهورًا مستمرًا من استجابة واحدة.
قائمة التحقق
- لم يتم الخلط بين
OAI-SearchBotوGPTBotوChatGPT-User. - لم يُستخدم User-Agent كوسيلة مصادقة.
- تم فحص IP المصدر في القائمة الرسمية الحالية أو عبر إشارة بوت موثّق من CDN.
- تم فصل وصول الموقع عن ظهور استشهاد في الإجابة.
- سُجل البحث غير المتاح على أنه «لم يتم التحقق».
خطأ شائع
الاستنتاج «سمحنا لـ GPTBot، إذن الموقع مستشهَد به في ChatGPT»، أو اعتبار كل سلسلة OAI-SearchBot في سجل حقيقية. تسمي OpenAI OAI-SearchBot لزحف البحث؛ وتتطلب طلبات الشبكة التحقق من IP أو المنصة، كما يجب فحص الاستشهادات في الاستجابات الفعلية.