AI क्रॉलर, एक्सेस और उद्धृत स्रोतों को अलग-अलग रखें

व्याख्या

OpenAI के दस्तावेज़ इन User-Agent के उद्देश्य अलग बताते हैं:

• OAI-SearchBot का इस्तेमाल ChatGPT search features में दिखाई देने के लिए crawl करने हेतु होता है।
• GPTBot ऐसी सामग्री crawl करता है जिसका इस्तेमाल मॉडल प्रशिक्षण में हो सकता है। यह सेटिंग OAI-SearchBot से स्वतंत्र है।
• ChatGPT-User ChatGPT/Custom GPTs में उपयोगकर्ता की कार्रवाई से शुरू किए गए अनुरोध को दर्शाता है; यह स्वचालित crawler नहीं है और Search में दिखने को नियंत्रित करने का संकेत नहीं है। robots.txt के नियम इस पर लागू न भी हों।

User-Agent string की नकल की जा सकती है और यह साबित नहीं करती कि अनुरोध OpenAI crawler से आया। अनुरोध जाँचने के लिए source IP सहित access logs देखें और उसकी तुलना मौजूदा आधिकारिक searchbot.json ranges या अपने CDN/WAF के verified-bot signal से करें। Response स्थिति, URL, समय और सुरक्षा प्रणाली का निर्णय दर्ज करें। केवल मिलते-जुलते User-Agent के आधार पर WAF नियम न बदलें। अनुमति प्राप्त पहुँच से पेज प्रणाली के लिए संभावित रूप से उपलब्ध होता है, लेकिन चुने जाने या उद्धृत होने की गारंटी नहीं मिलती।

काल्पनिक उदाहरण

प्रशिक्षण पेज /robots के काल्पनिक access log में OAI-SearchBot User-Agent वाले अनुरोध हैं, लेकिन उनके IP प्रकाशित ranges से मेल नहीं खाते। यह असत्यापित crawler है: “OAI-SearchBot User-Agent का दावा; source असत्यापित” दर्ज करें और इस आधार पर पहुँच की अनुमति न दें। बाद में, मौजूदा आधिकारिक range के IP से आया अनुरोध WAF से 403 पाता है। यह उस समय सत्यापित नेटवर्क स्रोत के block होने का साक्ष्य है; मालिक नियम पर अलग से विचार कर सकता है।

काल्पनिक .test domain को ChatGPT Search की वास्तविक जाँच में इस्तेमाल नहीं किया जा सकता। Query केवल तभी चलाएँ जब आपके पास अपना सार्वजनिक रूप से उपलब्ध test domain हो जिसे प्रणाली प्राप्त कर सके। ऐसी जाँच संभव न हो, product उपलब्ध न हो या query न चलाई गई हो तो “जाँच नहीं की गई” दर्ज करें, “कोई स्रोत नहीं” नहीं। केवल पूरी की गई query और सहेजी गई प्रतिक्रिया ही यह स्थापित कर सकती है कि उस खास परिणाम में URL उद्धृत हुआ था या नहीं।

वास्तविक access logs इस्तेमाल करते समय source IP केवल काम के लिए आवश्यक अवधि तक रखें और लागू privacy तथा retention नीति का पालन करें।

अभ्यास

1. Platform के आधिकारिक दस्तावेज़ पढ़ें और पहचानें कि उसके search feature के लिए कौन-सा crawler है।
2. काल्पनिक log में User-Agent की तुलना source IP और मौजूदा आधिकारिक range या अपने CDN/WAF के verified-bot signal से करें। HTTP स्थिति और सुरक्षा का निर्णय दर्ज करें। नकली User-Agent वाला अनुरोध भेजकर उसे crawler का प्रमाण न मानें।
3. Live जाँच के लिए केवल अपना सार्वजनिक रूप से उपलब्ध test domain इस्तेमाल करें। ऐसा domain न हो या AI Search उपलब्ध न हो तो “जाँच नहीं की गई” दर्ज करें। जाँच संभव हो तो निर्दिष्ट भाषा और क्षेत्र में तीन तटस्थ प्रश्न पूछें; query, तारीख, mode, पूरा उत्तर और source URL सहेजें।
4. एक प्रतिक्रिया से लगातार दृश्यता का निष्कर्ष न निकालें।

चेकलिस्ट

• OAI-SearchBot, GPTBot और ChatGPT-User को एक न समझा गया।
• User-Agent को authentication नहीं माना गया।
• Source IP की मौजूदा आधिकारिक सूची या CDN verified-bot signal से जाँच हुई।
• साइट तक पहुँच और उत्तर में उद्धरण दिखाई देना अलग-अलग दर्ज हैं।
• अनुपलब्ध Search को “जाँच नहीं की गई” दर्ज किया गया।

आम गलती

यह निष्कर्ष निकालना कि “हमने GPTBot को अनुमति दी, इसलिए साइट ChatGPT में उद्धृत है,” या log में हर OAI-SearchBot string को असली मानना। OpenAI Search crawling के लिए OAI-SearchBot नाम देता है; नेटवर्क अनुरोधों के लिए IP/platform सत्यापन चाहिए और उद्धरण वास्तविक प्रतिक्रियाओं में जाँचना चाहिए।

प्राथमिक स्रोत

• OpenAI crawler का आधिकारिक परिचय
• OpenAI SearchBot की मौजूदा IP ranges
• ChatGPT से वेब पर खोज: साइट पहुँच की आवश्यकताएँ