Açıklama
OpenAI belgeleri bu kullanıcı aracılarını amaçlarına göre ayırır:
OAI-SearchBot, ChatGPT arama özelliklerinde görünmek üzere tarama yapar.GPTBot, modelleri eğitmek için kullanılabilecek içeriği tarar. Bu ayarOAI-SearchBotayarından bağımsızdır.ChatGPT-User, ChatGPT/Custom GPT'lerde kullanıcının başlattığı isteği temsil eder; otomatik tarayıcı veya Arama'da görünmeyi kontrol etme sinyali değildir.robots.txtkuralları buna uygulanmayabilir.
Bir User-Agent metni taklit edilebilir ve isteğin OpenAI tarayıcısından geldiğini kanıtlamaz. İstekleri kontrol etmek için erişim günlüklerindeki kaynak IP'yi kullanın ve yayımlanmış güncel searchbot.json aralıklarıyla veya CDN/WAF'in doğrulanmış bot sinyaliyle karşılaştırın. Yanıt durumunu, URL'yi, zamanı ve güvenlik sisteminin kararını kaydedin. Yalnızca User-Agent eşleşti diye WAF kurallarını değiştirmeyin. Erişime izin verilmesi, sayfanın sistem için erişilebilir olabileceğini gösterir; seçileceğini veya kaynak gösterileceğini garanti etmez.
Kurgusal örnek
/robots eğitim sayfası için sentetik bir erişim günlüğünde OAI-SearchBot User-Agent'ine sahip istekler vardır, ancak IP'leri yayımlanan aralıklarla eşleşmez. Bu doğrulanmamış bir tarayıcıdır: “OAI-SearchBot User-Agent'i iddia ediyor; kaynak doğrulanmadı” diye kaydedin ve bu temelde erişim izni vermeyin. Daha sonra güncel resmi aralıktaki bir IP'den gelen istek WAF'ten 403 alır. Bu, doğrulanmış bir ağ kaynağının o sırada engellendiğine dair kanıttır; sahibi kuralı ayrıca değerlendirebilir.
Sentetik .test alan adı gerçek ChatGPT Search kontrolünde kullanılamaz. Yalnızca sistemin erişebileceği, herkese açık kendi test alan adınız varsa bir sorgu çalıştırın. Böyle bir kontrol mümkün değilse, ürün kullanılamıyorsa veya sorgu çalıştırılmadıysa “kaynak yok” değil, “kontrol edilmedi” yazın. URL'nin o belirli sonuçta kaynak gösterildiğini yalnızca yanıtı kaydedilmiş tamamlanmış bir sorgu ortaya koyabilir.
Gerçek erişim günlüklerini kullanırken kaynak IP'leri yalnızca görev için gerektiği süre boyunca saklayın ve geçerli gizlilik ve saklama politikasına uyun.
Uygulama
- Platformun resmi belgelerini okuyun ve arama özelliğiyle hangi tarayıcının ilişkili olduğunu belirleyin.
- Kurgusal günlükteki User-Agent'i kaynak IP ve güncel resmi aralıkla ya da CDN/WAF'in doğrulanmış bot sinyaliyle karşılaştırın. HTTP durumunu ve koruma kararını kaydedin. Taklit edilmiş User-Agent ile istek gönderip bunu tarayıcı kanıtı saymayın.
- Canlı kontrol için yalnızca herkese açık kendi test alan adınızı kullanın. Böyle bir alan adınız yoksa veya yapay zekâ Arama kullanılamıyorsa “kontrol edilmedi” yazın. Kontrol mümkünse belirtilen dil ve bölgede üç tarafsız soru sorun; sorguyu, tarihi, modu, tam yanıtı ve kaynak URL'lerini kaydedin.
- Tek bir yanıttan kalıcı görünürlük sonucu çıkarmayın.
Kontrol listesi
OAI-SearchBot,GPTBotveChatGPT-Userbirbirine karıştırılmadı.- User-Agent kimlik doğrulama olarak kullanılmadı.
- Kaynak IP güncel resmi listeyle veya CDN'in doğrulanmış bot sinyaliyle kontrol edildi.
- Siteye erişim ile yanıtta kaynak gösterilmesi ayrı tutuldu.
- Kullanılamayan Arama “kontrol edilmedi” olarak kaydedildi.
Sık yapılan hata
“GPTBot'a izin verdik, demek ki site ChatGPT'de kaynak gösteriliyor” sonucuna varmak veya günlüklerdeki her OAI-SearchBot metnini gerçek saymak. OpenAI arama taraması için OAI-SearchBot adını kullanır; ağ istekleri IP/platform ile doğrulanmalıdır ve kaynak gösterimi gerçek yanıtlarda kontrol edilmelidir.