說明
OpenAI 的文件區分了以下 User-Agent 的用途：
OAI-SearchBot用於抓取內容，以便頁面可能出現在 ChatGPT 搜尋功能中。GPTBot抓取的內容可能用於訓練模型。此設定與OAI-SearchBot相互獨立。ChatGPT-User表示由 ChatGPT/自定義 GPT 中的使用者操作發起的請求；它不是自動爬蟲，也不是控制頁面是否出現在搜尋結果中的訊號。robots.txt 規則可能不適用於它。
User-Agent 字符串可以偽造，不能證明請求來自 OpenAI 爬蟲。要檢查請求，請查看存取日誌中的來源 IP，並將其與當前官方 searchbot.json IP 段或 CDN/WAF 提供的已驗證機器人訊號進行比較。記錄回應狀態、URL、時間以及防護系統的處理結果。不要僅因 User-Agent 匹配就修改 WAF 規則。允許存取只是讓系統有可能存取頁面，並不保證頁面會被選中或引用。
虛構範例
訓練頁面 /robots 的虛構存取日誌中有一些帶 OAI-SearchBot User-Agent 的請求，但對應 IP 與已公布的網段不匹配。這是一個未經驗證的爬蟲：記錄「聲明使用 OAI-SearchBot User-Agent；來源未驗證」，不要據此放行存取。之後，某個來自當前官方網段的 IP 發出請求，卻收到了 WAF 回傳的 403。這證明當時某個已驗證的網路來源被攔截；網站擁有者可以單獨評估該規則。
虛構的 .test 網域名稱不能用於真實的 ChatGPT Search 檢查。只有在您有自己的公開測試網域名稱且系統能夠抓取時，才執行查詢。如果無法進行此類檢查、產品不可用或沒有執行查詢，請記錄「未檢查」，而不是「沒有來源」。只有完成查詢並保存回應後，才能確認某個 URL 是否出現在該次結果的引用來源中。
使用真實存取日誌時，只在任務所需的期限內保留來源 IP，並遵循適用的隱私和保留政策。
練習
- 閱讀平台官方文件，確認哪個爬蟲對應其搜尋功能。
- 在虛構日誌中，將 User-Agent 與來源 IP 及當前官方 IP 網段或 CDN/WAF 的已驗證機器人訊號進行比較。記錄 HTTP 狀態和防護決策。不要發送偽裝 User-Agent 的請求，再把它當作爬蟲證據。
- 進行實時檢查時，只使用您自己可公開存取的測試網域名稱。如果沒有此類網域名稱或 AI Search 不可用，請記錄「未檢查」。如果可以檢查，就針對指定語言和地區提出三個中立問題；保存查詢、日期、模式、完整回應和來源 URL。
- 不要根據一次回應推斷持續可見性。
檢查清單
- 沒有混淆
OAI-SearchBot、GPTBot和ChatGPT-User。 - 沒有將 User-Agent 用作身分驗證。
- 已將來源 IP 與當前官方列表或 CDN 已驗證機器人訊號進行核對。
- 網站存取權限與答案中是否出現引用分開記錄。
- 搜尋功能不可用時記錄為「未檢查」。
常見錯誤
得出「我們允許了 GPTBot，所以網站被 ChatGPT 引用」的結論，或把日誌中的每個 OAI-SearchBot 字符串都當作真爬蟲。OpenAI 將用於搜尋抓取的機器人稱為 OAI-SearchBot；網路請求需要通過 IP/平台進行驗證，引用則必須從實際回應中檢查。