最近,openai公布了GPTBot 的相关信息,并给出了禁止GPTBot的方法。以下是全文翻译。
GPTBot是OpenAI的网络爬虫,可以通过以下User agent和字符串来识别。
User agent token: GPTBot
Full user-agent string: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)
使用 GPTBot 用户代理爬取的网页可能会用于改进未来的模型,并且会过滤掉需要付费访问、已知收集个人身份信息(PII)或含有违反我们政策的文本的来源。允许 GPTBot 访问您的网站可以帮助 AI 模型变得更准确,提高它们的一般能力和安全性。在下面,我们还分享了如何禁止 GPTBot 访问您的网站。
要禁止 GPTBot 访问您的网站,您可以将 GPTBot 添加到您网站的 robots.txt:
User-agent: GPTBot
Disallow: /
要允许 GPTBot 仅访问您网站的部分内容,您可以将 GPTBot 令牌添加到您网站的 robots.txt,如下所示:
User-agent: GPTBot
Allow: /directory-1/
Disallow: /directory-2/
对于 OpenAI 的爬虫,它会从 OpenAI 网站上记录的 IP 地址段向网站发出请求。
这里我给出IP 地址段
20.15.240.64/28
20.15.240.80/28
20.15.240.96/28
20.15.240.176/28
20.15.241.0/28
20.15.242.128/28
20.15.242.144/28
20.15.242.192/28
40.83.2.64/28