来自"Facebot Twitterbot“用户代理的流量激增
来自"Facebot Twitterbot“用户代理的流量激增
提问于 2021-12-16 19:30:22
我的网站，通常有很低的流量，突然收到了一个巨大的流量，所有来自同一个用户代理。我们以每秒大约3次的速度从用户代理"Facebot Twitterbot“那里接收了大约一个小时的请求。对于一个URI来说，所有请求都是这样的：
Dec 16 00:35:36 website app/web.1 10.1.52.64 - - [16/Dec/2021:02:35:36 -0600] "GET /signup/ HTTP/1.1" 200 2299 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_1) AppleWebKit/601.2.4 (KHTML, like Gecko) Version/9.0.1 Safari/601.2.4 facebookexternalhit/1.1 Facebot Twitterbot/1.0"我们有一个类似的交通事件，在过去的另一个页面，持续了大约两周多一点。这不是一个很大的问题，因为站点可以处理流量，它似乎在一段时间后就结束了，但是它确实使响应时间慢了几毫秒--通常情况下，它会垃圾处理我们的日志，并且很难调试出现的实际问题。
我已经研究过这个用户代理(参见：这里和这里)，它似乎是一个imessage实用程序函数，尽管它仍然不清楚到底是什么原因造成的。这种交通正常吗，我有什么理由担心吗？
回答 1
Webmasters Stack Exchange用户
回答已采纳
发布于 2022-03-26 18:10:20
这是iMessages应用程序的爬虫(来自用户电话本身，而不是苹果服务器)。
苹果选择在他们的iMessages应用程序中使用这个用户代理，以确保URL的展开和富预览的工作频率更高。当某人发送URL时，他们的手机试图从网站检索一张图片，以便在富预览中使用。他们假设Facebook和Twitter的爬虫是被大多数网站白名单的，所以他们滥用这些信息来确保爬虫的请求不被屏蔽。
来自该用户代理的最常见请求是：
- /favicon.ico
- /苹果-触摸-图标。
- /苹果-触摸-图标-预组合.icon
这很奇怪，因为没有人阻止标准的iPhone/Safari用户代理，所以增加facebookexternalhit/1.1Facebot Twitterbot/1.0对我来说没有什么意义。
它也可能是Facebook的信使或Facebook的机器人，但我还没有看到任何真正的证据，除了一些随机张贴在网上。
页面原文内容由Webmasters Stack Exchange提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://webmasters.stackexchange.com/questions/137914
复制相关文章
相似问题
腾讯云开发者
