首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >有没有一种很好的方法来过滤所有的机器人和域?

有没有一种很好的方法来过滤所有的机器人和域?
EN

Webmasters Stack Exchange用户
提问于 2010-09-29 23:02:03
回答 1查看 162关注 0票数 3

我一直在为我的网站做更多的机器人过滤器,但它绝不是完整的。

到目前为止,我有主要的:

谷歌,雅虎,MSN,百度,亚马逊,还有其他几家.

现在,我正在使用一个过滤器来比较推荐URL、现有域和已知浏览器与非浏览器用户代理。

有没有其他好的技术来检测攻击是否来自一个机器人?

EN

回答 1

Webmasters Stack Exchange用户

回答已采纳

发布于 2010-09-30 02:21:22

有没有其他好的技术来检测攻击是否来自一个机器人?

这取决于您正在寻找的各种机器人--以下是一些用于隔离恶意机器人的提示:

  • 查找不存在(或限制访问)管理脚本、电子邮件脚本等的点击率。
  • 查找网站内容的几乎即时检索。
  • 查找提要上的重复点击(特别是如果您知道您的内容正在刮板站点上使用)

您还可以查看user-agent.org中一些比较模糊的search代理,您可以看到并查看几天前由Dev启动的在哪里可以找到搜索引擎爬虫用户代理和他们的域名列表?线程。

票数 1
EN
页面原文内容由Webmasters Stack Exchange提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://webmasters.stackexchange.com/questions/3397

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档