我用在线工具测试我的网站,其中一个工具给了我这样的警告:
您的服务器似乎允许来自用户代理Libwww-perl的访问。自动查找软件中漏洞的僵尸网络脚本有时被标识为User-Agent libwww-perl。通过阻止来自libwww-perl的访问,您可以消除许多更简单的攻击。阅读有关阻止Libwww-perl访问和提高网站安全性的更多信息。
我的web站点是一个ASP.NET MVC5站点,我只是在我的"robots.txt“文件中添加了以下几行。
User-agent: *
Disallow: /
User-Agent: bingbot
Allow: /
但是,该工具仍会报告警告。有什么问题吗?我正在阻止所有的机器人,并将bingbot设置为允许。
发布于 2015-04-29 21:54:14
除非你给出在线扫描工具的网址或名称,否则我只能猜测它在发送User-Agent: libwww-perl
时试图抓取你的页面--如果你在你的robots.txt中阻止了这一点,那就不是了。
其背景是,robots.txt包含表现良好的搜索引擎的规则,而不是恶意软件的规则。来自http://www.robotstxt.org/robotstxt.html
我假设为了“修复”这个警告,如果HTTP头包含User-Agent: libwww-perl
,您必须拒绝对任何页面、图像或文件的所有请求。请参阅this question on configuring IIS以拒绝这些请求,而无需修改您的网站。
就我个人而言,我不会拒绝这些请求,因为这是不值得的。在扫描工具中更改User-Agent很容易,而且大多数已经允许模仿广泛使用的浏览器,因此安全收益将非常小。另一方面,可能存在一个不能使用的好的/合法的工具,因为它不会伪造自己的身份。
发布于 2015-04-24 20:52:35
尝试将以下内容添加到文件中:
User-agent: Libwww-perl
Disallow: /
发布于 2015-04-29 19:26:29
将robot.txt添加到应用程序中,并将该文件包含在应用程序的根目录中。将以下内容添加到robot.txt文件中
User-agent: Libwww-perl
Disallow: /
有关更多信息,请查看下面的信息...http://www.iis.net/learn/application-frameworks/install-and-configure-php-applications-on-iis/translate-htaccess-content-to-iis-webconfig
https://stackoverflow.com/questions/25604639
复制相似问题