1回答
网络机器人能放大下载数量吗？
php、html、mysql
我有一个PHP程序连接到一个网站上的MYSQL数据库。单击下载文件的链接后，程序从数据库中读取一个整数字段，将其递增，然后将该数字放回原处，以计数下载次数。那个程序很管用。然而，随着时间的推移，下载数量似乎是适度膨胀的。以下是PHP代码：
function updateDownloadCounter($downloadPath, $tableName, $fileNameField, $downloadCountField, $idFi
浏览 5提问于2017-08-08得票数 2
回答已采纳
1回答
Adsense与从网页中拦截机器人
google-adsense、robots.txt、meta-tags
如果我使用一个元标签来制作一个页面'noindex‘，这是否意味着我的adsense广告不会成为目标？
浏览 0提问于2011-09-03得票数 2
回答已采纳
2回答
谷歌看过我的代码吗？
seo、google-crawlers
我一直在网上寻找很多，我一直认为谷歌的蜘蛛看到了代码，但经过研究，似乎这是不正确的。我知道会修，而且还没有多少经验。我特别想知道Google是否能在PHP中看到包含文件，这似乎是真的。我只是还没有找到谷歌是否真的看到我的代码的答案。任何帮助都会很好。
浏览 2提问于2014-11-26得票数 0
回答已采纳
2回答
Rails 3会话不是延迟加载
ruby-on-rails、ruby-on-rails-3
我读到过Rails3中的会话是延迟加载的，但我没有看到这种行为。为了测试这一点，我使用MySQL和activerecord会话存储创建了一个新的Rails3.2应用程序。
浏览 0提问于2012-10-13得票数 0
回答已采纳
1回答
让Google跳过指定的脚本
javascript
我很担心谷歌机器人和其他爬虫。我读过，重定向谷歌机器人会导致网页上的301，然后我的所有页面，将301到条款页.不是上帝。
浏览 1提问于2017-05-26得票数 1
回答已采纳
2回答
如何防止bot/googlebot索引促销主页？
googlebot、google-crawlers
但是我不希望机器人/爬虫看到这个内容(大图像)，相反，他们应该看到设置cookie之后的真实内容。URL对于两个内容都是相同的。
我可以对此做更多的澄清。如何避免机器人看到促销内容？
浏览 3提问于2014-04-11得票数 0
回答已采纳
1回答
识别搜索爬行器
java、tomcat、web、web-crawler
我有一个网站，统计有多少人访问了这个特定的网页，但我不想计数什么时候搜索爬虫访问他们。java是否有任何方法来识别它是爬虫还是真正的用户？使用Java7和tomcat
谢谢
浏览 2提问于2015-10-21得票数 1
回答已采纳
2回答
页面存在，google bot返回404错误
googlebot
我有一个在线的网站。当我通过浏览器使用它时，一切正常，这个页面显示在浏览器中。当我使用它作为googlebot (通过webmastertools工具)时，我得到了错误Date: Mon, 19 Nov 2012 09:57:37 GMTX-Powered-By: PHP/5.2.17Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
浏览 1提问于2012-11-19得票数 2
回答已采纳
4回答
从PHP视图计数器中排除机器人和蜘蛛
php、ads、web-crawler
我已经为一个PHP网站建立了一个相当基本的广告管理器。
我说basic是因为它不像Google或Facebook广告，甚至大多数高端广告服务器都不复杂。不处理付款或任何事情，甚至不针对用户。
浏览 4提问于2013-07-07得票数 8
回答已采纳
2回答
Botium Box crawler测试用例在Watson Assistant按钮上失败
automated-tests、chatbot、botium-box
生成的案例如下：hello
UTT_M1_HI-THERE!#botinput.text=="password" or input.text.contains("password")
W
浏览 29提问于2021-05-19得票数 0
回答已采纳
1回答
使用Google代理IP的用户
vpn、proxy、ip、headers、as-number
在我的网站上，我们记录用户IP，以确保我们能够适当地缓和和防止滥用。然而，我不知道谷歌本身有一个代理，除了“数据保护程序”的功能。66.102.8.219 66.249.91.121 google.com谷歌-代理-66-102-8-219
报头X-Forwarded-For将与用户的真实IP一起出
浏览 0提问于2019-03-26得票数 1
1回答
SemrushBot无法停止
web-scraping、bots、web-crawler、robots.txt
=20670906 HTTP/1.1" 500 5225 "-" "Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html
浏览 8提问于2022-11-07得票数 -1
9回答
通过JavaScript检测搜索爬虫
javascript、web-crawler、bots
我找到了一个如何检测某个浏览器的示例，但无法找到如何检测搜索爬虫的示例：我想阻止的搜索爬虫示例：Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot/2.1 (+http:
浏览 16提问于2013-11-19得票数 59
回答已采纳
3回答
重定向爬行器
php、html、redirect
我想添加一个脚本来检查代理信息，如果它匹配其中一个爬虫的一部分，我想轻轻地将其重定向到另一个页面。在页面级别重定向，而不是在.htaccess文件中重定向的最好方法是什么？
浏览 1提问于2011-06-25得票数 0
2回答
防止自定义Web爬虫被阻塞
c#、web-crawler、google-crawlers
我正在创建一个新的网络爬虫使用C#来抓取一些特定的网站。一切都很顺利。但问题是，，一些网站是阻塞我的爬虫IP地址，后，一些请求。我试着在爬行请求之间使用时间戳。但没有起作用。有没有办法阻止网站阻塞我的爬虫？有些类似的解决方案会有所帮助(但我需要知道如何应用它们)：
任何解决办法都会有帮助。
浏览 7提问于2011-10-04得票数 3
回答已采纳
1回答
爬虫会在论坛上添加页面浏览吗？
forum、spam-bots
我手动提交新的网址通过谷歌网站管理员的工具，如果任何情况下，应占1页的浏览，但不多。我现在没有活跃的会员。研究让我相信，我的100+成员谁从来没有张贴或回复管理电子邮件，实际上是注册机器人。那么，我的新内容是来自真实的人还是来自网络爬虫的页面浏览呢？
浏览 0提问于2017-04-01得票数 3
1回答
一个很好的python网络爬虫用户代理
python、web-crawler、user-agent
我正在做一个蟒蛇爬虫，我在考虑一个用户代理。我喜欢"urllib (兼容；owi bot；+owi.tk/bot)“(这是googlebot重写的)。
所以有人能帮我吗
浏览 1提问于2012-04-18得票数 0
1回答
Spring允许删除消息
spring-boot、slack、slack-api
session.sessionPersona().getId().equals(event.getSender().getId())) {
return; // don't react on slack bot's
浏览 0提问于2019-04-27得票数 1
回答已采纳
云服务器
ICP备案
对象存储
云点播
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号