腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何阻止Web
爬虫
下载文件
security
、
spam-filter
、
web-crawler
是否有可能阻止web
爬虫
在我的服务器上下载文件(如zip文件)?有可能阻止网络
爬虫
吗?或者,在下载最多3个文件后,是否还有其他选项可以将文件隐藏在web
爬虫
上?我可以很容易地创建一个
PHP
脚本,使用cookie强制访问者
登录
/注册,但是web
爬虫
呢? 顺便说
浏览 0
提问于2013-07-27
得票数 1
1
回答
试图
实现
PHP
爬虫
?
php
、
dom
、
web-crawler
我正在尝试在我的网站上
实现
PHP
爬虫
。我的主要动机是从其他网站获得产品的价格。为此,我尝试使用dom解析器,但我的脚本不起作用。我解析类为prc的div的代码是:-include('simplehtmldom/simple_html_dom.
php
');$html-
浏览 0
提问于2013-08-19
得票数 0
回答已采纳
1
回答
如何设置支持一系列动态URL的AdSense
爬虫
登录
?
google-adsense
、
web-crawlers
、
dynamic
每一段动态内容都有自己的网址,如"www.example.com/page/\*/\*“是否有任何方法来设置支持一系列动态URL的AdSense
爬虫
登录
?
浏览 0
提问于2015-02-03
得票数 3
1
回答
爬行Anywhere+Solr+ Tomcat:无法访问
爬虫
管理
solr
、
tomcat7
、
web-crawler
、
solrj
我正在尝试在任何地方
实现
爬行,以抓取文档文件文件夹。安装了tomcat和Apache web服务器。<error><errmsg>Missing action</errmsg>谁能告诉我错过了什么,以及如何
登录<
浏览 2
提问于2013-12-02
得票数 0
回答已采纳
1
回答
如何使用
php
获取HTML页面的标题?
php
、
html
、
title
如何使用
php
获取HTML页面的标题?我已经做了一个
php
网络
爬虫
,我想在我的
爬虫
中
实现
这一功能,这样它就会有页面的名称和url。提前谢谢。可能使用preg_match。
浏览 0
提问于2011-02-07
得票数 3
回答已采纳
1
回答
是否有一个蜘蛛/链接检查器可以在受
登录
保护的站点内部启动?
links
、
web-crawlers
、
dead-links
我需要能够
登录
到黑板管理员,导航到课程部分,并执行搜索,以调出课程列表,然后运行链接检查在搜索结果的链接。 有这样做的产品或服务吗?我从未使用过selenium,但我想知道脚本解决方案是否更合适。
浏览 0
提问于2013-02-22
得票数 2
1
回答
编写可与任何服务器保持
登录
状态的crawler
c#
、
python
、
http
、
session
、
web-crawler
我正在写一个
爬虫
。一旦
爬虫
登录
到一个网站,我想使
爬虫
“停留-始终
登录
”。我该怎么做呢?客户端(如浏览器、
爬虫
等)使服务器遵守此规则吗?当服务器在一天内允许有限的
登录
时,可能会出现这种情况。
浏览 0
提问于2009-11-26
得票数 0
回答已采纳
1
回答
在错误报告中区分布鲁特力和爬行器
web-application
、
web-browser
、
brute-force
、
ip
有一个好的方法来区分明显的暴力攻击和
爬虫
检查网站吗? 更新:所有电子邮件都是从生产网站生成的。错误报告发出空引用异常。
浏览 0
提问于2017-03-01
得票数 0
回答已采纳
3
回答
如何使
爬虫
能够访问封闭(私有)的wiki?
web-crawler
、
mediawiki
、
user-permissions
我需要向
爬虫
提供访问私有维基的权限。对于如何启用对单个客户端(而不是用户,因为
爬虫
无法
登录
到wiki)的访问,有什么建议吗?
浏览 2
提问于2011-01-27
得票数 0
回答已采纳
3
回答
使用onclick()重定向到下一页
javascript
、
php
php
?><script type="text/javascript"> if(isset($_SESSION['user']) else return false
浏览 20
提问于2016-09-02
得票数 0
回答已采纳
1
回答
如何允许Facebook访问受保护的内容
facebook
、
comments
、
password-protection
我在受密码保护的页面上使用Facebook评论。我最近发现,当创建一个新的帖子时,我收到错误'facebook comments {page} is unreachable‘,并且当我使用Facebook的调试工具进行调试时,找不到ID。FB Namespace、meta tag和js都被正确插入,并且在所有非受保护的页面上都能正常工作。所以我猜Facebook需要能够在第一时间访问页面才能在它的数据库中设置它? 有没有办法让Facebook一开始就能访问这个页面?例如,在我的
浏览 3
提问于2011-09-20
得票数 1
1
回答
如何检查当前web用户是否是实际用户而不是
爬虫
asp.net-mvc-3
、
httpwebrequest
、
security
、
httprequest
有没有一种准确的方法来检查当前浏览我的网站的用户是否是一个真正的用户,而不仅仅是一个
爬虫
。
浏览 0
提问于2013-04-27
得票数 2
3
回答
将数据从
PHP
脚本传递到Python Web Crawler
php
、
python
、
stdout
、
stdin
、
web-crawler
我有一个python
爬虫
,每隔几分钟就抓取几个网页。我现在正在尝试
实现
一个可以通过web访问的用户界面,并显示
爬虫
获得的数据。我将使用
php
/html作为接口。无论如何,用户界面需要某种类型的按钮来触发
爬虫
程序立即抓取特定的网站(而不是等待下一次抓取迭代)。 现在,有没有一种方法可以将数据从
php
脚本发送到正在运行的python脚本?然后我在考虑使用一个共享文件,
php
在其中写入数据,python从中读取数据。但是,我需要一些方法来让python脚本知道,新数
浏览 1
提问于2011-03-31
得票数 1
2
回答
Nginx可以代理特定的URL来隐藏脚本文件的目录吗?
nginx
、
matomo
JS代码片段公开了一个调用来进行跟踪的
PHP
文件(例如,请参见here )。此
PHP
文件与用于
登录
的文件和其他文件位于同一文件夹中,即这会向恶意
爬虫
程序暴露太多信息。因此,我想通过一个不存在的或误导性的路径代理
PHP
文件的URL。例如。不安全: _paq.push(['setTrackerUrl', u+'https://www.mytracker.com/exposed_installation/matomo.
php
浏览 48
提问于2019-09-22
得票数 0
1
回答
Instagram基本显示API:如何获取代码
php
、
instagram
、
instagram-api
当我打开URL时,它将我重定向到
登录
页面。如果我
登录
,那么只有我从url获得代码。 问题是:如何在不
登录
的情况下获得代码?因为我只想显示用户的一些随机帖子。
浏览 2
提问于2020-01-23
得票数 0
1
回答
Crawler
登录
到gmail电子邮件帐户
java
、
basic-authentication
我想写一个
爬虫
在Java中自动
登录
到gmail帐户。我的
爬虫
将获得
登录
Id和密码,并将
登录
到电子邮件帐户,并显示输出页面。我不清楚该怎么做。谁能告诉我如何编写
爬虫
登录
到gmail电子邮件帐户?任何回应都将不胜感激。 提前谢谢。
浏览 2
提问于2010-08-27
得票数 1
3
回答
如何防止昂贵的API被
爬虫
和
爬虫
吃掉?
php
我注意到,来自蜘蛛和
爬虫
的访问产生了对该API的数千次调用,而我正在为这些调用收费。有没有办法阻止显示由API生成的内容的网页部分,即只有实际的访问者才能看到它,并且在抓取网页时不会生成API调用?
浏览 1
提问于2016-10-23
得票数 2
2
回答
谷歌如何抓取需要
登录
的页面?
google
我在Google上查询了一个短语,当我点击第一个结果时,它要求我
登录
,并且不允许我在没有
登录
的情况下继续。我想知道Google如何爬行这些需要
登录
的页面。
浏览 0
提问于2019-01-10
得票数 1
回答已采纳
1
回答
如果用户名和密码不在同一屏幕上,Google是否可以爬行到
登录
屏幕之外
google-play
、
google-play-console
、
prelaunch
我试图通过提供Sign-in credentials使Pre-launch report能够很好地覆盖更多的屏幕(在
登录
屏幕之外),但是在提供测试帐户后,爬行仍然不能超出
登录
屏幕。也就是说:先输入用户名(实际上需要一个电话号码),然后在这个屏幕上点击Next按钮,看到输入密码的屏幕(实际上是通过短信的2fc ),在输入2fc后,应用程序会自动
登录
,所以没有Sign-in按钮。也就是说:如果用户名和密码不在同一个屏幕上,谷歌还能在
登录
屏幕之外爬行吗?
浏览 9
提问于2020-06-10
得票数 0
1
回答
Facebook发送API元标记
php
、
facebook
、
facebook-graph-api
、
metadata
我想邀请一位朋友参加我的申请,我给他发了一条信息,告诉他加入这个游戏。function invitefbfriends(){ method: 'send', });为什么这个错误的元数据? 我在相应的页面中有元标记,但这是从 (索引页)
浏览 1
提问于2014-07-30
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
PHP实现QQ登录的原理和实现过程
使用php实现单点登录实例详解
PHP实现QQ登录的开原理和实现过程
PHP后台实现用微信小程序登录
PHP实现QQ第三方登录
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券