腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何使用
php
获取HTML页面的标题?
、
、
如何使用
php
获取HTML页面的标题?我已经做了一个
php
网络
爬虫
,我想在我的
爬虫
中
实现
这一功能,这样它就会有页面的名称和url。提前谢谢。可能使用preg_match。
浏览 0
提问于2011-02-07
得票数 3
回答已采纳
2
回答
基于
PHP
的Web
爬虫
或基于JAVA的Web
爬虫
、
、
我对基于
PHP
的
网络
爬虫
有些怀疑,它能像基于java线程的
爬虫
一样运行吗?我之所以问这个问题,是因为在java中,线程可以一次又一次地执行,我不认为
PHP
有类似线程的功能,你们能说一下,哪个
网络
爬虫
更能充分利用吗?基于
PHP
的
爬虫
还是基于Java的
爬虫
浏览 1
提问于2010-07-27
得票数 0
回答已采纳
1
回答
PHP
网络
爬虫
、
我正在寻找一个
PHP
的
网络
爬虫
收集一个大型网站的所有链接,并告诉我,如果链接被打破。问题不是抓取链接,而是规模问题我不确定我修改的脚本是否足以抓取可能有数千个URL,因为我尝试将搜索链接的深度设置为4,但
爬虫
在浏览器中超时。
浏览 0
提问于2011-04-12
得票数 0
1
回答
如何为多个页面创建一个变量Meta property og:image?
、
、
这是我正在尝试的代码,它应该可以解释我正在尝试做的事情。只是尝试编辑元属性,为og:image创建一个与.html文件同名的图像。到目前为止还没什么好运气
浏览 1
提问于2013-01-12
得票数 0
1
回答
带有简单动态内容"listener“的Perl webcrawler
、
我正在尝试用Perl做一个简单的
网络
爬虫
,但是很多网站都有动态内容加载,例如,使用javascript函数: $("#blabla").load('blublu/bla.
php
');因此,我正在尝试调整我已经拥有的
网络
爬虫
(获取HTML内容),以“等待”这些脚本加载,然后才获取整个(和完整)网站内容(HTML)。到目前为止,我发现有人说这可以通过WWW::Mechanize,
浏览 2
提问于2013-01-15
得票数 2
回答已采纳
1
回答
如何阻止Web
爬虫
下载文件
、
、
是否有可能阻止web
爬虫
在我的服务器上下载文件(如zip文件)?有可能阻止
网络
爬虫
吗?或者,在下载最多3个文件后,是否还有其他选项可以将文件隐藏在web
爬虫
上?我可以很容易地创建一个
PHP
脚本,使用cookie强制访问者登录/注册,但是web
爬虫
呢? 顺便说
浏览 0
提问于2013-07-27
得票数 1
1
回答
PHP
cURL
网络
爬虫
、
当我以如下方式运行文件时,此代码在终端中运行正常然而,我很好奇我需要做些什么才能让它在控制台中指定的URL上运行。$
php
webcrawler.
php
http://samplesite.comclass Ga_track function get_ga_implemented
浏览 2
提问于2015-05-05
得票数 1
6
回答
Tor
网络
爬虫
、
、
、
、
我有一个基于
PHP
的
网络
爬虫
。它可以在这里访问:现在,我的问题是我的
爬虫
需要在SOCKS端口9050上抓取页面。问题是,我必须通过Tor隧道它的连接,这样它才能解析.onion域,这就是我要索引的。我使用
php
crawl.
php
从命令行调用此脚本,并添加适当的参数来抓取页面。我的想法是:有没有办法强迫它使用Tor?或者我可以强制我的整个机器通过Tor进行隧道操作,以及如何
实现
?(比如强制所有流量通过127.0.0.1:9050)也许如果我设置了全局代理设置,
p
浏览 7
提问于2012-02-11
得票数 10
1
回答
如何使用
网络
爬虫
从flv文件中提取内容?
、
、
、
请建议我如何使用任何
网络
爬虫
来
实现
这一点。如果这是不可能与
网络
爬虫
,请建议我任何其他工具。 谢谢你
浏览 0
提问于2013-05-14
得票数 0
回答已采纳
2
回答
建立一个自定义的网页
爬虫
的最佳方法,以便在URL中找到带有任意文本的站点?
、
但是,没有使用任何搜索引擎,这意味着,编写一个纯
网络
爬虫
。--很明显,它永远不会停下来运行.它甚至在碰到我想要的东西之前会遇到很多“垃圾”站点。
浏览 8
提问于2010-09-26
得票数 0
回答已采纳
1
回答
使用
php
检查AngularJS网页上是否存在某个字符串。
、
、
是否仍然可以使用
php
curl或其他语言进行搜索。
浏览 17
提问于2017-02-24
得票数 1
1
回答
试图
实现
PHP
爬虫
?
、
、
我正在尝试在我的网站上
实现
PHP
爬虫
。我的主要动机是从其他网站获得产品的价格。为此,我尝试使用dom解析器,但我的脚本不起作用。我解析类为prc的div的代码是:-include('simplehtmldom/simple_html_dom.
php
');$html-
浏览 0
提问于2013-08-19
得票数 0
回答已采纳
1
回答
是什么阻碍了我的
PHP
脚本?
、
、
、
我们有一个
PHP
爬虫
运行在我们的web服务器上。crawler运行时,没有cpu、内存或
网络
带宽峰值。一切都很正常。但是我们的网站(也是
PHP
),托管在同一台服务器上,停止响应。基本上,
爬虫
会阻止任何其他
php
脚本运行。** fsockopen用于将文件下载到crawler!**
浏览 3
提问于2010-05-11
得票数 0
5
回答
如何将动态站点转换为可从CD演示的静态站点?
、
、
有没有人对
爬虫
有什么好的建议,可以处理像链接清理,flash,一些ajax,css等等?我知道机会很小,但我认为在我开始编写自己的工具之前,我应该在这里抛出这个问题。
浏览 3
提问于2008-09-22
得票数 9
回答已采纳
3
回答
非常简单的C++
网络
爬虫
/蜘蛛?
、
我试图在C++中做一个非常简单的网页
爬虫
/蜘蛛应用程序。我一直在使用谷歌搜索一个简单的,以了解这个概念。我发现了这个: 然而,这是复杂的理解对我来说,因为我开始学习C++大约一个月前。
浏览 15
提问于2010-11-25
得票数 22
回答已采纳
3
回答
(
网络
爬虫
)如何从新闻网站获取新闻文章的文本
、
、
、
、
readnews.
php
?id=16727 汤汁?还是其他
网络
爬虫
? 谢谢
浏览 3
提问于2016-06-24
得票数 0
2
回答
蜘蛛会使用哪个链接来搜索列表,静态链接还是RewriteRule url?
、
、
、
、
我是Apache重定向的新手,但我已经学会了如何处理由
PHP
在我的网站上生成的干净urls,它们工作得很好。RewriteRule ^([^/]+)
浏览 0
提问于2013-03-15
得票数 1
回答已采纳
1
回答
如何有效地运行python web
爬虫
、
、
、
我有一个python
爬虫
,它获取信息并将其放入SQL中。现在我也有了
php
页面,它从SQL读取这个信息,并表示它。问题是:为了让
爬虫
程序工作,我的电脑必须全天候工作。是否有一种不同的方式运行
网络
爬虫
?还是我必须在我的电脑上运行?
浏览 1
提问于2015-12-08
得票数 0
回答已采纳
7
回答
哪些语言适合编写
网络
爬虫
?
、
、
、
我有丰富的
PHP
经验,尽管我意识到
PHP
可能不是大型
网络
爬虫
的最佳语言,因为进程不能无限运行。人们推荐的语言是什么?
浏览 1
提问于2010-09-08
得票数 3
回答已采纳
3
回答
具有线程支持的python web
爬虫
、
这些天我做了一些
网络
爬虫
脚本,但其中一个问题是我的互联网非常慢。所以我在想,是否可以通过使用mechanize或urllib之类的方法来
实现
多线程的
网络
爬虫
。如果任何人有经验,分享信息非常感谢。
浏览 3
提问于2009-12-05
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
热门
标签
更多标签
云服务器
ICP备案
对象存储
云直播
腾讯会议
活动推荐
运营活动
广告
关闭
领券