我对基于PHP的网络爬虫有些怀疑，它能像基于java线程的爬虫一样运行吗？我之所以问这个问题，是因为在java中，线程可以一次又一次地执行，我不认为PHP有类似线程的功能，你们能说一下，哪个网络爬虫更能充分利用吗?基于PHP的爬虫还是基于Java的爬虫
浏览 1提问于2010-07-27得票数 0
回答已采纳
1回答
我正在寻找一个PHP的网络爬虫收集一个大型网站的所有链接，并告诉我，如果链接被打破。问题不是抓取链接，而是规模问题我不确定我修改的脚本是否足以抓取可能有数千个URL，因为我尝试将搜索链接的深度设置为4，但爬虫在浏览器中超时。
浏览 0提问于2011-04-12得票数 0
1回答
是否有可能阻止web爬虫在我的服务器上下载文件(如zip文件)？有可能阻止网络爬虫吗？或者，在下载最多3个文件后，是否还有其他选项可以将文件隐藏在web爬虫上？我可以很容易地创建一个PHP脚本，使用cookie强制访问者登录/注册，但是web爬虫呢？
顺便说
浏览 0提问于2013-07-27得票数 1
1回答
我有一个python爬虫，它获取信息并将其放入SQL中。现在我也有了php页面，它从SQL读取这个信息，并表示它。问题是:为了让爬虫程序工作，我的电脑必须全天候工作。是否有一种不同的方式运行网络爬虫？还是我必须在我的电脑上运行？
浏览 1提问于2015-12-08得票数 0
回答已采纳
2回答
return Redirect("/h");
return View();
问题:如果我限制一些浏览器访问我的主视图，它也会限制对网络爬虫的访问吗
浏览 0提问于2013-02-21得票数 0
回答已采纳
1回答
当我以如下方式运行文件时，此代码在终端中运行正常然而，我很好奇我需要做些什么才能让它在控制台中指定的URL上运行。$php webcrawler.php http://samplesite.comclass Ga_track function get_ga_implemented
浏览 2提问于2015-05-05得票数 1
我有一个阿贾克斯网络应用程序，我需要谷歌索引。所以我使用了hashbang，并且我需要将?_escaped_fragment_=传递给一个单独的爬虫PHP。目前重定向到像这样的url /crawler.
浏览 0提问于2014-11-10得票数 0
1回答
如何使用php获取HTML页面的标题？我已经做了一个php网络爬虫，我想在我的爬虫中实现这一功能，这样它就会有页面的名称和url。提前谢谢。可能使用preg_match。
浏览 0提问于2011-02-07得票数 3
回答已采纳
我需要编写一个网络爬虫，并希望能够爬行使用一个已知的用户代理。例如，我希望我的爬虫程序充当iphone来抓取网站的移动站点，然后使用Mozilla PC代理再次抓取，等等。然而，我也希望能够设置我的爬虫的用户代理，这样网站管理员也可以在他们的统计数据中看到访问整个网站的是一个爬虫，而不是真正的用户。所以我的问题是，你们知道如何在PHP中同时设置一个移动代理和一个爬虫代理吗？这有可能吗？
浏览 1提问于2011-05-14得票数 3
回答已采纳
如果我想写一个多线程爬虫，我想知道哪个是最好的best服务提供商。Appengine，ec2....
Appengine java显然有一些限制..此外，一个免费将是伟大的，因为我只是测试应用程序。
浏览 2提问于2009-12-17得票数 0
1回答
我有一个关于预先录制用php构建的vue应用程序的问题( laravel或纯php，没关系)，我的问题是，如何使用动态内容进行预录制:例如:当我用vue和php创建博客以显示帖子时，我在vue应用程序中发出谷歌机器人和其他网络爬虫将如何读取我的网站内容
提前感谢
浏览 1提问于2019-09-17得票数 0
回答已采纳
我需要找到一种方法来爬行我们公司的web应用程序之一，并从它创建一个静态网站，可以烧录到cd上，供旅行的销售人员用来演示网站。有没有人对爬虫有什么好的建议，可以处理像链接清理，flash，一些ajax，css等等？我知道机会很小，但我认为在我开始编写自己的工具之前，我应该在这里抛出这个问题。
浏览 3提问于2008-09-22得票数 9
回答已采纳
1回答
我们有一个PHP爬虫运行在我们的web服务器上。crawler运行时，没有cpu、内存或网络带宽峰值。一切都很正常。但是我们的网站(也是PHP)，托管在同一台服务器上，停止响应。基本上，爬虫会阻止任何其他php脚本运行。** fsockopen用于将文件下载到crawler！**
浏览 3提问于2010-05-11得票数 0
我最近一直在用PHP开发一个网络爬虫，作为一个新的PHP程序员，我不是最先进的。我对Python也有相当的了解，我可以用Python做一些事情，但在PHP中却不能。有什么方法可以让我在PHP脚本中运行带有参数的Python函数吗？请在你的答案具体，因为我不是令人惊讶的PHP。
浏览 4提问于2014-11-01得票数 0
7回答
我有丰富的PHP经验，尽管我意识到PHP可能不是大型网络爬虫的最佳语言，因为进程不能无限运行。人们推荐的语言是什么？
浏览 1提问于2010-09-08得票数 3
回答已采纳
这是我正在尝试的代码，它应该可以解释我正在尝试做的事情。只是尝试编辑元属性，为og:image创建一个与.html文件同名的图像。到目前为止还没什么好运气
浏览 1提问于2013-01-12得票数 0
3回答
我试图在C++中做一个非常简单的网页爬虫/蜘蛛应用程序。我一直在使用谷歌搜索一个简单的，以了解这个概念。我发现了这个：
然而，这是复杂的理解对我来说，因为我开始学习C++大约一个月前。
浏览 15提问于2010-11-25得票数 22
回答已采纳
1回答
我听说了一些关于网络蜘蛛的概念，我知道一些php和java，但是我不知道如何从上面解决这个问题。
谢谢!
浏览 0提问于2013-08-24得票数 -1
回答已采纳
云服务器
ICP备案
对象存储
腾讯会议
云直播
腾讯云开发者
