我对基于PHP的网络爬虫有些怀疑，它能像基于java线程的爬虫一样运行吗？我之所以问这个问题，是因为在java中，线程可以一次又一次地执行，我不认为PHP有类似线程的功能，你们能说一下，哪个网络爬虫更能充分利用吗?基于PHP的爬虫还是基于Java的爬虫
浏览 1提问于2010-07-27得票数 0
回答已采纳
1回答
我正在寻找一个PHP的网络爬虫收集一个大型网站的所有链接，并告诉我，如果链接被打破。问题不是抓取链接，而是规模问题我不确定我修改的脚本是否足以抓取可能有数千个URL，因为我尝试将搜索链接的深度设置为4，但爬虫在浏览器中超时。
浏览 0提问于2011-04-12得票数 0
1回答
是否有可能阻止web爬虫在我的服务器上下载文件(如zip文件)？有可能阻止网络爬虫吗？或者，在下载最多3个文件后，是否还有其他选项可以将文件隐藏在web爬虫上？我可以很容易地创建一个PHP脚本，使用cookie强制访问者登录/注册，但是web爬虫呢？
顺便说
浏览 0提问于2013-07-27得票数 1
我计划为它写一个网络爬虫和一个基于网络的前端(或者至少是它找到的信息)。我想知道是否可以使用Django框架让网络爬虫使用与网站相同的MySQL后端(而不是让网络爬虫本身成为“网站”)。
浏览 1提问于2009-06-04得票数 1
回答已采纳
1回答
当我以如下方式运行文件时，此代码在终端中运行正常然而，我很好奇我需要做些什么才能让它在控制台中指定的URL上运行。$php webcrawler.php http://samplesite.comclass Ga_track function get_ga_implemented
浏览 2提问于2015-05-05得票数 1
2回答
网络爬虫的最佳数据库设计
、、、
许多数据库系统适合与网络爬虫一起工作，但是有没有专门为网络爬虫开发的数据库系统(在.net中)。1)与网络爬虫一起工作的最好的数据库系统是什么？
2)是否有涵盖所有功能的数据库系统！
浏览 2提问于2011-07-05得票数 1
4回答
我认识到，这个问题与SEO有关，而SEO被认为是一个不相关的话题，然而，所有与SEO相关的论坛都讨论一个人可以采取的营销步骤，而不是编程步骤或策略，并希望其他人能够在这里回答这个问题。当我的服务器呈现页面时，如何使用PHP从$_SERVER获取引用URL，并将其包含在内容中呢？
浏览 5提问于2014-01-22得票数 2
1回答
如何使用php获取HTML页面的标题？我已经做了一个php网络爬虫，我想在我的爬虫中实现这一功能，这样它就会有页面的名称和url。提前谢谢。可能使用preg_match。
浏览 0提问于2011-02-07得票数 3
回答已采纳
我一直在网上和StackOverflow上寻找答案，但我没有找到完全适用于我的情况的案例。我使用Facebook Linter来调试FB抓取我的meta标签的方式。如果我在一个简单的About页面上使用它，它可以提取所有内容，特别是og:url元标记。当我抓取正常的内容页面时，问题就开始了。尽管我已经三次检查了我的标记格式是否正确，但FB Linter将URI从URL中删除，因此它报告og:url标记只有域名electionstats.com/！页面上实际存在的og:url标记如下所示：
我怀疑这是FB缓存页面的问题，因为在我的About页面上，我进行了快速代码更改，更
浏览 3提问于2011-10-10得票数 0
回答已采纳
1回答
使用R的网络爬虫
、、
我想建立一个网络爬虫使用R程序为网站""，它可以访问与地址参数的网站，然后从网站获取生成的经度和纬度。这将对我拥有的数据集的长度重复。提前谢谢。
浏览 28提问于2018-06-08得票数 -2
1回答
我们有一个PHP爬虫运行在我们的web服务器上。crawler运行时，没有cpu、内存或网络带宽峰值。一切都很正常。但是我们的网站(也是PHP)，托管在同一台服务器上，停止响应。基本上，爬虫会阻止任何其他php脚本运行。** fsockopen用于将文件下载到crawler！**
浏览 3提问于2010-05-11得票数 0
1回答
我需要一个网络蜘蛛找到与正则表达式的某些链接。那么，你认为最好的解决方案是什么？
也许我可以配置一些现有的应用程序/代码来创建这个爬虫。
浏览 4提问于2011-10-13得票数 1
回答已采纳
如果我运行的爬虫与持久支持启用，我暂时松散的互联网连接。爬虫是否会重试那些在临时网络丢失期间获得无主机错误路由的URL？
浏览 2提问于2014-01-21得票数 1
回答已采纳
我想索引爬行网站到ElasticSearch，但我不知道，我可以索引爬行信息到ElasticSearch与php爬虫。我知道Apache可以将爬行网站索引到ElasticSearch，但是我对php爬虫一无所知！我可以在php web应用程序中使用Apach
浏览 4提问于2013-05-12得票数 3
特别是，我必须从收集的user agent值开始识别爬虫。现在问题来了。是否有公共目录或网络爬虫库？一个空的用户代理头是与爬虫有关还是与一个创作过程有关？
浏览 0提问于2012-08-07得票数 2
1回答
我有一个python爬虫，它获取信息并将其放入SQL中。现在我也有了php页面，它从SQL读取这个信息，并表示它。问题是:为了让爬虫程序工作，我的电脑必须全天候工作。是否有一种不同的方式运行网络爬虫？还是我必须在我的电脑上运行？
浏览 1提问于2015-12-08得票数 0
回答已采纳
7回答
我有丰富的PHP经验，尽管我意识到PHP可能不是大型网络爬虫的最佳语言，因为进程不能无限运行。人们推荐的语言是什么？
浏览 1提问于2010-09-08得票数 3
回答已采纳
" content="' + location.pathname.replace(/\.html$/, '.jpg') + '">')</script>
只是尝试编辑元属性，为og:image创建一个与.
浏览 1提问于2013-01-12得票数 0
2回答
无法识别附加的h1标记
、、、
我在这个页面上用jquery添加了h1标记，如下所示：h1标记和标记的内容显示得很好，但是当我在各种seo工具(例如这个：)中测试我的页面时，我得到的消息是页面没有h1标记。 $(
浏览 2提问于2013-04-15得票数 2
回答已采纳
云服务器
ICP备案
对象存储
云直播
腾讯会议
腾讯云开发者
