3回答
重定向爬行器
、、
我想添加一个脚本来检查代理信息，如果它匹配其中一个爬虫的一部分，我想轻轻地将其重定向到另一个页面。在页面级别重定向，而不是在.htaccess文件中重定向的最好方法是什么？
浏览 1提问于2011-06-25得票数 0
我需要使用PHP从网站中获取数据，并将其保存在MySQL数据库中。我还想获取图像并将它们保存在我的服务器中，以便在我的站点中显示它们。我听说可以使用API，但是我想知道我是否可以使用CURL来完成这个任务。我想每天获取大量的数据，那么使用CURL会消耗大量的服务器端资源吗？还有哪些其他方法可以获取数据？
浏览 5提问于2011-08-17得票数 1
我想索引爬行网站到ElasticSearch，但我不知道，我可以索引爬行信息到ElasticSearch与php爬虫。我知道Apache可以将爬行网站索引到ElasticSearch，但是我对php爬虫一无所知！我
浏览 4提问于2013-05-12得票数 3
1回答
我正在使用python中的scrapy框架制作一个web爬虫。其主要思想是，爬虫从页面中提取一些数据，如果数据符合某些条件，爬虫应该提取其当前所处的URL。是否有一些方法/函数可以获得当前的URL？
浏览 5提问于2016-11-27得票数 0
回答已采纳
1回答
我正在制作一个PHP爬虫，用来探索名为alza.cz的电子商店。我想要链接到电子商店的所有产品。我的地址是：.，但这只显示前21项。要获得所有的项目，我必须去地址：。爬虫使用file_get_contents获取页面的HTML，然后使用DOM进行解析。问题是，看起来file_get_contents在#之后忽略了这个部分(只返回前21项而不是全部)。
浏览 4提问于2013-09-27得票数 1
回答已采纳
我对基于PHP的网络爬虫有些怀疑，它能像基于java线程的爬虫一样运行吗？我之所以问这个问题，是因为在java中，线程可以一次又一次地执行，我不认为PHP有类似线程的功能，你们能说一下，哪个网络爬虫更能充分利用吗?基于PHP的爬虫还是基于Java的爬虫
浏览 1提问于2010-07-27得票数 0
回答已采纳
请问制作的镜像可以作为某个时间VPS的备份用于在需要的时候恢复VPS么？另外，镜像是否占用购买的磁盘空间？如果不占用，那是否算是“赠送”？谢谢！
浏览 555提问于2016-04-16
1回答
是否有可能阻止web爬虫在我的服务器上下载文件(如zip文件)？有可能阻止网络爬虫吗？或者，在下载最多3个文件后，是否还有其他选项可以将文件隐藏在web爬虫上？我可以很容易地创建一个PHP脚本，使用cookie强制访问者登录/注册，但是web爬虫</
浏览 0提问于2013-07-27得票数 1
我想在本地同伙网页上传本地视频到腾讯云中，用的是PHP语言，请问有PHP的视频上传的demo么？开发文档也可以？
浏览 371提问于2019-08-20
我一直在网上搜索任何制作谷歌加爬虫的方法。我对Twitter，甚至是Facebook都有丰富的经验，但是，我没有在Google+文档中找到任何可以帮助我的东西。那么，我的问题是，是否有人知道是否有可能制作一个Google +爬虫来收集公共帖子的信息？
浏览 2提问于2014-02-12得票数 0
回答已采纳
我在Python中制作了一个电子邮件爬虫程序(基本上是一个使用其他几个功能的函数)，它帮助我在generate实习的公司。我的老板问我是否可以让我的python电子邮件爬虫进入一个网络应用程序，这样其他员工就可以通过我来抓取电子邮件，这样我就可以在更重要的事情上工作。是否有一些web应用程序框架可以用来将我的python电子邮件爬虫程序转换成一个简单的公司专用web应用程序？制作网络应用程序所需的时间范围是什么？
浏览 5提问于2015-07-08得票数 0
回答已采纳
我实际上正在制作一个爬虫，它可以从网站上获取单词，并将整个页面存储为html文件，但现在我想比较新的爬虫与旧的爬虫，即旧的html文件与新的，找出它们之间的差异，有多少单词被删除或插入？因此，基本上我需要c#代码或示例，它们可以帮助我找出两个html文件是如何比较的？但它对我不起作用
浏览 1提问于2011-12-23得票数 0
回答已采纳
我有一个python爬虫，每隔几分钟就抓取几个网页。我现在正在尝试实现一个可以通过web访问的用户界面，并显示爬虫获得的数据。我将使用php/html作为接口。无论如何，用户界面需要某种类型的按钮来触发爬虫程序立即抓取特定的网站(而不是等待下一次抓取迭代)。
现在，有没有一种方法可以将数据从php脚本发送到正在运行的python脚本？我在考虑标准输入/输出，但找不到一种方法可以做到这一点(从一个进程写入另一个进程stdin)。然后我
浏览 1提问于2011-03-31得票数 1
1回答
我正在制作一个爬虫，可以用于所有的电子商务网站。目前，我正在以下网站上测试我的爬虫。
在中，按下next按钮可以获得更多产品。
每个网站都有不同的按钮类/标签，那么我如何才能确定是按下按钮还是向下滚动。
浏览 1提问于2014-06-14得票数 0
2回答
我想让一个爬虫，只会一直无限地前进，直到一个网页没有链接。每次它抓取一个页面时，它都会返回网页的html，这样我就可以解析它，并从文章或p标记中获得标题、元标记和信息。html = page.content insert_in_db(html, meta, title, info, url)我正在为DB使用php、javascript和MySQL，但是我没有问题切换到python或任何其他语言，对于分布式系统我没有太多的钱，但是我需要它快速，并且不需要花20分钟
浏览 4提问于2022-10-12得票数 0
3回答
我正在考虑制作一个网络爬虫/蜘蛛，但我需要有人给我指出正确的方向才能开始。我只是想知道有没有人对我该怎么做有什么建议。我听说用PHP做这件事会非常慢。我了解vb.net，所以这能派上用场吗？
我正在考虑使用Googles文件类型搜索来获取要抓取的链接。这样可以吗？
浏览 4提问于2010-07-09得票数 5
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
