当我编写python爬虫时，我经常使用urlopen。有时它无法打开url (所以我得到一个错误)，但当我重新尝试打开这个url时，它成功了。因此，我通过这样编写爬虫来处理这种情况：'''open the url and return its content'''contents = response.read().decode('utf8
浏览 3提问于2016-05-03得票数 0
我正在创建一个网络爬虫，我使用HTMLParser模块来解析超文本标记语言文档中的链接。如果解析器遇到错误的标记，它会引发解析错误并终止应用程序。由于爬虫遍历了整个web，所以这个错误经常会被抛出。在python.org错误部分，已经有人提出了这个问题。你可以看看这个。这样做的问题是，我真的不知道如何使用提供的“补丁”，我也不理解评论。
浏览 0提问于2011-04-20得票数 1
回答已采纳
网络爬虫(包括搜索引擎和非搜索引擎)会以什么方式影响网站统计(例如，在进行AB测试不同页面的变化时)？解决这些问题的方法是什么？例如：
为了澄清，基于以下评论:我也感兴趣的情况下，我的网站是具体的目标(可能是非法爬虫</e
浏览 3提问于2010-04-12得票数 1
回答已采纳
我能做些什么来避免这种情况吗？我已经确保我不会在当天结束(或第二天结束)时开始一项任务，因为我不能在那段时间内完成。
这是一个糟糕的项目管理的迹象吗？另外，项目经理如何处理时区(它们确实很不方便)？
浏览 2提问于2010-08-28得票数 2
目前我们考虑使用应用程序应该扩展加班费、Python或Jython。有什么建议吗？
浏览 5提问于2011-07-29得票数 4
我使用具有无限循环的python制作了一个简单的爬虫，所以它不能停止。随机延迟17 ~ 30，这个爬虫爬行相同的一个页面，并找到'href‘链接，定期更新，并存储到Mysql。因为我使用了Linux命令这个爬虫是在Ubuntu服务器背景下运行的。我想它已经运行了大约4个小时。但爬虫突然停止了。第二天我再试一次。有什么问题吗？这是关于网页的块吗？或者nohup命令有限制时间？非常
浏览 1提问于2014-05-20得票数 0
回答已采纳
2回答
我经常读到服务器端渲染作为Angular2的一个伟大的新特性，它将使webapp可以被Google、Bing等爬行。
但是，对于应用程序启动时动态加载的内容，这是如何工作的呢？爬虫会在索引页面之前等待那些挂起的请求吗？还是我必须指定我的Angular2应用程序的特定状态，它告诉服务器我的应用程序已经准备好发送到客户机(在本例中是爬虫)？
浏览 5提问于2017-02-07得票数 1
回答已采纳
嗨，我想做一个网页爬虫，检查URL的数据，如果我做一个简单的Gui，使脚本更容易查找变量的数据，添加代码的gui会使我的网络爬虫效率降低吗？
我需要爬虫尽可能高效，能够尽可能快地处理数据。为这个Python脚本制作一个gui，会不会妨碍web爬虫的性能？
浏览 3提问于2015-01-27得票数 0
回答已采纳
爬虫的常见输出格式是什么？它会是XML，JSON吗？或者它会根据爬虫的不同而不同，例如: Python，Java？
浏览 0提问于2012-08-20得票数 0
回答已采纳
1回答
最近，我写了一个网络爬虫访问该网站，并为我做了一些事情。我经常使用爬虫，现在我在网站上得到了许可。我以为流量太大了，这个网站以后会恢复正常的行为，但事实并非如此。有什么原因我能解决吗？
浏览 0提问于2023-01-16得票数 0
我想用python写一个小的网络爬虫。我开始研究将其编写为多线程脚本，一个线程下载池和一个池处理结果。由于有了GIL，它真的可以同时下载吗？GIL对网络爬虫有什么影响？基本上我想问的是，用python做一个多线程爬虫真的比单线程能给我带来更多的性能吗？
谢谢!
浏览 4提问于2010-05-14得票数 10
回答已采纳
1回答
现在我想启用AWS Glue data Catalog和AWS Glue Crawlers，但是爬虫遍历所有数据的代价让我感到害怕。
模式不会经常更改，因此没有必要遍历S3上的所有文件。爬虫会默认浏览所有的文件吗？有没有可能配置一种更智能的采样策略，只查看部分文件而不是所有文件？
浏览 14提问于2019-10-21得票数 0
我有一个python爬虫，每隔几分钟就抓取几个网页。我现在正在尝试实现一个可以通过web访问的用户界面，并显示爬虫获得的数据。我将使用php/html作为接口。无论如何，用户界面需要某种类型的按钮来触发爬虫程序立即抓取特定的网站(而不是等待下一次抓取迭代)。
现在，有没有一种方法可以将数据从php脚本发送到正在运行的python脚本？然后我在考虑使用一个共享文件，php在其中写入数据，python从中读取数据。但是，我需要一些方法来让python脚本知道，新数
浏览 1提问于2011-03-31得票数 1
3回答
第二:对此数据运行通宵批处理python脚本(文本分类)。about 建议我可以只用Django本身编写爬虫，但我不确定该怎么做。基本上--对于用Django或现有的python爬虫编写我可以适应的爬虫有什么建议吗？或者我是否应该在第二步中加入“变成Django友好的东
浏览 0提问于2009-06-09得票数 2
1回答
我用python编写了一个爬行过程，它运行在亚马逊上的一个ec2实例上。我已经编写了这个爬虫，这样它就可以用它的结果向一个单独的"hub“实例报告。集线器处理爬虫的结果，爬虫可以自由地继续爬行。我在这个爬行实例中想到的是，克隆爬虫的几个实例很容易，每个实例都要向中心报告以便处理。
有冗余，所以如果一个爬虫被挂断，其余的爬虫可以继续工
浏览 2提问于2015-01-08得票数 0
回答已采纳
我正在开发一个python爬虫，从Play Store中的应用程序中检索一些信息。我的爬虫检索应用程序评级、开发人员等等，但不检索权限。这是因为谷歌使用的是假链接，而且没有html可以捕捉到。有人知道如何获取这些信息吗？欢迎任何帮助！
提前谢谢。
浏览 4提问于2015-02-27得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
