腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
对于蟒蛇
爬虫
,我应该使用无限
循环
还是cron作业?
python
、
cron
、
web-crawler
我用
python
编写了一个
爬虫
,它可以访问60多个网站,解析HTML,并将数据保存到数据库。哪一个更有效率?无限
循环
还是cron
浏览 7
提问于2021-05-14
得票数 0
1
回答
在ubuntu的后台运行时,
爬虫
停止。
python
、
web-crawler
我使用具有无限
循环
的
python
制作了一个简单的
爬虫
,所以它不能停止。随机延迟17 ~ 30,这个
爬虫
爬行相同的一个页面,并找到'href‘链接,定期更新,并存储到Mysql。因为我使用了Linux命令这个
爬虫
是在Ubuntu服务器背景下运行的。我想它已经运行了大约4个小时。但
爬虫
突然停止了。第二天我再试一次。
浏览 1
提问于2014-05-20
得票数 0
回答已采纳
5
回答
快速网络
爬虫
python
、
multithreading
、
web-crawler
、
web-mining
为此,我需要一个快速
爬虫
。所有我需要的是下载一个网页,提取链接和递归跟随他们,但不访问相同的网址两次。基本上,我想避免
循环
。编辑:解决方案是组合multiproces
浏览 4
提问于2011-10-05
得票数 8
回答已采纳
5
回答
简单唯一非优先级排队系统
python
、
queue
我正在用
python
编写一个简单的网络
爬虫
,我不想创建一个简单的queue类,但我不太确定最好的开始方法。我想要的东西,只持有唯一的项目来处理,这样
爬虫
将只抓取每一页每次脚本运行一次(只是为了避免无限
循环
)。有没有人能给我一个简单的队列示例?
浏览 0
提问于2009-02-14
得票数 1
回答已采纳
1
回答
Python
Scrapy -在爬行器退出后执行代码
python
、
scrapy
在
爬虫
退出后,如何执行
python
代码: 我在解析响应的函数中执行了以下操作(def parse_item(self,response):):self.my_function()而不是我定义的my_function(),但问题是它仍然在爬行器的
循环
中。我的主要思想是用收集到的数据在爬行器的
循环
之外的函数中执行给定的代码。谢谢。
浏览 7
提问于2016-09-15
得票数 3
1
回答
弹性豆杆不运行的克隆约伯
python
、
amazon-web-services
、
cron
、
crontab
、
amazon-elastic-beanstalk
我在一个弹力豆茎应用程序上有一个抓取器,我可以像这样运行SSH: 我想帮我安排一个任务来处理这个问题。Cron won't r
浏览 0
提问于2015-04-13
得票数 0
2
回答
测试我的网站在程序中是如何显示的
python
、
html
、
google-app-engine
、
browser
、
search-engine
网站不仅可以被浏览器上的用户访问,还可以被程序、机器人和
爬虫
访问。我有一个运行在上的带有
python
的网站,它具有由
python
程序通过组合、合并和
循环
字符串生成的非静态HTML页面。
python
生成内容完全是为了方便、简洁和易于维护,并且完全由url设置。 一些搜索引擎无法对动态页面进行索引。我想知道这些页面是否符合“动态”,即它们是否可以被这类机器人为通常的元数据和内容进行爬行或索引,并且通常希望有一种方法来检查任何url在机器人或
爬虫
中是如何出现的,比如搜索引擎使用的url,这样我
浏览 5
提问于2012-01-09
得票数 0
回答已采纳
1
回答
将具有动态生成名称的DynamoDB表导出到S3
amazon-s3
、
amazon-dynamodb
、
aws-glue
我将时间序列数据存储在每日生成的DynamoDB表()中。这些表的命名惯例是"timeseries_ 2019-12-20 ",其中2019-12-20为当前日期。我想以CSV格式将前一天表发送到S3桶。推荐的方法是什么?我在看AWS Glue,但不知道如何让它每天找到新的表名。也许有云观察事件的lambda函数会更好?DynamoDB表的大小不大,存储了几百个数字。
浏览 4
提问于2019-12-21
得票数 0
回答已采纳
2
回答
使用scrapy
python
的.net框架
c#
、
python
、
scrapy
、
ironpython
可以在
Python
框架中使用.NET框架从不同的站点抓取数据吗?我正在做我的最后一年的项目,在这个项目中,我想使用C#作为前端语言,并使用
Python
来抓取数据。
浏览 0
提问于2014-05-07
得票数 4
1
回答
Python
简单web
爬虫
错误(无限
循环
爬行)
python
、
beautifulsoup
、
urllib2
我用
python
写了一个简单的
爬虫
。它似乎工作良好,并找到新的链接,但重复发现相同的链接,它不是下载新的网页找到。它似乎是无限爬行,即使它达到了设定的爬行深度极限。我不会犯任何错误。它只会永远运行。我在Windows 7 64位上使用
Python
2.7。= 3: print "e.g:
python
crawl.py h
浏览 3
提问于2017-09-24
得票数 0
回答已采纳
1
回答
如果我为我的
python
脚本做了一个简单的gui,它会影响它的效率吗?
python
、
user-interface
、
tkinter
嗨,我想做一个网页
爬虫
,检查URL的数据,如果我做一个简单的Gui,使脚本更容易查找变量的数据,添加代码的gui会使我的网络
爬虫
效率降低吗? 我需要
爬虫
尽可能高效,能够尽可能快地处理数据。为这个
Python
脚本制作一个gui,会不会妨碍web
爬虫
的性能?
浏览 3
提问于2015-01-27
得票数 0
回答已采纳
3
回答
将数据从PHP脚本传递到
Python
Web Crawler
php
、
python
、
stdout
、
stdin
、
web-crawler
我有一个
python
爬虫
,每隔几分钟就抓取几个网页。我现在正在尝试实现一个可以通过web访问的用户界面,并显示
爬虫
获得的数据。我将使用php/html作为接口。无论如何,用户界面需要某种类型的按钮来触发
爬虫
程序立即抓取特定的网站(而不是等待下一次抓取迭代)。 现在,有没有一种方法可以将数据从php脚本发送到正在运行的
python
脚本?然后我在考虑使用一个共享文件,php在其中写入数据,
python
从中读取数据。但是,我需要一些方法来让
python
脚本知道,新数
浏览 1
提问于2011-03-31
得票数 1
1
回答
如何轻松地在远程github分支和本地分支/文件夹之间切换?
python
、
git
、
github
、
scrapy
我用
Python
2.7编写了大量的Scrapy爬行器。我需要将它们全部转换为支持
Python
3,这种转换必须在1 go内完成。我只能在
Python
3
爬虫
做好部署准备之后才能开始使用。现在,由于“所有操作都必须保持活动状态”,我需要一个单独的
Python
3
爬虫
的远程分支。这个分支可以称为Remote-B。我手动创建了这个分支,所以整个存储库现在有两个分支: Master(Remote-A)和
Python
3
爬虫
(Remote-B),后者是主分支的一个
浏览 3
提问于2019-09-10
得票数 0
回答已采纳
3
回答
用于web抓取的旋转代理
python
、
proxy
、
screen-scraping
、
web-crawler
、
squid
我有一个
python
网络
爬虫
,我想在许多不同的代理服务器上分发下载请求,可能是运行squid (尽管我对其他选择是开放的)。例如,它可以以
循环
方式工作,其中request1转到proxy1,request2转到proxy2,并最终
循环
回来。你知道怎么设置这个吗?
浏览 0
提问于2009-12-20
得票数 10
回答已采纳
1
回答
我怎么能强制停止我的
爬虫
得到一个特定的网址抓取最后一次?
python
、
beautifulsoup
、
scrapy
、
web-crawler
、
html-parsing
我正在制作一个
爬虫
来找出最近添加的youtube视频,当我的
爬虫
到达旧视频(在前一个转弯中爬行)时,我想停止
爬虫
。我使用的不是scrapy和漂亮的汤,我使用的是
python
库。请给我推荐任何选项
浏览 9
提问于2017-06-27
得票数 0
2
回答
如何在
python
中编写无休止的
循环
爬虫
?
python
、
python-3.x
、
web-crawler
爬虫
准备好了,并在当地工作。 run() call U
浏览 4
提问于2015-05-30
得票数 0
2
回答
使用django restframework使用
python
异步/等待
django
、
python-3.x
、
asynchronous
我只是将一个较旧的项目升级到
Python
3.6,发现有这些很酷的新异步/等待关键字。 我的项目包含一个网络
爬虫
,这是目前还不是很好的表现,大约需要7分钟才能完成。现在,由于已经有了django restframework来访问django应用程序的数据,所以我认为最好有一个REST端点,在那里我可以通过一个简单的POST请求从远程启动
爬虫
。但是,我不希望客户端同步等待
爬虫
完成。我只想马上给他发送信息,说
爬虫
已经启动,并在后台启动
爬虫
。"deep": &quo
浏览 3
提问于2017-10-18
得票数 7
回答已采纳
2
回答
PHP与
php
、
python
、
web-crawler
我计划制作的网络
爬虫
,可以抓取200+领域,哪一种语言将适合它。我非常熟悉PHP,但我是
Python
的业余爱好者。
浏览 2
提问于2014-11-21
得票数 0
回答已采纳
1
回答
如何提取我的
爬虫
目前所站的网址?
python
、
scrapy
、
web-crawler
我正在使用
python
中的scrapy框架制作一个web
爬虫
。其主要思想是,
爬虫
从页面中提取一些数据,如果数据符合某些条件,
爬虫
应该提取其当前所处的URL。是否有一些方法/函数可以获得当前的URL?
浏览 5
提问于2016-11-27
得票数 0
回答已采纳
1
回答
以编程方式调用同一个蜘蛛
web-scraping
、
scrapy
、
scrapy-spider
如何重新启动同一
爬虫
?这些网站是通过数据库传递的。我希望
爬虫
在一个无限
循环
中运行,直到所有的网站都被爬行。目前,我必须一直启动
爬虫
scrapy crawl first。是否有任何方法启动
爬虫
一次,它将停止时,所有的网站爬行?
浏览 7
提问于2016-05-03
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
python循环语句讲解(一):while循环
python循环执行
Python循环结构
python(七)for循环
Python爬虫入门3 爬虫必备Python知识
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券