腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
Python
web
抓取
脚本
在
循环
期间
重新开始
python
下面是代码,当我运行
脚本
时,它从第一页开始运行。其目的是从每个页面获取帖子标题、日期和正文,然后单击每个页面底部的next再次启动该过程。
浏览 30
提问于2020-11-11
得票数 0
2
回答
Django应用程序初始化过程
python
、
django
、
deployment
、
development-environment
在
服务器启动
期间
,需要执行一组功能。不管路径如何,不管是"/“、"/blog/、”/blog/post。出于开发目的,我希望这个
脚本
每次运行
python
manage.py runserver时都能运行,出于生产目的,我希望这个
脚本
在
部署
期间
运行。有人知道怎么做吗?我的
脚本
正在
抓取
数据,并使用
python
和它的一些库调用Facebook的Graph
浏览 5
提问于2015-07-19
得票数 0
回答已采纳
2
回答
使用Bash
脚本
在
python
库上进行
web
抓取
?
python
、
bash
、
curl
、
sed
、
web-scraping
我正在尝试从有经验的人那里获取更多的信息,一般来说,我正在使用
Python
库进行
web
抓取
。与此同时,我注意到一些人正在使用simple Bash,并使用wget, curl, sed, grep, awk等命令进行
web
抓取
。与使用
Python
库进行
web
抓取
相比,这些命令
在
脚本
编写方面似乎要干净得多。 你对此有什么看法?您认为使用
python
库比使用Bash有什么优势吗?或者甚至使用
Py
浏览 1
提问于2017-03-03
得票数 0
1
回答
Python
脚本
-
Web
抓取
html
、
python-3.x
、
web-scraping
我正在做一个
脚本
,从一个网址(http://www.pmo.cz/portal/nadrze/cz/mereni_1_mes.htm)获取一些数据。(我刚刚开始使用
python
,所以如果这只是另一个重复的问题,我很抱歉) 我尝试了.rstrip函数,尝试使用for
循环
删除它,尝试将其转换为另一种数据类型,但似乎什么都不起作用:( 我遵循了一个教程(
浏览 14
提问于2020-01-26
得票数 1
回答已采纳
2
回答
如何创建一个调用
python
抓取
脚本
的
web
服务?
python
、
python-2.7
、
web-scraping
、
bottle
我是
python
初学者,我需要一些帮助来创建一个
web
服务,该服务调用
python
抓取
脚本
(一门课程的任务)。其想法是首先创建
web
服务,然后使用服务器上的
web
抓取
脚本
。 感谢哥伦比亚的帮助和问候!
浏览 3
提问于2015-12-16
得票数 0
回答已采纳
1
回答
如何简化/自动化数据输入?
database
、
web
我希望创建一个网站周围的工具,从不同的网站插入到我的表单信息。我想取消/简化数据输入。有谁知道完成这项任务的好方法吗?
浏览 0
提问于2016-04-19
得票数 1
1
回答
为什么selenium不能在Firefox上工作,但是
在
重新安装之后却可以无缝地工作呢?
python
、
selenium
、
firefox
、
geckodriver
因此,我从“用
Python
自动完成无聊的事情”开始,现在学习第11章,即
Web
抓取
。在此
期间
,我很难让selenium与Firefox协同工作。该版本的详细内容如下:Firefox: 81.0 (64 bit) (Latest at the time of writing)Geckodriver: 0.27from selenium im
浏览 1
提问于2020-09-27
得票数 1
回答已采纳
5
回答
如何从其他网站获取数据?
python
、
database
、
parsing
、
web-scraping
我听说
Python
使用解析器可以做到这一点,我只是想知道我应该走哪条路,应该使用哪种语言?
浏览 1
提问于2013-06-14
得票数 4
1
回答
如何在heroku中的rails应用程序中运行
python
脚本
?
python
、
ruby-on-rails
、
heroku
、
web-scraping
、
scrapy
我
在
heroku中托管了一个rails应用程序。我还用
python
中的scrapy编写了一个
web
刮刀。我需要从heroku中的rails应用程序中运行
python
脚本
,我将用一个例子来解释。例:用户将输入url
在
我的rails app.Then中进行
抓取
,rails应用程序将控制权交给
python
来
抓取
数据,该
脚本
以json object.Then的形式发送响应,我们必须在
web
应用程序中呈现
浏览 2
提问于2013-10-24
得票数 3
回答已采纳
2
回答
如何终止
python
中的线程以跳出
循环
,然后再继续
循环
?
python
、
multithreading
、
multiprocessing
、
python-multithreading
我用
python
编写了一段代码用于
抓取
。我有一个列表的网址,需要刮,但过了一段时间后,
脚本
失去了阅读网页的
循环
。所以我需要设置一个固定的时间,然后
脚本
应该从
循环
中出来,开始阅读下一个网页。for link in list_of_links: <some code to read
web
page>
脚本
浏览 1
提问于2014-04-24
得票数 0
回答已采纳
2
回答
使用
Python
从异常页面再次爬行
python
、
for-loop
、
try-catch
、
except
我使用for
循环
来
抓取
网页。然而,当我
抓取
一些页面时,我遇到了ip请求限制错误。当我每隔20页爬行一次时,我曾尝试让
python
休眠几秒钟,然而,错误仍然存在。我可以
在
python
休眠60秒后
重新开始
爬行。 问题是,每次出现异常时,我都会丢失一页信息。看起来
python
使用try-except方法跳过了异常页面。
浏览 3
提问于2012-05-20
得票数 0
3
回答
抓取
urls的
抓取
顺序
python
、
scrapy
我有个关于scrapy和
python
的问题。我有几个链接。我使用
循环
在
一个
脚本
中
抓取
每个
脚本
中的数据。但
抓取
数据的顺序是随机的,或者至少与链接不匹配。喜欢:
抓取
的网址,data1,data2,data3。Data 1,data2,data3 =>这是可以的,因为它来自一个
循环
,但是我如何添加到
循环
的当前url,或者我可以设置链接列表的顺序?就像列表中的第一个被
抓取
为第一个,第二个被
抓取
浏览 0
提问于2018-04-18
得票数 0
3
回答
在
循环
中迭代时,
在
循环
中访问MySQL的效率是高还是低?
php
、
mysql
、
loops
、
web-scraping
我正在编写一个PHP
脚本
来从
web
上
抓取
数据。最终,我想要把所有
抓取
的数据很好地塞进mysql数据库中并进行格式化。但是,由于PHP
脚本
中有多个
循环
和数组需要迭代,我的直觉是,为了速度和效率,最好不要保持对mysql数据库的
循环
访问(
在
每次
循环
时插入数据),而是将数据存储
在
PHP中的临时数组中,然后仅在
脚本
结束时将数组一次性转储到
浏览 2
提问于2012-05-12
得票数 1
回答已采纳
1
回答
如何在
python
中插入执行两条语句之间的1秒时间间隔
python
、
centos
我
在
python
2.7
web
抓取
程序中有一个" FOR“
循环
,我将在FOR
循环
的末尾插入1秒的时间差。我怎么能这么做?谢谢。
浏览 4
提问于2015-07-22
得票数 0
回答已采纳
1
回答
有没有办法
在
App engine上和我的Flask网页一起运行
脚本
?
python
、
google-app-engine
、
flask
、
google-cloud-platform
我最近建立并运行了我的Flask网站,它使用了从其他几个网站上
抓取
的数据,并在我自己的网站上展示。我的问题是,我不知道如何在部署
期间
运行
web
抓取
脚本
。
浏览 12
提问于2020-09-24
得票数 0
回答已采纳
1
回答
从网络
抓取
开始
javascript
、
python
、
web-scraping
首先,我想让您知道,我对html和css非常陌生,目前我还不知道如何使用Java
脚本
。我在看关于如何制作网络刮刀的视频,我有一些问题: 我看到了很多教程
在
python
中进行
web
抓取
,因为我非常了解
python
,所以我问自己,什么更适合
web
抓取
?
Python
还是Java
脚本
,我应该使用哪一个?我可以将
python
程序与html连接起来吗?我需要使用网站
抓取
一个网站,我正在尝试做一
浏览 1
提问于2019-12-31
得票数 0
回答已采纳
1
回答
如何背靠背运行多个Selenium测试
python
、
selenium
我正在尝试使用Selenium和
Python
执行动态
web
抓取
。我正在尝试
抓取
的网站有一个输入,大约600个位置可以选择。每个位置都有不同的设施。 我想要
抓取
设施的名称以及每个位置的地址。我使用Pandas导入这些位置,然后尝试执行for
循环
,遍历每个位置,
在
输入中输入位置,然后
抓取
下面输出的设施。但是,我的for
循环
并没有像预期的那样工作,所以每次我运行
脚本
时,Selenium驱动程序都会打开,并且我会按照第一个位
浏览 16
提问于2019-07-10
得票数 1
1
回答
在
R for
循环
中延迟
抓取
几分钟
r
、
xml
、
sleep
、
rcurl
我正在尝试
抓取
一个网站,它不允许我
抓取
超过9页,有没有办法
在
9页后停止
循环
,中断一到两分钟,然后
重新开始
抓取
?
浏览 11
提问于2020-10-05
得票数 0
回答已采纳
1
回答
Web
抓取
循环
python
问题
python
、
web-scraping
我是一名
python
新手,想知道是否有人能够用下面的webscraping
脚本
指出我哪里出了问题。 我试图递归地
循环
遍历匹配列表,为每个匹配提取一个累积值(度量)。
浏览 40
提问于2018-09-16
得票数 2
1
回答
Python
web
抓取
页面
循环
python
、
python-3.x
、
web-scraping
我已经写了一个
抓取
器,它成功地从网站的第一页
抓取
了我需要的一切。但是,我想不出如何让它在不同的页面中
循环
。
浏览 0
提问于2016-12-09
得票数 3
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
PyScript:让 Python 脚本在 Web 中跑起来
走近代码之Python-爬虫框架Pyspider
这里有一份Python教程
常用Python爬虫框架汇总
你对python爬虫略知一二?来看这篇文章我让你快速入门!
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券