腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何
使用
Scrapy
在
链接
之间
导航
?
、
、
我想从网站获取数据,但为了获取数据,我必须从主页访问
链接
,然后获取数据,之后我需要返回主页,然后重复访问
链接
的循环,获取数据,然后返回。我知道
如何
访问
链接
和获取数据,但我想知道
如何
访问其他
链接
,并在访问第一个
链接
后返回到我所在的位置。下面是我目前编写的代码: # -*- coding: utf-8 -*- name =
浏览 7
提问于2019-03-04
得票数 0
回答已采纳
2
回答
从Python脚本中运行
scrapy
- CSV导出程序不起作用
、
、
、
、
当我从命令行运行它时,我的刮取器工作得很好,但是当我试图
在
python脚本中运行它(
使用
使用
Twisted的方法概述 )时,它不会输出它通常所做的两个CSV文件。我有一个创建和填充这些文件的管道,其中一个
使用
CsvItemExporter(),另一个
使用
writeCsvFile()。are normally created in this folder
scrapy</
浏览 3
提问于2013-07-20
得票数 6
回答已采纳
2
回答
离线(本地)数据上的Python
Scrapy
、
、
是否可以
使用
Scrapy
在
本地对此数据集进行爬网?多么?
浏览 0
提问于2013-10-16
得票数 17
1
回答
在
实际抓取数据之前,
scrapy
是否有可能
导航
链接
?
、
2)告诉抓取页面中的哪些部分我想知道的是,当数据本身不在起始页面时,我是否能够
使用
scrapy
刮取数据?例如,我有一个
链接
,去一个论坛。该论坛包含几个子论坛的
链接
。每个子论坛都有几个线程的
链接
。每个线程包含多个消息(可能在多个页面上)。这些信息是我最终想要刮的。是否有可能这样做,并只
使用
最初的
链接
到论坛?
浏览 0
提问于2018-10-18
得票数 0
回答已采纳
4
回答
刮擦+ Eclipse PyDev :
如何
设置调试器?
、
、
我已经成功地用我的
Scrapy
项目安装了Eclipse。为此,我设置了一个新的Run/Debug配置: 他的主模块为我
链接
到
Scrapy
/usr/local/bin/
scrapy
(我找到了
使用
cmdline.py的建议,但在我的计算机(OSX &
scrapy
通过安装)上失败了,
在
我的情况下,用参数发送“爬行ny”,就像我
使用
Scrapy
命令行设置正确的工作目录(
在
浏览 1
提问于2012-03-21
得票数 6
2
回答
如何
从蟒蛇的“产量”中获得结果?
、
、
我为Spider编写了一些代码,其工作方式如下: class newSpider(
scrapy
.
浏览 2
提问于2020-05-12
得票数 2
回答已采纳
1
回答
使
scrapy
递归地移动到下一页
、
我正在尝试
使用
scrapy
抓取。我可以成功地抓取页面上的数据,但我也希望能够从其他页面抓取数据。(说下一步的)。crawledLinks.append(link)我得到了正确的信息:来自
链接
页面的标题,但它根本不是“
导航
”。
如何
告诉
scrapy
导航
?
浏览 1
提问于2014-11-01
得票数 3
2
回答
抓取博客网站的不同方式/设计
、
、
、
我
使用
的是
在
python中构建的
scrapy
库。我正在寻找可以减少人类参与的解决方案。
浏览 2
提问于2016-08-08
得票数 0
1
回答
从一个页面中抓取多篇文章,每篇文章都有单独的href
、
我想要抓取标题,然后
导航
到每篇文章,抓取每篇文章的文本内容。下面是我的代码from
scrapy
.spiders import Rule class MedicalSpider(
scrapy
.Spider)
浏览 1
提问于2019-07-09
得票数 1
1
回答
使用
scrapy
导航
到ScienceDirect的NextPage
、
、
、
使用
Scrapy
,
如何
从生成的任何结果页面
导航
到“下一页”
链接
<div class="paginationBar"> <span style="color:#A4A4A4'nextPrev'" onmouseover="this.className='nextPrevHov'" value="Next >>&
浏览 1
提问于2015-08-25
得票数 0
2
回答
编写规则以从div获取字符串以
在
链接
中
使用
、
、
我正试图
在
亚马逊上构建一条关于“与此项目相关的赞助产品”的规则,但是,每个产品的ASIN都嵌入到xpath //ol/li/div/@data-asin中,我希望从其中生成以下
链接
格式f"https://www.amazon.com/dp/{ASIN} (对于与此项目相关的赞助产品中的每一项)
scrapy
shell https://www.amazon.com/gp/product/B07
浏览 0
提问于2019-07-25
得票数 0
回答已采纳
1
回答
如何
使用
Scrapy
更新价格
、
、
、
、
我正在开发价格下降通知应用程序,我正在考虑
使用
Scrapy
,但是,我不确定
如何
使用
它,我是否需要在特定间隔后定期检查产品价格,或者有任何其他方法来做到这一点。
浏览 2
提问于2021-06-13
得票数 0
2
回答
Scrapy
- CSS选择器
、
我正在尝试理解CSS选择器是
如何
使用
Scrapy
工作的。但是我绝对不明白
在
几个html标签中
导航
。例如,我试图提取div id“portefeuille_bloc”中的所有href
链接
:我试过这段代码,但我找不出错误所在: response.css('div[id=portefeuille_bloc
浏览 7
提问于2019-12-03
得票数 0
1
回答
Python -
Scrapy
-浏览网站
、
、
、
我试图
使用
Scrapy
登录到一个网站,然后
在
比网站
导航
,并最终从它下载数据。目前我被困在
导航
部分的中间。下面是我自己解决这个问题的方法。下面是我目前
使用
的代码。我设法登录(当我调用"open_in_browser“函数时,我看到我已经登录了)。我还设法“点击”了"parse2“部分中网站上的第一个按钮(如果我
在
解析2之后调用"open_in_browser”,我会看到网站顶部的
导航
栏已经变得更深了。)Datacamp说,我
浏览 0
提问于2019-12-29
得票数 0
1
回答
Scrapy
:通过单击按钮查找HTTP调用
我正在尝试
使用
Scrapy
从flipp.com/weekly_ads上抓取传单。
在
我可以刮传单之前,我需要输入我的区号,并搜索当地的传单(在网站上,这是通过点击一个按钮来完成的)。我正在尝试输入一个值,并
使用
Scrapy
模拟“单击按钮”。 最初,我认为我可以
使用
FormRequest.from_response搜索表单,并将我的区号作为值输入。现在,我对
Scrapy
和HTTP请求/响应非常陌生,所以我不确定我找到的
链接
是否正确(例如
浏览 0
提问于2018-12-28
得票数 0
1
回答
抓抓蜘蛛不会爬行是因为RegEx吗?
、
、
我尝试
导航
到每个县,然后从这里
导航
到每个县中的每个城市:http://www.accountant-finder.com/CA/California-accountants.html 我的代码打开上面列出的主页,根据解析器函数抓取标题,但似乎没有应用规则来遵循以"/CA/“开头的县
链接
(相对路径)(如CA/Alameda/Alameda_county-California-accountants.html).我尝试过
使用
各种reg-e
浏览 21
提问于2019-12-09
得票数 2
1
回答
在
Scrapy
中,
如何
根据
链接
到正则表达式的URL进行选择
、
、
我已经从命令行启动了
Scrapy
shell我目前正在尝试从顶部
导航
栏中刮取开发人员名称、应用程序名称和版本名称:
在</e
浏览 1
提问于2017-04-13
得票数 0
回答已采纳
1
回答
使用
Scrapy
登录到网站,
导航
到javascript表单,选择选项,然后刮掉显示的数据
、
、
、
我正在尝试
使用
Scrapy
登录我的大学帐户,
导航
到班级注册页面,选择某个学期和课程主题,提交这些选项,然后刮掉包含列出的类的页面,以获取有关这些类的信息。到目前为止,我有一个登录到我的帐户:name = 'myuh.com' return <
浏览 4
提问于2014-07-16
得票数 0
回答已采纳
1
回答
使用
Scrapy
从网页中提取某些产品
、
、
、
、
我将这个小代码提交给code的原因是,
在
Python3中,当涉及到
使用
Scrapy
和解析web中的一些数据时,csv输出看起来很尴尬(如果csv是从默认命令派生的,就像在
scrapy
crawl toscrapesp在这类CSV文件中发现的结果是,两行
之间
有一个一致的间隙,这意味着每两行
之间
都有一个行间距。我用下面的脚本修复了它。我没有
使用
默认命令来获得CSV输出;相反,我
在
spider类中编写了几行代码,并获得了所需的输出。 虽然它运行顺利,但我不确
浏览 0
提问于2017-09-16
得票数 1
2
回答
如何
在抓取蜘蛛中
使用
网址的站点地图?
、
、
、
、
我想确定哪些urls要
使用
sitemap.xml抓取。from
scrapy
import Request name = 'main_spider'] yield Request(url=url,ca
浏览 0
提问于2017-10-10
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Scrapy向导
Scrapy之10行代码爬下电影天堂全站
教你分分钟学会用python爬虫框架Scrapy爬取心目中的女神
常用Python爬虫框架汇总
Python入门:20个常用库和文档链接
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券