腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
使用
scrapy
在
csv
中
存储
数据
时
出现问题
、
下面是我对
scrapy
spider的解析方法。
在
csv
中
,我的预期输出是三列和相应的值。尽管
在
终端输出
中
我得到了所有的三列(即使它显示了84个项目
存储
在
output.
csv
中
,这是正确的)。但在实际输出文件
中
,我只有第一栏“标题.帮助感谢” 编辑:
在
JSON
中
,所有
数据
都在那里 def parse(self, response):
浏览 32
提问于2021-08-15
得票数 0
回答已采纳
1
回答
我不知道如何在表格
中
打印刮擦的
数据
、
、
、
我见过一些东西,但我不能在桌子或.
csv
中
播放这个来打印屏幕上的表格,有人能帮我吗?我迷路了 name = 'sinonimo' start_urls = ['https
浏览 1
提问于2022-08-04
得票数 0
2
回答
scrapy
shell:将结果输出到文件
、
、
、
我如何在刮板壳输出结果到一个文件,最好是
csv
? 我
在
我的bpython shell中有一个有趣的元素列表,我可以把它们做成item。但是如何将其重定向到文件呢?
浏览 2
提问于2016-12-20
得票数 2
回答已采纳
1
回答
如何将爬行器的项目附加到列表
中
?
、
、
、
我正在
使用
一种基本的蜘蛛,从网站上的链接
中
获取特定的信息。我的代码如下所示:from
scrapy
import Requestfrom properties importPropertiesItem, ItemLoader
浏览 1
提问于2017-01-04
得票数 0
回答已采纳
1
回答
在
scrapy
中
抓取特定项目的所有页面
、
我正在抓取雅虎的股票
数据
!金融。我的问题是,
使用
LinkExtractor,如果每只股票有多个页面的
数据
,我如何组合给定股票的所有定价
数据
。,所以我
使用
规则来遵循每一页。然后,def stocks1将从给定页面收集
数据
。yield Request(current_page, self.finalize_stock, meta={'returns_pages': returns_pages}) 每个项目的
数据
通过另一个函数
存储
nump
浏览 0
提问于2015-05-25
得票数 2
4
回答
从
scrapy
导出
csv
文件(不通过命令行导出)
、
、
、
、
我成功地尝试从命令行将项目导出到
csv
文件
中
,如下所示:我的问题是:
在
代码
中
做同样的事情最简单的解决方案是什么?当我从另一个文件中提取文件名
时
,我需要它。结束场景应该是,我调用并将这些项写入filename.
csv
浏览 1
提问于2014-08-06
得票数 20
回答已采纳
1
回答
打开
CSV
文件
时
出错,因为“已超过最大行数”
、
我
在
Scrapy
上工作,我从一个网页上获取
数据
,并试图将它们
存储
在
csv
文件
中
。The maximum number of rows has been exceeded.如何让
Scrapy
将所有2560行下载到一个
csv
文件
中<
浏览 2
提问于2012-06-04
得票数 0
回答已采纳
1
回答
Scrapy
dmoz教程,
csv
文件
中
没有desc的
数据
。
、
、
我按照
Scrapy
官方网站上的dmoz教程来抓取Python书籍和资源的标题、链接和描述。
在
本教程
中
,我
使用
了完全相同的蜘蛛,内容如下:from tutorial.items import DmozItem item['desc'] = sel.xpath('text()').extract()
浏览 3
提问于2015-10-07
得票数 1
回答已采纳
2
回答
Scrapy
:
存储
数据
、
我正在尝试遵循
Scrapy
教程,但我不理解的逻辑。
scrapy
crawl spidername -o items.json -t json 我不明白以下的意思: 谢谢你的帮助
浏览 4
提问于2012-12-28
得票数 14
回答已采纳
1
回答
抓取-
在
抓取和随机更改用户代理
时
访问
数据
、
、
当抓取
在
爬行时,是否可以访问
数据
?我有一个脚本,它找到一个特定的关键字,并在.
csv
中
写入关键字以及找到它的链接。但是,我必须等待抓取完成爬行,当完成
时
,它将实际输出.
csv
文件
中
的
数据
。如果不允许我
在
一个问题中回答两个问题,我将把它作为一个单独的问题发布。# -*- coding: utf-8 -*- from
scrapy
.spider
浏览 1
提问于2015-12-02
得票数 0
回答已采纳
2
回答
Python网络爬行和抓取
、
、
、
、
Peru long: 456 name = "world" 'www.world.com'
浏览 10
提问于2017-06-14
得票数 2
回答已采纳
3
回答
Scrapy
pause/resume是如何工作的?
有人能给我解释一下
Scrapy
中
的暂停/恢复功能是如何工作的吗?没有提供太多细节。但是,下次运行爬行器
时
,将重新生成请求,并将(重复的) SHA1散列添加到文件
中
。我
在
Scrapy
代码中跟踪了这个问题,看起来RFPDupeFilter打开了带有'a+‘标志的requests.seen文件。因此,它将始终丢弃文件
中
以前的值(至少这是我的Mac上的行为)。最后,关于爬行器状态,
浏览 0
提问于2015-03-04
得票数 8
1
回答
刮刮-无法将
数据
上传到s3
、
我正在
使用
刮除,从一个网站的
数据
正在运行良好,但我不能上传刮
数据
到亚马逊的s3。看一看刮擦的文档,这就是我的settings.py
中
的内容FEED_FORMAT = '
csv
'', '
csv
': '
scrapy
.exporte
浏览 0
提问于2018-06-19
得票数 0
1
回答
在
csv
中
存储
刮取的
数据
、
、
、
、
我正在学习网络刮擦
使用
刮除。玩得很开心。唯一的问题是我不能以我想要的方式保存被刮掉的
数据
。import
scrapy
import
csv
class Oneplus6Spider
scrapy
的默认方式-o方法,也尝试
使用
csv
。
浏览 1
提问于2018-10-26
得票数 0
1
回答
从多个urls读取代码,然后写入最终的
csv
、
、
我需要
使用
Regex从多个urls的脚本标记中提取
数据
。我已经成功地实现了一个代码,完成了一半的工作。我有一个
csv
文件('links.
csv
'),它包含了我需要的所有urls。我成功地读取了
csv
并将所有urls
存储
在
名为'start_urls'的变量
中
。我的问题是,我需要一次一个地从'start_urls'读取urls,并执行我代码的下一部分。当我
在
终端
中</e
浏览 0
提问于2018-08-28
得票数 0
回答已采纳
1
回答
如何访问
中
项文件
中
的蜘蛛文件
数据
?
、
、
、
FlipKart.py主蜘蛛文件,用于flipkart.com的报废名称、价格和链接from ..items import FlipkartScraperItem allowed_domains = ['www.flipkart.com']name) 我想废除Flipkart移动电话
数据
,并将其
存储
在
C
浏览 7
提问于2022-11-20
得票数 -1
回答已采纳
1
回答
无法以json或
csv
格式
存储
抓取的
数据
、
、
、
在这里,我想
存储
网站页面上给出的列表
中
的
数据
。('title::text').extract_first() and
在
scrapy
shell
中
,它分别以shell显示预期的输出。下面是我的代码,它没有以json或
csv
格式
存储
数据
: import
scrapy
浏览 0
提问于2017-03-06
得票数 1
回答已采纳
1
回答
你能在用
Scrapy
刮的时候设置条件吗?
、
、
我想知道我是否可以设置一些
存储
信息必须满足的条件(
使用
Scrapy
版本1.7.3进行web抓取)。 例如,
在
抓取IMDB的网站
时
,只
存储
评分大于7的电影。 或者我必须在查看输出文件
时
手动执行此操作?(我目前正在将
数据
输出为
CSV
文件)
浏览 10
提问于2019-10-13
得票数 1
回答已采纳
1
回答
可抓取的导出到单行
、
、
、
我
在
试着用
scrapy
把店铺的位置拼凑成
csv
。我捕获了正确的
数据
,但输出如下所示(以"name“字段为例) import
scrapy
class QuotesSpider(
scrapy
.Spider
浏览 0
提问于2020-06-02
得票数 0
2
回答
使用
scrapy
创建
csv
文件
、
、
、
我
使用
Python与
Scrapy
一起创建了一个脚本来解析电影名称,并且它的年数分布
在
一个洪流站点的多个页面上。这里的目标是将解析的
数据
写入
CSV
文件
中
,而不是
使用
Scrapy
提供的内置命令,因为当我这样做
时
:
scrapy
crawl torrentdata -o outputfile.
csv
-t
csv
我
在
CSV
文件
中
的每
浏览 0
提问于2018-12-16
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
在scrapy框架中操作MySQL数据库来存储数据,一个完整的开发项目
Python数据科学实战系列之Web信息爬取
使用 Python 和 Scrapy 半小时爬了10 个在线商店的网页
python爬虫系列开发scrapy掌握(一)
用 Python 分析B站的变化
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券