腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
Scrapy
:存储数据
python
、
scrapy
我正在尝试遵循
Scrapy
教程,但我不理解
的
逻辑。
scrapy
crawl spidername -o items.
json
-t
json
我不明白以下
的
意思: 谢谢你
的
帮助
浏览 4
提问于2012-12-28
得票数 14
回答已采纳
1
回答
使用
scrapy
在
csv
文件
中逐行写入一个元素
python
、
csv
、
web-scraping
、
scrapy
、
yield
我正在抓取这个页面: 我想将其保存在
CSV
文件
中,其中每行包含一部电影
的
记录。这是我写
的
蜘蛛: name = 'movies_spider' data[key] = (v
浏览 2
提问于2016-08-08
得票数 0
1
回答
Scrapy
输出
空
的
JSON
/
CSV
文件
python
、
scrapy
我对
scrapy
和python非常陌生,真的需要一些帮助。我已经让这段代码在命令行中工作了。我可以看到它在浏览不同
的
页面时提取了所有正确
的
信息。我
的
问题是,当我试图将脚本
的
输出
保存到一个
文件
中时,它是
空
的
。我已经在这里看了很多其他问题,但找不到任何有帮助
的
东西。以下是代码 import
scrapy
class Aberdeenlocat
浏览 49
提问于2020-04-30
得票数 0
回答已采纳
3
回答
Scrapy
:覆盖以前导出
文件
的
命令
python
、
scrapy
、
export
、
overwrite
设置导出新
的
spider_output.
csv
时,
Scrapy
将其附加到现有的spider_output.
csv
中。我能想到两种解决方案,
浏览 18
提问于2017-04-25
得票数 3
回答已采纳
1
回答
Scrapinghub在日志中插入我
的
结果,而不是在项目中。
json
、
scrapy
、
scrapy-spider
、
scrapy-pipeline
、
scrapinghub
我有一个有效
的
蜘蛛项目来提取urls内容(没有css)。我抓取了几组数据,并将它们存储在一系列.
csv
文件
中。现在,我试着将它设置为在Scrapinghub上工作,以便进行长时间
的
刮刮。到目前为止,我能够得到蜘蛛上传和工作
的
剪贴。我
的
问题是结果出现在“日志”中,而不是在“项”下。数据量超过了日志容量,因此给出了一个错误。如何将管道/提取器设置为工作并返回js或
csv
文件
?我很高兴有一个解决方案,将刮掉
的
数据发送到数据库。因为
浏览 2
提问于2019-02-28
得票数 2
1
回答
如何将爬行器
的
项目附加到列表中?
python
、
macos
、
list
、
scrapy
我正在使用一种基本
的
蜘蛛,从网站上
的
链接中获取特定
的
信息。我
的
代码如下所示:from
scrapy
import Requestfrom properties importPropertiesItem, ItemLoader class BasicSpider(
scrapy
.Spider&
浏览 1
提问于2017-01-04
得票数 0
回答已采纳
3
回答
Scrapy
spider
输出
空
csv
文件
python
、
csv
、
web-scraping
、
scrapy
、
scrapy-spider
这是我在这里
的
第一个问题,我正在学习如何自己编写代码,所以请耐心等待。 我正在做一个最终
的
CS50项目,我试图建立一个网站,聚合从edx.org和其他开放
的
在线堂兄弟网站可能在线西班牙语课程。我正在使用
scrapy
框架在edx.org上删除西班牙语课程
的
过滤结果...这是我
的
第一个抓取爬虫,我试图在每个课程链接中获取它
的
名称(在我获得正确
的
代码后,还可以获得描述、课程url和更多内容)。from
scrapy
.item import
浏览 52
提问于2018-01-03
得票数 3
2
回答
在
scrapy
中从多个
文件
中刮取多个地址
python
、
json
、
file
、
scrapy
我在目录中有一些
JSON
文件
。在任何这些
文件
中,我都需要一些信息。我需要
的
第一个属性是"start_urls“
的
链接列表。我该怎么做?到目前为止,我
的
代码
浏览 2
提问于2018-01-05
得票数 1
回答已采纳
1
回答
关于爬行器设置、蜘蛛设置、项目设置
的
混淆
python
、
scrapy
我对爬虫设置、蜘蛛设置、settings.py和项目设置感到困惑,我在函数中看到了关于刮伤
的
文档,而我还没有理解difference.For示例 "FEEDS": { },区别是什么,以及如何使用它们。对不起我
的
英语不好。 我想知道them.and之间
的</e
浏览 7
提问于2022-11-23
得票数 1
1
回答
我试图将我
的
刮伤结果
输出
到
csv
文件
,但是
输出
始终是
空
的
python
、
csv
、
cmd
、
scrapy
这是我
的
主要蜘蛛bathuni.pyfrom
scrapy
.selector import Selector country = site.xpath('text()').extract()我
的
items.py如下所示 from
scrapy
.item import
浏览 7
提问于2014-02-26
得票数 1
回答已采纳
1
回答
无法为
scrapy
xpath生成
输出
python
、
xpath
、
scrapy
我绝对是个生手,这是我第一次问StackOverflow问题,所以在这里请原谅我, 我试图从一个网站
的
表中提取数据,该表包含在一个<span>标记中。当我使用
scrapy
shell (新冠肺炎情况报告摘要表
的
值)时,我成功地获得了正确
的
输出
,但是我无法将
输出
复制到
json
/
csv
文件
中。我尝试过常规
的
start_urls (第8行),但面临
空
输出
的<
浏览 1
提问于2022-09-30
得票数 -2
3
回答
Python/
Scrapy
:如何确定页面是否为html?
python
、
html
、
scrapy
因此,如果它遇到一个pdf
文件
,它将把响应通过一个PDFReader,否则它将读取html
文件
的
原样。self, response): return ct 我将蜘蛛
的
结果
输出
到一个.
csv
文件
中,但始终是
空
的
。只让ct = response.headers<
浏览 1
提问于2018-09-23
得票数 0
回答已采纳
2
回答
刮擦未保存数据
python-2.7
、
scrapy
# -*- coding: utf-8 -*-from
scrapy
.spidersimport Cr
浏览 2
提问于2017-02-27
得票数 0
回答已采纳
2
回答
Scrapyd:将
CSV
文件
写入远程服务器
python
、
scrapy
、
scrapyd
我试图在EC2上安排一个爬虫,并将
输出
导出到
csv
文件
cppages-nov.
csv
,同时创建一个作业包--我需要暂停爬行,但它没有创建任何
文件
。我用
的
是正确
的
饲料出口吗?curl http://awsserver:6800/schedule.
json
-d project=wallspider -d spider=cppages -d JOBDIR=/home/ubuntu/
scra
浏览 0
提问于2014-09-26
得票数 1
回答已采纳
3
回答
如何在每次导出刮伤项时启用覆写
文件
?
python
、
csv
、
scrapy
、
scrapy-spider
、
scrapy-pipeline
我正在刮一个在urls列表中返回
的
网站。示例-
scrapy
crawl xyz_spider -o urls.
csv
现在它运行得非常好,我想要
的
是使新
的
urls.
csv
不再将data添加到
文件
中。
浏览 4
提问于2016-10-30
得票数 1
回答已采纳
1
回答
python
scrapy
-
输出
csv
文件
为
空
python
、
web-scraping
、
scrapy
、
export-to-csv
我
的
主要爬虫代码:from
scrapy
.selector import HtmlXPathSelector print name, MSRP, Sale
浏览 3
提问于2013-07-06
得票数 4
回答已采纳
1
回答
Python产量不起作用,但是print()
python
、
web-scraping
、
scrapy
在运行爬虫时,使用print()至少会
输出
如下结果:但是,output.
csv
的
格式不是很好。但是,在这种情况下,
输出
的
CSV
/
JSON
是
空
的
。这是我
的
蜘蛛代码from
sc
浏览 1
提问于2021-03-04
得票数 0
回答已采纳
1
回答
抓取-在抓取和随机更改用户代理时访问数据
python
、
web-crawler
、
scrapy
我有一个脚本,它找到一个特定
的
关键字,并在.
csv
中写入关键字以及找到它
的
链接。但是,我必须等待抓取完成爬行,当完成时,它将实际
输出
.
csv
文件
中
的
数据。#!/usr/bin/env pythonfrom
scrapy
.
浏览 1
提问于2015-12-02
得票数 0
回答已采纳
1
回答
如何停止
Scrapy
编译
Scrapy
项目中
的
所有python
文件
python
、
csv
、
scrapy
对于一个
scrapy
项目,我开发了多个爬行器,并将它们存储在同一个爬行器
文件
夹中。我使用以下命令通过cmd运行所有的抓取器:
scrapy
crawl spidername 然而,我注意到它遵守了项目或
文件
夹中
的
所有爬虫,尽管它们存储在不同
的
python
文件
中,具有不同
的
文件
名,不同
的
爬行器名称,不同
的
类名和不同
的
输出
名称。我注意到这种情况
的
发生
浏览 0
提问于2015-01-12
得票数 0
5
回答
如何使用py
文件
运行
scrapy
python
、
scrapy
嗨,我在
scrapy
上工作,我用
scrapy
startproject example创建了一个
scrapy
文件
夹,并编写了爬行器来抓取url中
的
所有数据,我已经使用
scrapy
crawl spider_name但是我有一个要求,我需要用创建
的
单个爬虫
文件
运行
scrapy
,我
的
意思是单个py
文件
,类似于 python -u /path/to/spider_file_i
浏览 1
提问于2012-09-29
得票数 8
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
使用 Python 和 Scrapy 半小时爬了10 个在线商店的网页
Python数据科学实战系列之Web信息爬取
Python学习之初识Scrapy
scrapy官方文档提供的常见使用问题
用 Python 分析B站的变化
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券