腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
使用
Scrapy
抓取带有JavaScript
的
站点
、
、
、
、
".htm>1</font></p></td> </
浏览 1
提问于2013-06-24
得票数 2
回答已采纳
2
回答
Scrapy
:存储数据
、
我正在尝试遵循
Scrapy
教程,但我不理解
的
逻辑。
scrapy
crawl spidername -o items.json -t json 我不明白以下
的
意思: 谢谢你
的
帮助
浏览 4
提问于2012-12-28
得票数 14
回答已采纳
1
回答
Scrapy
CSV
文件
的
格式
不正确
、
、
基本上,我将提取
的
数据放到
csv
文件
中,但
格式
有一些问题。 -First只显示零件,其他部分不显示fg。数量和价格-Secondly列标题似乎在向下重复行。我想为零件,价格,数量要显示在不同
的
列和标题将是名称。如果有人能告诉我在哪里可以学到这一点,那将会有很大帮助!'website1' NEWSPIDER_MODULE = 'website1.spiders' #Ex
浏览 11
提问于2020-07-09
得票数 1
回答已采纳
3
回答
Scrapy
:覆盖以前导出
文件
的
命令
、
、
、
设置导出新
的
spider_output.
csv
时,
Scrapy
将其附加到现有的spider_output.
csv
中。我能想到两种解决方案,
浏览 18
提问于2017-04-25
得票数 3
回答已采纳
1
回答
Scrapy
CSV
格式
不正确
、
、
我是
scrapy
包
的
新手,我
的
问题是: name = "simple_spider"token, 'password' : 'seiji1234' yield
s
浏览 22
提问于2020-03-09
得票数 0
1
回答
如何将爬行器
的
项目附加到列表中?
、
、
、
我正在使用一种基本
的
蜘蛛,从网站上
的
链接中获取特定
的
信息。我
的
代码如下所示:from
scrapy
import Requestfrom properties importPropertiesItem, ItemLoader class BasicSpider(
scrapy
.Spider&
浏览 1
提问于2017-01-04
得票数 0
回答已采纳
1
回答
如何让
scrapy
关注无效链接?
、
、
我经常使用
scrapy
来检查长长
的
链接列表,不管它们是可用
的
还是死
的
。import pandas as pd class Checker(
scrapy
.
浏览 2
提问于2018-09-07
得票数 0
1
回答
我想保存到一个(.
csv
)
文件
中。我该怎么做?
、
、
、
我使用(11.2),我想保存到一个(.
csv
)
文件
中。我该怎么做?from
scrapy
.spiders import CSVFeedSpider name = 'cs_spider/'] start_urls = ['http://ocw.mit.edu/courses/electrical-engineering-and-computer-science/
浏览 10
提问于2022-02-22
得票数 0
2
回答
scrapy
shell:将结果输出到
文件
、
、
、
我如何在刮板壳输出结果到一个
文件
,最好是
csv
? 我在我
的
bpython shell中有一个有趣
的
元素列表,我可以把它们做成item。但是如何将其重定向到
文件
呢?
浏览 2
提问于2016-12-20
得票数 2
回答已采纳
2
回答
刮擦未保存数据
、
# -*- coding: utf-8 -*-from
scrapy
.spidersimport CrawlSpider
浏览 2
提问于2017-02-27
得票数 0
回答已采纳
1
回答
保存在
csv
文件
中
的
抓取数据不会转换为excel(xlsx)
文件
。
、
、
、
这是网页抓取
的
代码,并将保存
的
抓取数据从
csv
格式
转换为".xlsx“
文件
。当我使用命令行-
scrapy
crawl spider_name -o file_name.
csv
从抓取数据到
csv
格式
中提取数据来运行此代码时,项目
文件
夹中将不会生成excel
文件
。没有错误信息。请建议如何摆脱这种未知
的
麻烦。import osi
浏览 2
提问于2018-07-26
得票数 0
2
回答
-t开关在刮擦中做什么?
、
、
在
scrapy
教程中,我们说为了将输出保存到
csv
或任何其他
格式
,我们应该使用以下命令:通常,我们可以使用以下命令:
scrapy
crawl my_spider -o file_name.extension -t extension
scrapy
crawl spider-o result.
c
浏览 2
提问于2015-06-16
得票数 3
回答已采纳
2
回答
使用
scrapy
创建
csv
文件
、
、
、
我使用Python与
Scrapy
一起创建了一个脚本来解析电影名称,并且它
的
年数分布在一个洪流站点
的
多个页面上。这里
的
目标是将解析
的
数据写入
CSV
文件
中,而不是使用
Scrapy
提供
的
内置命令,因为当我这样做时:
scrapy
crawl torrentdata -o outputfile.
csv
-t
csv
我在
CSV
文件
中
的
每
浏览 0
提问于2018-12-16
得票数 2
1
回答
无法读取
文件
,然后使用
scrapy
(python)将结果写入
文件
、
、
、
我正在用
scrapy
做一些网络抓取,我遇到了一个问题。我已经知道可以使用以下命令行将我
的
粗糙结果保存到
csv
文件
中:
scrapy
crawl dmoz -a filename=text.txt 我在爬行器中<em
浏览 5
提问于2015-04-30
得票数 1
1
回答
如何抓取
Scrapy
教程中
的
“下一页”?
、
我正在做
scrapy
tutorial,并且我在“Craigslist
Scrapy
Spider #3 - Multiple Pages”部分,但在遵循给定
的
说明后无法获得多个页面。我所做
的
和教程显示
的
唯一区别是我使用了“所有工作”,而不仅仅是工程工作(因为只有一页
的
工程工作)。下面是我
的
代码 import
scrapy
class JobsSpider(
scrapy
浏览 10
提问于2020-07-28
得票数 0
回答已采纳
1
回答
您好,我是一个新手,我正在尝试使用
scrapy
抓取一个特定
的
站点,但是我
的
scrapy
程序没有返回任何东西
、
、
我到处寻找类似的问题,但我还没有找到任何真正解决这个问题
的
方法。下面是我
的
代码: import
scrapy
def get_responsequotes')] start_urls.append(site.format(str(number))) yie
浏览 6
提问于2020-10-15
得票数 0
回答已采纳
2
回答
如何在使用
文件
项管道时整理从
scrapy
输出
的
csv
在从SO社区获得大量帮助之后,我有一个抓取爬虫,它保存了它爬行
的
站点
的
网页,但是我想清理创建--output
的
csv
文件
。
文件
包含每行一个
文件
的
详细信息(没有额外
的
url:),路径值包括一个扩展名,如.html或.txt ?我
的
items.py如下所示: # define the fields for your item h
浏览 1
提问于2016-06-21
得票数 0
2
回答
Python网络爬行和抓取
、
、
、
、
,并利用下面的脚本抓取lat/long信息,但我遇到
的
困难是存储信息。import
scrapy
name = "world" yield
scrapy
.Request(url=url, callback=self.parse_region)continent_respo
浏览 10
提问于2017-06-14
得票数 2
回答已采纳
1
回答
Scrapy
MySQL: MySQLdb._exceptions.ProgrammingError:不是所有在字节
格式
化期间转换
的
参数
、
、
2019年-10-22 09:14:24
scrapy
.utils.signal错误:信号处理程序捕获
的
错误:>跟踪(最近一次调用):
文件
scrapy
.utils.signal行204,在执行查询=查询% args TypeError:不是所有在字节
格式
化期间转换
的
参数回溯(最近一次调用):
文件
"/home/mx/python-virtual-environme
浏览 0
提问于2019-10-22
得票数 1
1
回答
使用
scrapy
在
csv
文件
中逐行写入一个元素
、
、
、
、
我正在抓取这个页面: 我想将其保存在
CSV
文件
中,其中每行包含一部电影
的
记录。这是我写
的
蜘蛛: name = 'movies_spider' data[key] = (v
浏览 2
提问于2016-08-08
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
csv如何转换成pdf格式的文件
使用Python处理.CSV格式文件的内容
csv格式文件如何转换成excel文件
如何将Excel表格转为csv格式 Excel表格转为csv格式的操作流程
第55讲Python学习笔记之操作CSV格式文件
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券