scrapy爬取数据并保存到文本

1.scrapy项目结构如下：

2.打开spidler目录下的Duba.py文件，代码如下（这个是根据豆瓣一部分页面获取的热门话题内容，有6条数据）：

# -*- coding: utf-8 -*- import scrapy from scrapydemo.items import ScrapydemoItem from lxml import etree class DubaSpider(scrapy.Spider):     name = 'Duba'     allowed_domains = ['www.douban.com']     start_urls = ['https://www.douban.com/']     def parse(self, response):         item = ScrapydemoItem()         for each in response.xpath("//li[@class='rec_topics']"):             name = each.xpath("./a/@href").extract()             level = each.xpath("./a/text()").extract()             info = each.xpath("./span/text()").extract()             item['name']=name[0]             item['level'] = level[0]             item['info'] = info[0]             yield item

3.修改pipelines.py代码如下：

import json class ScrapydemoPipeline(object):     def __init__(self):         self.f = open("pipline.json",'a')         #pass     def process_item(self, item, spider):         content = json.dumps(dict(item),ensure_ascii = False,indent=2)+",\n"         self.f.write(content.encode("utf-8"))         return item     def close_spider(self,spider):         self.f.close()

4.在settings.py文件中将下面代码注释去掉

ITEM_PIPELINES = {     'scrapydemo.pipelines.ScrapydemoPipeline': 300, }

然后在要生成文件的目录运行：scrapy crawl Duba,就可以在当前目录看到生成的文件了。

当然，过程中遇到了一些问题，检查后发现是空格，字符拼写的毛病。尤其是在vim下，一定要注意先引入模块再调用，注意空格，字符拼写等问题。接下来就是多多练习啦。