Python爬虫:把爬取到的数据插入到execl中

前面我们把大量数据已经爬取到了本地,但这些数据如果不存储起来,那么就会变得无效.开始本文之前,请确保已经阅读。

Python爬虫:现学现用xpath爬取豆瓣音乐

Python爬取大量数据时,如何防止IP被封

我们已经把数据爬到本地并已经插入execl,上效果图

操作Execl其实里面很多东西要去了解,但这里我讲常用的读写,满足我们的一般需求,感兴趣的朋友可以自己去深入。

1. 读execl文件

需要安装 xlrd库,老办法,直接在setting中安装,然后导入放可使用python读取execl

操作这样的execl列表

# coding=utf-8

import xlrd

data = xlrd.open_workbook('execl_file.xlsx')
table = data.sheets()[0]    #通过索引顺序获取table, 一个execl文件一般都至少有一个table
print table.nrows   #行数
print table.ncols   #列数

for k in range(table.nrows):    #遍历行数据
    print table.row_values(k)

for i in range(table.ncols):    #便利列数据
    print table.col_values(i)

print table.cell(2,2).value     #获取单元格数据,前一个是行数,从0开始,后一个是列数,且列数从0开始

for a in range(1,table.nrows):        #行数据,我正好要去掉第1行标题
    for b in range(table.ncols):
          print table.cell(a,b).value   
    print '----------------------'

得到结果:

6
4
[u'\u54c1\u724c', u'size', u'\u4ef7\u683c', u'\u6027\u522b']
[u'Nike', 90.0, 1033.0, u'\u7537']
[u'addida', 88.0, 444.0, u'\u5973']
[u'zara', 87.0, 333.0, u'\u7537']
[u'Lining', 33.0, 22.0, u'\u7537']
[u'kappa', 33.0, 222.0, u'\u7537']
[u'\u54c1\u724c', u'Nike', u'addida', u'zara', u'Lining', u'kappa']
[u'size', 90.0, 88.0, 87.0, 33.0, 33.0]
[u'\u4ef7\u683c', 1033.0, 444.0, 333.0, 22.0, 222.0]
[u'\u6027\u522b', u'\u7537', u'\u5973', u'\u7537', u'\u7537', u'\u7537']
444.0
Nike
90.0
1033.0
男
----------------------
addida
88.0
444.0
女
----------------------
zara
87.0
333.0
男
----------------------
Lining
33.0
22.0
男
----------------------
kappa
33.0
222.0
男
----------------------

很简单没有什么要解释的了

2. 复习一下range函数

# >>> range(1,5) #代表从1到5(不包含5)
# [1, 2, 3, 4]
# >>> range(1,5,2) #代表从1到5,间隔2(不包含5)
# [1, 3]
# >>> range(5) #代表从0到5(不包含5)
# [0, 1, 2, 3, 4]

3. 写入execl

需要安装xlwt库,老办法自己先安装,不多说了,需要导入xlwt然后放可使用python写入数据

workbook = xlwt.Workbook(encoding='utf-8')#创建workbook 其实就是execl,
worksheet = workbook.add_sheet('my_worksheet') #创建表,如果想创建多个,直接在后面再add_sheet
worksheet.write(0,0,label ='Row 0,Column 0 Value')         #3个参数,第一个参数表示行,从0开始,第二个参数表示列从0开始,第三个参数表示插入的数值 
workbook.save('execl_liu.xlsx')        #写完记得一定要保存

完整实例代码

f = xlwt.Workbook() #创建工作薄
#创建个人信息表
sheet1 = f.add_sheet(u'个人信息',cell_overwrite_ok=True)
rowTitle = [u'编号',u'姓名',u'性别',u'年龄']
rowDatas = [[u'张一',u'男',u'18'],[u'李二',u'女',u'20'],[u'黄三',u'男',u'38'],[u'刘四',u'男',u'88']]


for i in range(0,len(rowTitle)):
    sheet1.write(0,i,rowTitle[i],set_style('Times new Roman',220,True)) 后面是设置样式

for k in range(0,len(rowDatas)):    #先遍历外层的集合,即每行数据
    rowDatas[k].insert(0,k+1)   #每一行数据插上编号即为每一个人插上编号
    for j in range(0,len(rowDatas[k])): #再遍历内层集合
        sheet1.write(k+1,j,rowDatas[k][j])          #写入数据,k+1表示先去掉标题行,另外每一行数据也会变化,j正好表示第一列数据的变化,rowdatas[k][j] 插入数据


#创建个人收入表
sheet1 = f.add_sheet(u'个人收入表',cell_overwrite_ok=True)
rowTitle2 = [u'编号',u'姓名',u'学历',u'工资']
rowDatas2 = [[u'张一',u'本科',u'8000'],[u'李二',u'硕士',u'10000'],[u'黄三',u'博士',u'20000'],[u'刘四',u'教授',u'50000']]

for i in range(0,len(rowTitle2)):
    sheet1.write(0,i,rowTitle2[i])

for k in range(0,len(rowDatas2)):    #先遍历外层的集合
    rowDatas2[k].insert(0,k+1)   #每一行数据插上编号即为每一个人插上编号
    for j in range(0,len(rowDatas2[k])): #再遍历内层集合
        sheet1.write(k+1,j,rowDatas2[k][j])          #写入数据,k+1表示先去掉标题行,另外每一行数据也会变化,j正好表示第一列数据的变化,rowdatas[k][j] 插入数据

f.save('info.xlsx')

最后得到的效果图

3. 把爬取的猪八戒数据插入到execl中

这里直接上代码了,相关的注释都在代码里

# coding=utf-8

import requests
import time
import xlwt
import xlrd
from lxml import etree

class ZbjData(object):

 def __init__(self):
     self.f = xlwt.Workbook()   #创建工作薄
     self.sheet1 = self.f.add_sheet(u'任务列表',cell_overwrite_ok=True)
     self.rowsTitle = [u'编号',u'标题',u'简介',u'价格',u'截止时间',u'链接']
     for i in range(0, len(self.rowsTitle)):
        self.sheet1.write(0, i, self.rowsTitle[i], self.set_style('Times new Roman', 220, True))

     self.f.save('zbj.xlsx')

 def set_style(self,name, height, bold=False):
        style = xlwt.XFStyle()  # 初始化样式
        font = xlwt.Font()  # 为样式创建字体
        font.name = name
        font.bold = bold
        font.colour_index = 2
        font.height = height
        style.font = font
        return style

 def getUrl(self):
    for i in range(33):
        url = 'http://task.zbj.com/t-ppsj/p{}s5.html'.format(i+1)
        self.spiderPage(url)

 def spiderPage(self,url):
    if url is None:
        return None

    try:
        data = xlrd.open_workbook('zbj.xlsx')
        table = data.sheets()[0]  # 通过索引顺序获取table, 一个execl文件一般都至少有一个table
        rowCount = table.nrows      #获取行数   ,下次从这一行开始
        proxies = {
            'http': 'http://221.202.248.52:80',
        }
        user_agent = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.4295.400'

        headers = {'User-Agent': user_agent}
        htmlText = requests.get(url, headers=headers,proxies=proxies).text

        selector = etree.HTML(htmlText)
        tds = selector.xpath('//*[@class="tab-switch tab-progress"]/table/tr')
        m = 0
        for td in tds:
             data = []
             price = td.xpath('./td/p/em/text()')
             href = td.xpath('./td/p/a/@href')
             title = td.xpath('./td/p/a/text()')
             subTitle = td.xpath('./td/p/text()')
             deadline = td.xpath('./td/span/text()')
             price = price[0] if len(price)>0 else ''    # python的三目运算 :为真时的结果 if 判定条件 else 为假时的结果
             title = title[0] if len(title)>0 else ''
             href = href[0] if len(href)>0 else ''
             subTitle = subTitle[0] if len(subTitle)>0 else ''
             deadline = deadline[0] if len(deadline)>0 else ''

            #拼装成一个集合
             data.append(rowCount+m)    #加个序号
             data.append(title)
             data.append(subTitle)
             data.append(price)
             data.append(deadline)
             data.append(href)

             for i in range(len(data)):
                 self.sheet1.write(rowCount+m,i,data[i])    #写入数据到execl中

             m+=1   #记录行数增量
             print m
             print price, title, href, subTitle, deadline

    except Exception,e:
        print '出错',e.message

    finally:
        self.f.save('zbj.xlsx')


if '_main_':
    zbj = ZbjData()
    zbj.getUrl()

最后的效果图是:

注意这里爬取数据的时候,有的代理ip还是被禁用了,所以获取数据有失败的情况,所以这里需要有异常处理..

当然数据还应该存入到数据库中,所以下一篇我们会来讲讲如何把数据插入到数据库中。

本文分享自微信公众号 - Python绿色通道(Future_coder)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-01-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏DeveWork

简单代码让WordPress 支持电子邮箱(Email)作为登录名

在谷歌中以“Email 登陆 WordPress”为关键词搜索,发现代码都是很长很复杂的,都快比上旧社会女人的裹脚布了。偶然发现一段较简单的代码可以实现Word...

21690
来自专栏用户2442861的专栏

Java Web 中使用ffmpeg实现视频转码、视频截图,javaffmpeg

http://www.cnblogs.com/dennisit/archive/2013/02/16/2913287.html#!comments

92710
来自专栏JackieZheng

AngularJS入门心得3——HTML的左右手指令

  在《AngularJS入门心得1——directive和controller如何通信》我们提到“AngularJS是为了克服HTML在构建应用上的不足而设计...

21650
来自专栏dotnet & java

MVC基本开发介绍 (1)列表展示

现在如果用.net 的解决方案来做网站或者是网站的后台管理系统,MVC 应该是比较流行的。

9120
来自专栏北京马哥教育

练了一年再来总结的 Vim 使用技巧

16630
来自专栏互联网杂技

重新认识javascript的settimeout和异步

今晚看到QLeelulu的一道JavaScript面试题(setTimeout),稍微想了一下,好不容易连猜带蒙,凑巧说对了答案。但是原因到底是什么呢?自己一时...

34890
来自专栏前端开发

so easy 前端实现多语言

37360
来自专栏我的小碗汤

爬取珍爱网后用户信息展示

golang爬取珍爱网,爬到了3万多用户信息,并存到了elasticsearch中,如下图,查询到了3万多用户信息。

22740
来自专栏苦逼的码农

回车与换行的故事

以前在学汇编的时候,一直不知道老师在换行时,总会打一个换行符和回车符,原来他们还有这么一个故事….

18030
来自专栏java一日一条

Web前端面试题目及答案汇总

以下是收集一些面试中经常会遇到的经典面试题以及自己面试过程中无法解决的问题,通过对知识的整理以及经验的总结,重新巩固自身的前端基础知识,如有错误或更好的答案,欢...

3.8K20

扫码关注云+社区

领取腾讯云代金券