Python网络爬虫中爬到的数据怎么分列分行写入csv文件中

前端皮皮

发布于 2022-08-17 17:05:34

3.3K0

发布于 2022-08-17 17:05:34

文章被收录于专栏：前端进阶学习交流

大家好，我是皮皮。

一、前言

前几天在Python白银交流群有个叫【꯭】的粉丝问了一个Python网络爬虫中爬到的数据怎么分列分行写入csv文件中的问题，这里拿出来给大家分享下，一起学习下。

现在的状态是下图这样的。

代码截图如下：

问题补充：

二、解决过程

这里【瑜亮老师】给出了一个代码，如下所示：

et = etree.HTML(resp)
tr_list = et.xpath('//table//tr')
for i in tr_list:
    # 获取电影信息，并去掉前面的多余的那个圆点
    data = ", ".join(i.xpath('./td//text()')[1:]) + '\n'
    # 追加写入文件
    with open('电影.csv', 'a', encoding='utf-8') as f:
        f.write(data)

这个代码亲测好使，不过还有更好的思路。

这里【月神】给出了一个代码，如下所示：

import requests
from lxml import etree


url = 'https://piaofang.maoyan.com/session'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                         'Chrome/100.0.4896.75 Safari/537.36 Edg/100.0.1185.36 ',
           'Referer': 'https://piaofang.maoyan.com/box-office?ver=normal'
           }
resp = requests.get(url=url, headers=headers).text

et = etree.HTML(resp)
pf_data = et.xpath('//div[@class="tiny-table tiny-table-no-border tiny-table-middle"]//td//text()')
## 保存csv文件部分
pf_string = ''.join(f'\n{i},' if i == '•' else f'{i},' for i in pf_data).strip('\n').split('\n')
with open('pf_maoyan.csv', 'w', encoding='utf-8-sig') as f:
    for i in pf_string:
        f.writelines(i.strip(',')+'\n')

你以为这就完事了？还有更好的方法在后头呢。下面的这个代码是不用xpath写的，改用pandas处理网页结构。

import requests
import pandas as pd

url = 'https://piaofang.maoyan.com/session'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                         'Chrome/100.0.4896.75 Safari/537.36 Edg/100.0.1185.36 ',
           'Referer': 'https://piaofang.maoyan.com/box-office?ver=normal'
           }
resp = requests.get(url=url, headers=headers).text
# 利用pandas保存csv文件
pd.read_html(resp)[0].to_csv('pf_maoyan.csv', encoding='utf-8-sig', index=False, header=None)

小伙伴们直呼好家伙。