前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >快速掌握Python数据采集与网络爬虫技术(附代码及操作视频案例)

快速掌握Python数据采集与网络爬虫技术(附代码及操作视频案例)

作者头像
CDA数据分析师
发布2022-01-21 11:11:21
1.4K0
发布2022-01-21 11:11:21
举报
文章被收录于专栏:CDA数据分析师CDA数据分析师
大家好,我是曹鑫老师,今天要给大家分享的是网上数据的自动批量搜集整理,大家更熟悉的名字是「爬虫」。

在课程开始之前,我要先说一段免责声明:这次课程对于数据抓取的相关知识,只做学术探讨,不要利用抓取到的数据做有损访问网站商业利益的事情,比如你也建立一个同样业务的网站;也不要对访问网站的服务器造成压力,影响正常用户的访问。以上也是大家以后在进行数据采集的时候需要注意的。那我们继续讲技术,数据采集对于我们日常的工作有什么帮助呢?我举个例子。

比如当我们来到CDA官网的直播公开课页面,我们可以看到这里有很多的课程,每个课程的组成部分是一致的,包含了它的主题海报、标题内容、授课老师的介绍和头像,同时我还可以翻页到下一页,看到更多的往期公开课,这种构造相信你在很多网站都看到过,你就要联想到,今天学到的内容,也差不多能应用到类似的网站去。

接下来,如果想要把这些内容全部整理到一张Excel表里面,你该怎么办?第一反应是不是:那就去挨个复制标题,复制老师的名字,复制介绍内容,一个个粘贴到Excel表里?没错,这是我们要做的,但真要拿着鼠标去挨个点,敲着键盘 `Ctrl+C`、 `Ctrl+V`,未免也太累了,这就是日常工作中比较典型的场景:任务操作一点不难,但需要不断重复操作,费时费力。

如果掌握了 Python 数据采集,我会怎么来解决这个重复操作的任务呢?我先给你演示一下效果。代码不难,就这么一段,你现在看肯定一头雾水,不要着急,我一段段带你来阅读理解。

  • 第一部分:调用包
  • 第二部分:启动浏览器打开指定网页
  • 第三部分:生成一个空的数据表
  • 第四部分:循环翻页获取数据
  • 第五部分:结果输出成 Excel 表

点击`Shift+回车`,我们运行一下代码看看:

1. 浏览器自动打开指定的页面,也就是直播公开课的第一页。

2. Anaconda 中,星号表示该代码区域正在运行,而在代码区域下方会输出打印的结果。

3. 紧接着循环获取数据,代码获取到了第一页的内容,并整理成表格打印出来。

4. 然后,浏览器自动翻页到第二页,又一次获取第二页的内容,并整理成表格打印出来。

5. 继续,第三页,同样的输出。

6. 最后,输出了一个 Excel 文件,我们打开看一下,全部页数我需要的数据都整理好了。

我们想要的效果实现了,有几个好处:

1. 我只点了一下鼠标移动到代码区域;敲了一下键盘 `Shift+回车`启动程序,接下来我就不用再点鼠标或者敲键盘了,全部交给 Python 程序

2. 我现在是获取3页,我要获取10页,100页,1000页,我只要改一下循环这里的数字,让它循环10次、100次甚至是1000次,再也不用多花更多时间和体力,始终就是一点一运行,剩下的体力活全部交给 Python 。

一旦掌握了数据采集技术,类似的重复性工作你都可以自动化完成。

下面是分享给大家的代码,可以自行操作试试哦。

代码语言:javascript
复制
# 调用包
from selenium import webdriver
from lxml import etree
import pandas as pd

# 启动浏览器打开指定网页
browser = webdriver.Chrome('/Users/davidfnck/Downloads/chromedriver')
url = 'https://www.cda.cn/open.html'
browser.get(url)

# 先创建一个汇总的数据空表
df_all = pd.DataFrame()

# 循环获取每一页
for i in range(3):
 page_no = i+1
 # 获取页面源码解析
 html = etree.HTML(browser.page_source) 

 # 获取数据
 ## 标题
 title_list = html.xpath('/html/body/div[3]/div[2]/ul/li/a/div/h2/text()')
 ## 讲师
 teacher_list = html.xpath('/html/body/div[3]/div[2]/ul/li/a/div/div/h4/text()')
 ## 介绍
 intro_list = html.xpath('/html/body/div[3]/div[2]/ul/li/a/div/div/p/text()')
 ## 图片
 pic_list = html.xpath('/html/body/div[3]/div[2]/ul/li/a/img/@src')
 ## 链接
 link_list = html.xpath('/html/body/div[3]/div[2]/ul/li/a/@href')

 # 组合成字典,生成数据表
 all_dict = {'标题':title_list,
        '讲师':teacher_list,
        '介绍':intro_list,
        '海报':pic_list,
        '链接':link_list
 }

 df = pd.DataFrame(all_dict)

 # 输出结果
 print(f'第{page_no}页的输出结果:')
 print(df.head(3))

 # 新表拼接到旧表的结尾
 df_all = df_all.append(df)

 # 点击翻页
 browser.find_element_by_xpath('/html/body/div[3]/div[2]/div/a[4]').click()

# 数据表写入输出 Excel
df_all.to_excel('./CDA_Live_公开课_多页.xlsx')
print('最终结果的Excel已经生成')

当下企业数字化转型正快速发展,在越来越严苛的外部监管及越来越激烈的市场竞争驱动下,各行各业都在急迫地对数据进行最大化的价值挖掘。然而,大多数企业在推动落地时,都会遇到诸多问题。快速了解“数据从治理到分析”的落地流程与产出效果,以最低成本实现团队协同,快速解决深奥数据问题,成为越来越多企业加大数字化转型投入的核心动力。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2022-01-06,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 CDA数据分析师 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
云直播
云直播(Cloud Streaming Services,CSS)为您提供极速、稳定、专业的云端直播处理服务,根据业务的不同直播场景需求,云直播提供了标准直播、快直播、云导播台三种服务,分别针对大规模实时观看、超低延时直播、便捷云端导播的场景,配合腾讯云视立方·直播 SDK,为您提供一站式的音视频直播解决方案。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档