基于bs4+requests爬取世界赛艇男运动员信息

2018年8月22日笔记 新手学习如何编写爬虫,可以注册1个网易账号,在网易云课堂上学习《Python网络爬虫实战》,链接:http://study.163.com/course/courseMain.htm?courseId=1003285002

0.制定需求

爬取每个运动员的姓名name、位置position、图片链接img_url、性别sex、生日birthday、国家country这6个字段。 该网站未设置反爬策略,网页中的字段为静态信息,容易爬取。 目录页面有姓名name、位置position、图片链接img_url这3个字段; 详情页面有性别sex、生日birthday、国家country这3个字段。

1.观察数据

2018年23岁以下世界赛艇锦标赛链接:http://www.worldrowing.com/events/2018-world-rowing-under-23-championships/u23-mens-eight/ 网站页面如下图所示:

image.png

点击上图红色箭头所示位置,会出现运动员列表,如下图所示:

image.png

2.查看标签

在chrome浏览器中点击F12键,可以弹出程序员调试工具。 360浏览器使用了一部分的chrome浏览器内核,也可以点击F12键弹出程序员调试工具。 调试工具中有一个按钮可以直接找出网页内容在网页源代码中的位置。 点击下面红色箭头标注的按钮,如下图所示:

image.png

点击上图所示按钮后,再选中下图红色方框所示位置:

image.png

此时在程序员调试工具中可以看到已经准确定位第1位运动员名字在源代码中的位置,如下图所示:

image.png

通过观察网页html文件查看字段对应标签和标签的层次结构,我们就可以开始编写代码实现我们的爬虫。 其他字段的观察方法相同。

3.编写爬虫代码

编写代码的编程环境为jupyter notebook,如何打开jupyter notebook查看此链接:https://www.jianshu.com/p/bb0812a70246 requests库用于发送网页请求,并获得网页响应。 bs4库是BeautifulSoup工具的第4个版本,用于解析网页。 下面2行代码导入2个库,如果不导入则无法使用此库的方法。 第1行代码从bs4库中导入BeautifulSoup方法,取个别名bs,可以少编写代码。

from bs4 import BeautifulSoup as bs
import requests

requests库的get方法是模拟浏览器发送请求,需要1个参数,参数为请求链接,参数的数据类型为字符串。 bs4库的BeautifulSoup方法是实例化对象,需要2个参数。第1个参数为网页源代码,参数的数据类型为字符串;第2个参数为解析网页方法,参数的数据类型为字符串。

response = requests.get('http://www.worldrowing.com/events/2018-world-rowing-under-23-championships/u23-mens-eight/')
soup = bs(response.text, 'html.parser')

从目录页面获取100个运动员的姓名name、位置position、图片链接img_url这3个字段,并打印,代码如下: 因为图片展示效果,取运动员的前5个打印,athlete_list[:5]即选前5个。

athlete_list = soup.select('tr.resultsDetails li')
for athlete in athlete_list[:5]:
    name = athlete.select('h4 a')[0].text
    position = athlete.select('p.yPadding')[0].text.strip()
    img_url = 'http://www.worldrowing.com' + athlete.select('img')[0]['src']
    print(name, position, img_url)

上面一段代码的运行结果如下图所示:

image.png

爬取详情页面时,需要使用requests库的get方法重新发起请求,再使用bs4库的方法进行解析。

4.完整代码

第8行代码循环遍历每个运动员。 第9行代码定义变量item为字典,每抓取1个字段信息,则保存为字典的1个键值对。 第19行代码item_list.append(item)将变量item加入列表item_list中。 第21、22行代码将抓取的信息保存为athleteRecord.xlsx文件。 代码如下:

from bs4 import BeautifulSoup as bs
import requests

response = requests.get('http://www.worldrowing.com/events/2018-world-rowing-under-23-championships/u23-mens-eight/')
soup = bs(response.text, 'html.parser')
athlete_list = soup.select('tr.resultsDetails li')
item_list = []
for athlete in athlete_list:
    item = {}
    item['name'] = athlete.select('h4 a')[0].text
    item['position'] = athlete.select('p.yPadding')[0].text.strip()
    item['img_url'] = 'http://www.worldrowing.com' + athlete.select('img')[0]['src']
    detail_url = 'http://www.worldrowing.com' + athlete.select('h4 a')[0]['href']
    response = requests.get(detail_url)
    soup = bs(response.text, 'html.parser')
    item['sex'] = soup.select('div.dd')[0].text
    item['birthdday'] = soup.select('div.dd')[1].text
    item['country'] = soup.select('h1.athleteInfoTitle span')[0].text
    item_list.append(item)
    
import pandas as pd
df = pd.DataFrame(item_list, columns=item_list[0].keys())
df.to_excel('athleteRecord.xlsx')

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏小狼的世界

PHP处理回车换行时应该注意的一个问题

在我们的数据入库、出库的时候要特别注意这个问题,特别是在进行显示处理的时候,比如使用表单中的 textarea 进行了一段文字的提交,客户端是Windows的话...

961
来自专栏开源优测

Robot Framework | 02 从抛弃RIDE开始创建你的RFS测试

概述 大多数情况下,我们用RobotFramework时,一般基于其图形界面的RIDE来编辑、管理、执行用例。 今天我们分享下基于非编辑器模式的RobotFra...

3479
来自专栏搞前端的李蚊子

ReactJs移动端兼容问题汇总

A:初步怀疑是css属性没有加前缀引发的兼容问题,但添加后发现也不行,通过webview调试后控制台输出Set is undefined,搜索后发现React依...

2505
来自专栏Aloys的开发之路

Linux乱码问题解决方案

linux系统中文件名内容为urf8编码, windows系统中文件名默认为gbk编码, 多数文档使用gbk编码,系统采用utf8编码 无中文输入法导致的乱码 ...

4718
来自专栏iKcamp

微信小程序教学第三章第三节(含视频):小程序中级实战教程:视图与数据关联

§ 视图与数据关联 本文配套视频地址: https://v.qq.com/x/page/z0554wyswib.html 开始前请把 ch3-3 分支...

17910
来自专栏逍遥剑客的游戏开发

Nebula3的渲染线程插件(Render Thread Plugin)

1504
来自专栏葡萄城控件技术团队

Wijmo 更优美的jQuery UI部件集:C1 Wijmo Grids 更多惊喜

本文中,我将给大家介绍一系列非常棒的 Wijmo Grids功能。我们先以一个新的Wijmo Grids 来开始我们这次的 Wijmo Grids 之旅吧。 ?...

2367
来自专栏不止是前端

一次搞懂Event loop

4608
来自专栏Crossin的编程教室

【编程课堂】selenium 祖传爬虫利器

一些网页,比如微博,只有在登录状态才能进行页面的访问,或者对数据有比较复杂的验证和保护,直接通过网络请求进行登录并获取数据就会比较麻烦。这种时候,就该本篇的主角...

2674
来自专栏Spark学习技巧

Kafka源码系列之源码解析SimpleConsumer的消费过程

Kafka源码系列是以kafka 0.8.2.2源码为例讲解。浪尖纯属个人爱好,才写想写这个系列。希望对kafka的使用者们带来帮助。 一,消费者消费的过程讲解...

4737

扫码关注云+社区

领取腾讯云代金券