从安装到数据抓取、存储原来这么简单

基于大众对Python的大肆吹捧和赞赏,作为一名Java从业人员,看了Python的书籍之后,决定做一名python的脑残粉。

作为一名合格的脑残粉(标题党 (ノω)ノ),为了发展我的下线,接下来我会详细的介绍 Python 的安装 到开发工具的简单介绍,并编写一个抓取天气信息数据并存储到数据库的例子。(这篇文章适用于完全不了解Python的小白超超超快速入门)

作者:旺旺笔记

源自:

https://www.cnblogs.com/zhaww/p/9517514.html#4049153

如果有时间的话,强烈建议跟着一起操作一遍,因为介绍的真的很详细了。

1、Python 安装

2、PyCharm(ide) 安装

3、抓取天气信息

4、数据写入excel

5、数据写入数据库

1、Python安装

下载 Python: 官网地址:https://www.python.org/ 选择download 再选择你电脑系统,小编是Windows系统的 所以就选择

2、Pycharm安装

下载 PyCharm : 官网地址:http://www.jetbrains.com/pycharm/

免费版本的可以会有部分功能缺失,所以不推荐,所以这里我们选择下载企业版。

安装好 PyCharm,首次打开可能需要你 输入邮箱 或者 输入激活码

3、抓取天气信息

我们计划抓取的数据:杭州的天气信息,杭州天气可以先看一下这个网站。

实现数据抓取的逻辑:使用python 请求 URL,会返回对应的 HTML 信息,我们解析 html,获得自己需要的数据。(很简单的逻辑)

第一步:创建 Python 文件

写第一段Python代码

这段代码类似于 Java 中的 Main 方法。可以直接鼠标右键,选择 Run。

第二步:请求RUL

python 的强大之处就在于它有大量的模块(类似于Java 的 jar 包)可以直接拿来使用。

我们需要安装一个request模块: File - Setting - Product - Product Interpreter

点击如上图的 + 号,就可以安装 Python 模块了。搜索requests模块(有 s 噢),点击 Install。

我们顺便再安装一个beautifulSoup4 和 pymysql模块,beautifulSoup4 模块是用来解析 html 的,可以对象化 HTML 字符串。pymysql 模块是用来连接 mysql 数据库使用的。

相关的模块都安装之后,就可以开心的敲代码了。

定义一个 getContent 方法:

在 main 方法中调用:

第三步:分析页面数据

定义一个 getData 方法:

上面的解析其实就是按照 HTML 的规则解析的。可以打开杭州天气在开发者模式中(F12),看一下页面的元素分布。

在 main 方法中调用:

数据写入excel

现在我们已经在 Python 中拿到了想要的数据,对于这些数据我们可以先存放起来,比如把数据写入 csv 中。

定义一个 writeDate 方法:

在 main 方法中调用:

执行之后呢,再指定路径下就会多出一个weather.csv文件,可以打开看一下内容。

到这里最简单的数据抓取--储存就完成了。

数据写入数据库

因为一般情况下都会把数据存储在数据库中,所以我们以 mysql 数据库为例,尝试着把数据写入到我们的数据库中。

第一步创建WEATHER 表:

创建表可以在直接在 mysql 客户端进行操作,也可能用 python 创建表。在这里 我们使用 python 来创建一张WEATHER表。

定义一个 createTable 方法:(之前已经导入了 import pymysql 如果没有的话需要导入包)

在 main 方法中调用:

执行之后去检查一下数据库,看一下 weather 表是否创建成功了。

第二步批量写入数据至 WEATHER 表:

定义一个 insertData 方法:

在 main 方法中调用:

检查:执行这段 Python 语句后,看一下数据库是否有写入数据。有的话就大功告成了。

全部代码看这里:

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180823A13G0500?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励