程序员小sister的烦恼_快速上手大数据ETL神器Kettle(xls导入mysql)

文章目录

• 我正在参加年度博客之星评选，请大家帮我投票打分，您的每一分都是对我的支持与鼓励。
  • 引言
  • 文章传送门:
  • 程序员小姐姐的烦恼
    • 数据抽取的需求
    • 准备工作
    • 找到小姐姐的Excel文件
    • 构建Kettle数据流图
    • 配置Kettle数据流图中的组件
    • 保存并启动执行Kettle转换
    • 确认执行结果
    • 到这里，恭喜你，程序员小姐姐小花的问题你已经帮她解决了，晚上让她请你吃个饭吧。
  • 总结

引言

大家好,我是ChinaManor,直译过来就是中国码农的意思,我希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,平凡但不甘于平庸的人。

一文快速搞懂系列讲究快速入门掌握一个新的大数据组件,帮助新手了解大数据技术,以下是系列文章:

这是一文快速搞懂系列的第五篇:一文快速大数据ETL神奇Kettle

程序员小姐姐的烦恼

公司来了个漂亮的程序员小姐姐叫小花，她刚大学毕业，项目经理安排她这样一项工作：

在这里插入图片描述

项目经理想要让她将这些数据导入到MySQL中来。 小花刚来，急得团团转，不知所措，机会来了。

数据抽取的需求

需要从Excel中将这些用户的数据，使用Kettle抽取到MySQL中

准备工作

为了完成本案例，我们需要准备以下几件工作：

找到小姐姐的Excel文件

在资料/测试数据 文件夹中可以找到user.xlsx文件

在这里插入图片描述

4.3.2 在MySQL数据库中创建数据库 为了方便将Excel文件中的数据抽取到MySQL中，我们必须要创建一个名字叫kettle_demo的数据库，后续Excel中的数据会装载到该数据库的表中。

在这里插入图片描述

在DataGrip中右键点击MySQL连接，选择New/Schema

在这里插入图片描述

在创建数据库的对话框中输入kettle_demo，点击Execute

在这里插入图片描述

我们可以看到kettle_demo数据库名称就已经创建好了

4.3.3 在kettle中加载MySQL驱动 Kettle要想连接到MySQL，必须要安装一个MySQL的驱动，就好比我们装完操作系统要安装显卡驱动一样。加载MySQL驱动只需以下两步： 1.将资料中的 MySQL jdbc 驱动包mysql-connector-java-5.1.47.jar和mysql-connector-java-8.0.13.jar导入到 data-integration/lib 中

3.重启Kettle即可

构建Kettle数据流图

效果图：

在这里插入图片描述

开发步骤 1.在Kettle中创建一个转换（两种方式） (1)点击菜单：文件/新建/转换 (2)点击按钮：

在这里插入图片描述

(3)快捷键：Ctrl + N

在这里插入图片描述

2.从左边的核心对象中，分别拖入「输入/Excel输入」、「输出/表输出」两个组件到中间区域

在这里插入图片描述

3.然后按住Shift键，在 「Excel输入」组件上点击鼠标左键，拖动到「表输出」组件上，连接两个组件，这样数据流图就构建好了

在这里插入图片描述

配置Kettle数据流图中的组件

刚刚已经把数据流图构建好了，那么Kettle就可以将Excel文件中的数据抽取到MySQL中吗？ 显然是不行的。Kettle根本不知道要将哪个Excel文件中的数据，抽取到哪个MySQL中。我们需要配置这两个组件，告诉Kettle从哪个Excel文件中抽取，以及将数据装载到哪个MySQL中。 4.5.1 配置Excel输入组件 1.双击Excel输入组件，会弹出一个对话框，我们可以再该对话框中配置该组件

在这里插入图片描述

2.因为此处要抽取的Excel文件为Excel 2007版本，所以指定表格类型为Excel 2007 XLSX (Apache POI)

在这里插入图片描述

3.随后我们需要找到要抽取的那个Excel文件，点击「浏览」按钮，找到 「资料/测试数据/user.xlsx」文件

在这里插入图片描述

4.再点击旁边的「增加」按钮，切记：一定要点击增加按钮哦！否则没有效果！

在这里插入图片描述

5.在弹出菜单中，点击「Sheet1」工作簿，并点击 「>」 按钮移动到右边。

在这里插入图片描述

6.点击「字段」选项卡，点击「获取来自头部数据的字段…」按钮，Kettle会从Excel中读取第一行字段名称。

在这里插入图片描述

7.将 age 字段的格式设置为#，register_date的格式设置为 yyyy-MM-dd HH:mm:ss。

在这里插入图片描述

8.点击「预览记录」按钮查看抽取到的数据。

在这里插入图片描述

9.点击「确定」按钮保存。

在这里插入图片描述

4.5.2 配置MySQL组件 4.5.2.1 创建数据库连接 要使用Kettle操作MySQL，必须要建立Kettle与MySQL的连接，否则Kettle也不知道操作哪个MySQL库。 1.双击「表输入」组件，会自动弹出配置窗口，点击「新建」按钮

在这里插入图片描述

2.配置MySQL连接 (1)输入连接名称，此处用mysql_开头，数据库名称kettle_demo为结尾 (2)在连接类型列表中，选择MySQL (3)输入连接方式: (4)输入MySQL的连接参数

在这里插入图片描述

3.点击测试按钮，测试Kettle是否能够正确连接到MySQL 4.点击确认保存，到这里数据库连接就应该创建好了。

4.5.2.2 使用Kettle在MySQL中自动创建表 要保存数据到MySQL，必须先要创建好表。那么，我们是否需要自己手动在MySQL中创建一个表，用来保存Excel中抽取过来的数据呢？ 答案是：不需要。Kettke可以自动为我们在MySQL中创建表。 1.输入目标表的名称为：t_user，后续Kettle将在MySQL中创建一张名为 t_user 的表格。

在这里插入图片描述

2.点击下方的「SQL」按钮，可以看到Kettle会自动帮助我们生成MySQL创建表的SQL语句

在这里插入图片描述

将age、gender字段类型设置为INT

在这里插入图片描述

3.点击执行按钮。Kettle将会让MySQL执行该SQL脚本。执行完后，可以在DataGrip中刷新在数据库，可以查看到Kettle帮助我们创建的t_user表。

在这里插入图片描述

在这里插入图片描述

4.点击「确定」按钮，保存配置

在这里插入图片描述

保存并启动执行Kettle转换

数据流图中的组件都已经准备好了，接下来就可以开始执行Kettle转换了。 1.点击保存按钮保存转换。

在这里插入图片描述

2.点击工具栏上的播放按钮启动执行。

在这里插入图片描述

在这里插入图片描述

3.执行成功后，可以看到以下界面。组件上都显示了绿色的对号，执行结果中可以看到：转换完成！日志，说明Kettle的转换已经执行成功！！

在这里插入图片描述

在这里插入图片描述

确认执行结果

Kettle是否已经帮助我们将Excel中的数据抽取并装载到MySQL呢？我们需要到MySQL中看一看，t_user表中是否有数据呢。 在DataGrip中双击 t_user 表格，可以看到Excel中的数据都已经抽取到了MySQL。

在这里插入图片描述

到这里，恭喜你，程序员小姐姐小花的问题你已经帮她解决了，晚上让她请你吃个饭吧。

总结

以上便是快速上手大数据ETL神器Kettle(xls导入mysql),数据及软件可以私信我获得~

愿你读过之后有自己的收获,如果有收获不妨一键三连一下~