前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >清洗数据绑定到hive再到mysql

清洗数据绑定到hive再到mysql

作者头像
编程那点事
发布2023-02-25 15:24:31
1K0
发布2023-02-25 15:24:31
举报
文章被收录于专栏:java编程那点事

通过mapreduce清洗数据绑定到hive,再通过hive查询出结果集导入到hive的表,再通过sqoop导出到mysql

1.在hive中创建表

代码语言:javascript
复制
create external table mydb.access(ip string,day string,url string,upflow string) row format delimited fields terminated by ',';

2.加载清洗后的数据到刚创建的表

代码语言:javascript
复制
load data inpath '/hive/output/' into table mydb.access;

3.再创建一张表用于存放结果集

代码语言:javascript
复制
create external table mydb.upflow (ip string,sum string) row format delimited fields terminated by ',';

4.将查询结果存放到结果集表

代码语言:javascript
复制
insert into mydb.upflow select ip, sum(upflow) as sum from mydb.access group by ip order by sum desc;

5.在mysql中创建一张用于存放结果集的表

代码语言:javascript
复制
create table upflow (
  ip varchar(200),
  sum varchar(200)
);

6.通过sqoop将hive中的结果集导入mysql中的表

代码语言:javascript
复制
sqoop export --connect jdbc:mysql://localhost:3306/test --username root --password admin --table uv_info --export-dir /user/hive/warehouse/uv/dt=2011-08-03
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2019-02-13,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
云数据库 SQL Server
腾讯云数据库 SQL Server (TencentDB for SQL Server)是业界最常用的商用数据库之一,对基于 Windows 架构的应用程序具有完美的支持。TencentDB for SQL Server 拥有微软正版授权,可持续为用户提供最新的功能,避免未授权使用软件的风险。具有即开即用、稳定可靠、安全运行、弹性扩缩等特点。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档