【项目实战】ODS 层创建&数据接入

十里桃花舞丶

发布于 2020-09-24 16:31:02

1.5K0

发布于 2020-09-24 16:31:02

文章被收录于专栏：桥路_大数据桥路_大数据

操作说明

此时已经将数据从 MySQL 中导入到 HDFS 中了，接下来就需要将数据导入到数据仓库的 ODS 层中，完成原始数据的存储。

这个部分分为两个阶段，首先在 Hive 中创建 ODS 层的所有表结构，表结构与源系统（MySQL）一致。之后，使用脚本将 HDFS 中存储的数据导入到 Hive 数据仓库的 ODS 层中。

ODS 层创建

1. 进入 Hive 安装节点（Node03），启动 Hive 元数据服务：

hive --service hiveserver2 &
hive --service metastore &

2. 在 Node03 节点，/home/warehouse/sql 目录下编写 ods_ddl.sql，创建与业务数据库一致的数据表：

mkdir /home/warehouse/sql/
vim /home/warehouse/sql/ods_ddl.sql

文件内容如下：

-- 创建数据库
create database if not exists mall;
use mall;

-- 创建订单表
drop table if exists ods_order_info;
create table ods_order_info ( 
    `id` string COMMENT '订单编号',
    `total_amount` decimal(10,2) COMMENT '订单金额', 
    `order_status` string COMMENT '订单状态', 
    `user_id` string COMMENT '用户 id

本文参与腾讯云自媒体分享计划，分享自作者个人站点/博客。

原始发表：2020-09-22 ，如有侵权请联系 cloudcommunity@tencent.com 删除

hive