前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >0782-5.16.2-Oozie配置Sqoop定时任务

0782-5.16.2-Oozie配置Sqoop定时任务

作者头像
Fayson
发布2020-06-17 15:30:05
9550
发布2020-06-17 15:30:05
举报
文章被收录于专栏:Hadoop实操

测试数据以及脚本准备

1.创建一个MySQL的测试账号及准备测试数据

代码语言:javascript
复制
CREATE USER 'testuser'@'%' IDENTIFIED BY 'password';
GRANT ALL PRIVILEGES ON *.* TO 'testuser'@'%';
FLUSH PRIVILEGES;

准备测试表和数据

代码语言:javascript
复制
create database test_db default character set utf8;

创建表并插入数据

代码语言:javascript
复制
create table user(
         id int(10) primary key not null auto_increment, 
         name varchar(20) not null, 
         age int(10) not null
) ENGINE=InnoDB DEFAULT CHARSET=UTF8;
代码语言:javascript
复制
desc user;

插入数据

2.Sqoop抽数脚本

代码语言:javascript
复制
sqoop import --connect jdbc:mysql://192.168.0.224/test_db --username testuser --password password --table user --delete-target-dir --target-dir /tmp/sqoop_test -m 4

配置工作流

1.进入Hue界面,选择”Workflows” => “Editors”=> “Workflows”

2.点击“Create”创建工作流

3.进入Workspace,将jdbc文件导入到该Workspace

4.创建Sqoop抽数作业

将Sqoop语句填入Sqoop Command

保存

5.试运行

执行成功

文件已存在

配置定时任务

1. 进入Hue界面,选择”Workflows” => “Editors”=> “Coordinators”

2.选择”Create”

3.选择”Choose a workflow”

4.选择上面所创建的工作流“My Workflow”

5.填写相关配置

此处设置循环为小时循环,可以设置小时、天、周、月、年。

6.设置开始时间与结束时间

生成任务

验证

向表再次添加数据。

第一次任务执行时间为

可以看到Yarn上存在任务

导入的文件内容与表内容一致。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-06-14,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 Hadoop实操 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
云数据库 MySQL
腾讯云数据库 MySQL(TencentDB for MySQL)为用户提供安全可靠,性能卓越、易于维护的企业级云数据库服务。其具备6大企业级特性,包括企业级定制内核、企业级高可用、企业级高可靠、企业级安全、企业级扩展以及企业级智能运维。通过使用腾讯云数据库 MySQL,可实现分钟级别的数据库部署、弹性扩展以及全自动化的运维管理,不仅经济实惠,而且稳定可靠,易于运维。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档