0782-5.16.2-Oozie配置Sqoop定时任务
测试数据以及脚本准备
1.创建一个MySQL的测试账号及准备测试数据
CREATE USER 'testuser'@'%' IDENTIFIED BY 'password';
GRANT ALL PRIVILEGES ON *.* TO 'testuser'@'%';
FLUSH PRIVILEGES;
准备测试表和数据
create database test_db default character set utf8;
创建表并插入数据
create table user(
id int(10) primary key not null auto_increment,
name varchar(20) not null,
age int(10) not null
) ENGINE=InnoDB DEFAULT CHARSET=UTF8;
desc user;
插入数据
2.Sqoop抽数脚本
sqoop import --connect jdbc:mysql://192.168.0.224/test_db --username testuser --password password --table user --delete-target-dir --target-dir /tmp/sqoop_test -m 4
配置工作流
1.进入Hue界面，选择”Workflows” => “Editors”=> “Workflows”
2.点击“Create”创建工作流
3.进入Workspace，将jdbc文件导入到该Workspace
4.创建Sqoop抽数作业
将Sqoop语句填入Sqoop Command
保存
5.试运行
执行成功
文件已存在
配置定时任务
1. 进入Hue界面，选择”Workflows” => “Editors”=> “Coordinators”
2.选择”Create”
3.选择”Choose a workflow”
4.选择上面所创建的工作流“My Workflow”
5.填写相关配置
此处设置循环为小时循环，可以设置小时、天、周、月、年。
6.设置开始时间与结束时间
生成任务
验证
向表再次添加数据。
第一次任务执行时间为
可以看到Yarn上存在任务
导入的文件内容与表内容一致。
本文参与 腾讯云自媒体同步曝光计划，分享自微信公众号。
原始发表：2020-06-14，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
相关产品与服务
云数据库 MySQL
腾讯云数据库 MySQL（TencentDB for MySQL）为用户提供安全可靠，性能卓越、易于维护的企业级云数据库服务。其具备6大企业级特性，包括企业级定制内核、企业级高可用、企业级高可靠、企业级安全、企业级扩展以及企业级智能运维。通过使用腾讯云数据库 MySQL，可实现分钟级别的数据库部署、弹性扩展以及全自动化的运维管理，不仅经济实惠，而且稳定可靠，易于运维。
腾讯云开发者
