测试数据以及脚本准备
1.创建一个MySQL的测试账号及准备测试数据
CREATE USER 'testuser'@'%' IDENTIFIED BY 'password';
GRANT ALL PRIVILEGES ON *.* TO 'testuser'@'%';
FLUSH PRIVILEGES;
准备测试表和数据
create database test_db default character set utf8;
创建表并插入数据
create table user(
id int(10) primary key not null auto_increment,
name varchar(20) not null,
age int(10) not null
) ENGINE=InnoDB DEFAULT CHARSET=UTF8;
desc user;
插入数据
2.Sqoop抽数脚本
sqoop import --connect jdbc:mysql://192.168.0.224/test_db --username testuser --password password --table user --delete-target-dir --target-dir /tmp/sqoop_test -m 4
配置工作流
1.进入Hue界面,选择”Workflows” => “Editors”=> “Workflows”
2.点击“Create”创建工作流
3.进入Workspace,将jdbc文件导入到该Workspace
4.创建Sqoop抽数作业
将Sqoop语句填入Sqoop Command
保存
5.试运行
执行成功
文件已存在
配置定时任务
1. 进入Hue界面,选择”Workflows” => “Editors”=> “Coordinators”
2.选择”Create”
3.选择”Choose a workflow”
4.选择上面所创建的工作流“My Workflow”
5.填写相关配置
此处设置循环为小时循环,可以设置小时、天、周、月、年。
6.设置开始时间与结束时间
生成任务
验证
向表再次添加数据。
第一次任务执行时间为
可以看到Yarn上存在任务
导入的文件内容与表内容一致。