我使用Sqoop增量导入,每天将数据输入到我的hive表中。我有以下场景:我有一个RDBMS表:用列清空数据
id name city
1 Sid Amsterdam
2 Bob Delhi
3 Sun Dubai
4 Rob London
我将数据导入到Hive中,使用Sqoop增量导入,通过cron作业将数据导入到shell脚本来完成工作。
#!/bin/bash
DATE=$(date +"%d-%m-%y")
while IFS=":" read -r server dbname tablename