如何清理Sqoop脚本产生的临时编译目录
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。
Fayson的github： https://github.com/fayson/cdhproject
提示：代码块部分可以左右滑动查看噢
1.文档编写目的
在使用Sqoop命令进行数据抽取时，执行的抽数脚本会在/tmp/sqoop-${user}/compile目录下产生临时的编译文件，脚本执行成功后这些生成的临时文件并不会自动的清除。该问题是官网已知的一个JIRA，具体可信息如下链接：
https://issues.apache.org/jira/browse/SQOOP-3042
本篇文章Fayson主要介绍通过脚本的方式，在用户执行Sqoop命令时自动的清理产生的临时编译目录。
- 内容概述
1.环境准备
2.Sqoop配置清理脚本及验证
3.总结
- 测试环境
1.RedHat7.3
2.CM和CDH版本为5.15
2.环境准备
1.在集群所有节点安装tmpwatch，命令如下:
[root@cdh03 ~]# yum -y install tmpwatch（可左右滑动）
2.通过CM安装“Sqoop 1 Client1”服务
选择Gateway节点
部署客户端配置
Sqoop 1 Client服务安装成功
3.Sqoop配置清理脚本
1.进入“Sqoop 1 Client”服务的配置界面
2.在搜索栏，搜索“sqoop-env.sh”，在配置项中增加如下脚本
#清除一天前当前用户临时编译目录
expires=1d
echo
echo SQOOP COMPILE DIR DIRECTORY COUNT
ls -ltd /tmp/sqoop-"$USER"/compile/* | wc
echo SQOOP COMPILE DIR FILES COUNT
ls -ltR /tmp/sqoop-"$USER"/compile/* | wc
echo SQOOP COMPILE DIR OLDEST DIRECTORY
ls -ltd /tmp/sqoop-"$USER"/compile/* | tail -1
echo SQOOP COMPILE DIR TMPWATCH $expires DELETE TEST
tmpwatch --test $expires /tmp/sqoop*/compile/ | wc
echo SQOOP COMPILE DIR TMPWATCH $expires DELETE
tmpwatch $expires /tmp/sqoop-"$USER"/compile/ | wc
echo SQOOP COMPILE DIR DIRECTORY COUNT
ls -ltd /tmp/sqoop-"$USER"/compile/* | wc
echo SQOOP COMPILE DIR FILES COUNT
ls -ltR /tmp/sqoop-"$USER"/compile/* | wc
echo SQOOP COMPILE DIR OLDEST DIRECTORY
ls -ltd /tmp/sqoop-"$USER"/compile/* | tail -1
echo（可左右滑动）
3.保存配置并重新部署客户端配置
4.验证脚本
这里Fayson将清理脚本设置为1h即清理1小时前生成的编译文件及目录。
1.查看root用户的/tmp/sqoop-root/compile目录下的编译目录
compile目录下有两个编译目录，885f8开头目录的创建时间在1个小时前。
2.使用sqoop命令进行数据抽取
sqoop import \
--connect "jdbc:mysql://cdh02.fayson.com:3306/metastore" \
--username root \
--password 123456 \
--query 'select c.NAME,c.DB_LOCATION_URI,a.TBL_NAME,a.OWNER,a.TBL_TYPE,b.LOCATION from TBLS a,SDS b,DBS c where a.SD_ID=b.SD_ID and a.DB_ID=c.DB_ID and $CONDITIONS' \
--fields-terminated-by ',' \
--delete-target-dir \
--hive-database default \
--target-dir /tmp/hive_tables \
--create-hive-table \
--hive-import \
--hive-overwrite \
--hive-table hive_tables \
--m 1（可左右滑动）
可以看到在执行sqoop命令时，会输出上图标注部分的日志信息，即为Fayson配置清理脚本输出的日志。
3.查看/tmp/sqoop-root/compile目录的编译目录
可以看到compile目录下，“885f8”开头在一个小时前的日志目录已被清理。
5.总结
1.Sqoop没有自动清除/tmp/sqoop-${user}/compile下的编译目录，在3.0.0版本才被修改，在CDH中的Sqoop也并未修复该问题。
2.本文Fayson通过在Sqoop的运行环境中添加清理脚本，来实现编译目录的清理。
3.默认情况是不需要安装“Sqoop 1 Client”服务的，因为需要借助于CM统一的在Sqoop的运行环境中添加脚本。
提示：代码块部分可以左右滑动查看噢
为天地立心，为生民立命，为往圣继绝学，为万世开太平。 温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。