Sqoop追加重命名(-Dmapreduce.output.basename)不在HDFS中创建文件
Sqoop追加重命名(-Dmapreduce.output.basename)不在HDFS中创建文件
提问于 2018-05-29 09:28:34
我正在尝试使用sqoop从源导入一些记录。我希望将所有输出(来自多个运行)添加到同一文件夹中，并为每个运行(使用-Dmapreduce.output.basename)自定义基本名称。
文件在临时目录中成功创建，但由于某些原因，当它试图移动到实际的HDFS输出位置时，它显示“已忽略”。
有人能告诉我是什么原因导致它被忽略吗？下面是sqoop命令及其输出(使用verbose)。sqoop.Sqoop:运行Sqoop版本: 1.4.6-cdh5.12.0
还要注意，当我尝试这样做时，目标HDFS目录是空的。
user_1@system1 /home/sriadmin$ sqoop-import -Dmapreduce.output.basename="12345_" --connect "jdbc:sap://xx.xx.xx.xx:30215" --username "EDHQUERY" -password xxxxxxxxxx --driver "com.sap.db.jdbc.Driver" --query "SELECT PLANT FROM SAPBWT.PLANT where \$CONDITIONS" --split-by "PLANT" --target-dir "/tmp/SRITEST/HANA_Extract_Plant/" --as-textfile --fields-terminated-by "|" --num-mappers "2" --append --verbose
Map-Reduce Framework
Map input records=6428
Map output records=6428
Input split bytes=212
Spilled Records=0
Failed Shuffles=0
Merged Map outputs=0
GC time elapsed (ms)=305
CPU time spent (ms)=4760
Physical memory (bytes) snapshot=737996800
Virtual memory (bytes) snapshot=10986500096
Total committed heap usage (bytes)=1584398336
File Input Format Counters
Bytes Read=0
File Output Format Counters
Bytes Written=31774
18/05/29 11:19:30 INFO mapreduce.ImportJobBase: Transferred 31.0293 KB in 41.4266 seconds (766.9945 bytes/sec)
18/05/29 11:19:30 INFO mapreduce.ImportJobBase: Retrieved 6428 records.
18/05/29 11:19:30 DEBUG util.ClassLoaderStack: Restoring classloader: sun.misc.Launcher$AppClassLoader@47d384ee
18/05/29 11:19:30 INFO util.AppendUtils: Appending to directory HANA_Extract_Plant
18/05/29 11:19:30 DEBUG util.AppendUtils: Filename: 12345_-m-00000 ignored
18/05/29 11:19:30 DEBUG util.AppendUtils: Filename: 12345_-m-00001 ignored
18/05/29 11:19:30 DEBUG util.AppendUtils: Filename: _SUCCESS ignored
18/05/29 11:19:30 DEBUG util.AppendUtils: Deleting temporary folder 634e75fe8ca94ba79c0b5fbbffdffe18_4056a33f页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/50575166
复制相关文章
相似问题