Sqoop附加了重命名(-Dmap还原.output.basename),没有在HDFS中创建文件

内容来源于 Stack Overflow,并遵循CC BY-SA 3.0许可协议进行翻译与使用

  • 回答 (1)
  • 关注 (0)
  • 查看 (82)

我正在尝试使用sqoop从源导入一些记录。我希望将所有输出(来自多个运行)添加到同一个文件夹中&对于每次运行也有自定义的basename(使用-Dmap还原.output.basename)。

有人能告诉我是什么导致它被忽略了吗?下面是sqoop命令,它的输出(使用了详细的).sqoops.qoop:运行Sqoop版本:1.4.6-cdh5.12.0。

还请注意,当我尝试这样做时,目标HDFS目录是空的。

user_1@system1 /home/sriadmin$ sqoop-import -Dmapreduce.output.basename="12345_" --connect "jdbc:sap://xx.xx.xx.xx:30215" --username "EDHQUERY" -password xxxxxxxxxx  --driver "com.sap.db.jdbc.Driver" --query "SELECT PLANT FROM SAPBWT.PLANT where \$CONDITIONS" --split-by "PLANT" --target-dir "/tmp/SRITEST/HANA_Extract_Plant/" --as-textfile --fields-terminated-by "|" --num-mappers "2" --append  --verbose
    Map-Reduce Framework
            Map input records=6428
            Map output records=6428
            Input split bytes=212
            Spilled Records=0
            Failed Shuffles=0
            Merged Map outputs=0
            GC time elapsed (ms)=305
            CPU time spent (ms)=4760
            Physical memory (bytes) snapshot=737996800
            Virtual memory (bytes) snapshot=10986500096
            Total committed heap usage (bytes)=1584398336
    File Input Format Counters
            Bytes Read=0
    File Output Format Counters
            Bytes Written=31774
18/05/29 11:19:30 INFO mapreduce.ImportJobBase: Transferred 31.0293 KB in 41.4266 seconds (766.9945 bytes/sec)
18/05/29 11:19:30 INFO mapreduce.ImportJobBase: Retrieved 6428 records.
18/05/29 11:19:30 DEBUG util.ClassLoaderStack: Restoring classloader: sun.misc.Launcher$AppClassLoader@47d384ee
18/05/29 11:19:30 INFO util.AppendUtils: Appending to directory HANA_Extract_Plant
18/05/29 11:19:30 DEBUG util.AppendUtils: Filename: 12345_-m-00000 ignored
18/05/29 11:19:30 DEBUG util.AppendUtils: Filename: 12345_-m-00001 ignored
18/05/29 11:19:30 DEBUG util.AppendUtils: Filename: _SUCCESS ignored
18/05/29 11:19:30 DEBUG util.AppendUtils: Deleting temporary folder     634e75fe8ca94ba79c0b5fbbffdffe18_4056a33f
提问于
用户回答回答于

Sqoop只移动文件名以“部件”开头的文件*“.其工作是维护你的-Dmap还原.output.basename=“部件”。

扫码关注云+社区

领取腾讯云代金券