我有一个将最新生成的HDFS文件复制到linux远程服务器的用例。我不想将中间件存储在本地文件系统中,然后对远程服务器执行scp。我知道这一点,但我想避免这种情况(原因很明显--在本地文件系统中存储大量文件的开销) hadoop fs -copyToLocal <src> <dest>
and then scp toMyLinuxFileSystem是否有直接将hdfs文件复制到远程linux服务器的命令?
我正在使用avro工具从HDFS中的avro文件生成模式文件,并使用以下命令将其转储到Linux文件系统:
hadoop jar /usr/bin/Avro/avro-tools-1.8.1.jar getschema但是,我希望模式文件在HDFS中,而不是Linux文件系统中。如何更改此命令才能完成此操作?有没有其他我应该这样做的方式?