用Flume将文件从远程节点传输到HDFS
用Flume将文件从远程节点传输到HDFS
提问于 2014-10-02 20:09:01
我有一堆二进制文件压缩成*gz格式。这些是在远程节点上生成的，必须传输到位于数据中心服务器之一的HDFS。
我正在探索用Flume发送文件的选项；我探索了使用假脱机目录配置来执行此操作的选项，但很明显，只有当文件的目录位于同一个HDFS节点的本地位置时，才能这样做。
对如何解决这个问题有什么建议吗？
回答 2
Stack Overflow用户
回答已采纳
发布于 2014-10-03 10:01:26
这种情况没有现成的解决办法.但你可以试试这些解决办法：
- 您可以为此目的创建自己的源代码实现(通过使用Flume )。例如，这个项目似乎能够通过ssh连接到远程dir并将其用作源。
- 您可以创建一个自定义计划脚本，定期将远程文件复制到本地假脱机目录中，然后将其用作flume代理的假脱机dir源。
- 您可以尝试创建另一个脚本来读取远程数据，然后将其写入其输出并在Exec源中使用此类脚本。
- 您可以在数据所在的机器上定位您的通道(和代理) (请参阅水槽水槽能在远程机器上吗？ )。
Stack Overflow用户
发布于 2014-10-03 12:37:51
为什么不运行两个不同的Flume代理，一个在远程计算机上，一个在您的日期节点上。远程机器上的代理可以读取假脱机目录并将其发送到avro接收器。datanode上的代理可以读取avro源并将数据转储到HDFS。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/26168820
复制相关文章
相似问题
腾讯云开发者
