在哪里运行写入HDFS的水槽代理？
在哪里运行写入HDFS的水槽代理？
提问于 2014-03-26 00:58:49
我有25-20个代理将数据发送给两个收集器代理，然后这些收集器代理必须将其写入HDFS。
这些收藏家的代理人在哪里？在Hadoop集群的数据节点上还是在集群之外？每个人的优点/缺点是什么，人们目前是如何管理它们的？
回答 2
Stack Overflow用户
回答已采纳
发布于 2014-03-27 03:17:56
第二层水槽代理使用hdfsSink直接写入HDFS。更重要的是，Tier1可以使用故障转移下沉组。如果二级水槽中的一种被关闭。
Stack Overflow用户
发布于 2014-03-27 00:23:03
我猜你用的是水槽之类的东西。如果是这样的话，Flume代理(至少是第一层)运行在数据来源的任何地方。IE:用于Web日志的Web服务器。
Flume确实支持其他协议，比如JMS，因此位置在这些场景中会有所不同。
对于生产集群，您不希望在Datanodes上运行“代理”(代理)。最好是对集群的硬件资源进行分级。
如果你有很多代理，你会想要使用一个分层的体系结构来整合并将众多的资源整合到一个更小的代理集合中，这些代理将写入HDFS。这有助于控制集群的可见性并将其暴露给外部服务器。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/22649452
复制相关文章
相似问题
腾讯云开发者
