1回答
如何使用Cloudera Manager在单个节点上运行多个Flume代理？
flume、cloudera-manager
我已经在CDH5.8.0集群上安装了Flume。flume代理位于运行Flume任务的单个节点上。我使用linux终端通过flume运行两个独立的数据采集，使用独立的配置文件。虽然CM中的flume configuration面板提供了添加自定义conf属性的选项，但这是针对单个flume代理的。
我不能在同一台主机上通过CM添加另一个冲水池代理。
浏览 22提问于2017-03-14得票数 1
回答已采纳
1回答
Flume代理: flume代理如何从位于不同物理服务器的gets服务器获取数据
flume、flume-ng
我正在尝试理解Flume，并参考flume在flume.apache.org的官方页面
特别是，在提到时，我对此感到有点困惑。我们是否需要在实际的we服务器上运行flume代理，或者我们是否可以在不同的物理服务器上运行flume代理并从we服务器获取数据？如果上面是正确的，那么flume agent是如何从then服务器日志中获取数据的？webserver如何使其
浏览 1提问于2018-04-09得票数 0
3回答
使用SQOOP和FLUME将数据从RDBMS移动到Hadoop
hadoop、sqoop、flume
我正在学习Hadoop，在将数据从关系数据库移动到Hadoop以及从关系数据库移动到Hadoop的过程中，我只掌握了几个概念。我已经使用SQOOP import查询将文件从MySQL传输到HDFS。我传输的文件是结构化数据集，而不是任何服务器日志数据。我最近读到我们通常使用flume将日志文件移动到Hadoop中，我的问题是: 1.我们是否也可以使用SQOOP来移动日志文件?2.如果可以，对于日志文件，SQOOP和FLUME中的哪一个更可取?为什么？
浏览 1提问于2014-03-18得票数 2
4回答
Flume和Sqoop有什么不同？
hadoop、sqoop、flume
Flume和Sqoop都是用于数据移动的，那么它们之间的区别是什么呢？在什么情况下应该使用Flume或Sqoop？
浏览 133提问于2013-10-22得票数 22
回答已采纳
2回答
使用flume的分布式日志记录
php、mysql、logging、flume
我有一个移动服务分布在7个服务器上，每个服务器都做一个特定的任务。我想从他们那里记录信息，然后从他们那里获得商业智能。我已经把它四舍五入到了Flume。我如何使用它来收集信息？flume能在PHP上工作吗？
浏览 0提问于2010-11-13得票数 7
0回答
python的问题？
数据库、sql、linux、centos、windows
2、选取其中的一台作为服务器，则其他主机终端作为客户端。服务器采集自身及其他客户端的系统日志。可以按主机终端IP或操作系统信息或存储时间进行查
浏览 282提问于2019-09-20
1回答
从Flume到HBase依赖失败
hadoop、hbase、flume-ng
我已经使用Apache Cloudera安装了HBase和Flume。我在linux服务器上运行了一个flume代理，HBase当前的主服务器就是在该服务器上运行的。我试图从spooldir写到HBase，但是我得到了以下错误：
...ERROR org.apache.flume.node.PollingPropertiesFileConfigurationProvider: Failed to start agent because
浏览 0提问于2015-02-19得票数 1
2回答
未在Flume服务器控制台中打印日志
client-server、flume、log4j2
我已经配置了flume客户端和flume服务器。Flume服务器工作正常。当我运行java应用程序时，我得到了在服务器中创建的连接，但是没有打印logger语句。以下是Flume服务器控制台中的记录器语句：
INFO [lifecycleSupervisor-1-5] (org.apache.flume.source.AvroSource.start:168)我应该如何从Flume服务器<
浏览 5提问于2013-05-27得票数 0
回答已采纳
2回答
Apache Flume多代理
flume
我测试了Apache Flume将文件从本地传输到HDFS。但是，如果源文件来自多个服务器(从不同服务器的本地文件传输到HDFS)，我是否可以只运行一个Flume实例并将更多代理添加到flume-conf.properties中？如果可以，如何在flume-conf.properties中编辑以下参数：还有，我怎样才能运行flume</
浏览 2提问于2013-10-08得票数 1
2回答
使用flume将Oracle 11g数据加载到HDFS
oracle11g、flume
是否可以使用flume将Oracle 11g数据库数据传输到HDFS？我知道flume是为日志而做的，Sqoop应该用来从数据库传输数据。但是有没有办法用flume代替Sqoop呢？
浏览 1提问于2016-04-25得票数 2
2回答
Flume:通过API将文件发送到HDFS
hadoop、cloud、flume
我是Apache Flume-ng的新手。我希望将文件从客户端代理发送到服务器代理，后者最终会将文件写入HDFS。我见过了。这是到目前为止我发现的最好的一个。但是它是通过脚本实现的，而不是通过API。我想通过Flume API来实现。请在这方面帮助我。告诉我步骤，如何启动和组织代码。
浏览 0提问于2013-10-03得票数 1
1回答
使用水槽的日志数据未正确存储在蜂巢中
logging、hadoop、hive、flume、avro
我使用Flume 1.5.0从应用服务器收集日志。假设我有三个应用服务器，App，App，App。一个运行hive的HDFS服务器。现在，flume代理正在所有3 App服务器上运行，并将日志消息从app服务器传递到Hdfs服务器，在Hdfs服务器上运行另一个flume代理，并最终将日志存储在hadoop文件系统中。这里是我的水槽和蜂巢配置：
虚
浏览 2提问于2014-07-17得票数 0
回答已采纳
2回答
如何配置FLUME-NG根据日志发送方IP将日志写入不同的日志文件？
hadoop、flume-ng
我是FLUME的新手。开始使用它(flume-ng)。目前，我有多个应用程序服务器运行在不同的服务器上。我想收集这些服务器的日志。我在一台独立的LINUX计算机上安装了FLUME。但是我不知道如何将FLUME配置为根据应用服务器IP地址将日志写入本地文件。或者如何根据我定义的不同类别来写日志？
浏览 1提问于2014-05-23得票数 0
1回答
在hadoop python中处理多个文件
python、file、hadoop、pyspark、bigdata
我有一个场景，文本分隔的文件每30分钟从不同的服务器(大约10)到达hadoop系统。
每个文件有大约250万记录，可能不会同时到达，我正在寻找一种方法，这些文件可以处理每30分钟。
浏览 1提问于2017-04-16得票数 0
4回答
TBDS是否支持实时数据接入、国产数据库接入？
官方文档、机器学习、数据库、大数据处理套件 TBDS、工业物联
是否支持工业物联网设备实时数据采集？是否支持如达梦、翰高等国产数据库？另外机器学习平台DI-X也没有相关文档支持。
[附加信息]
浏览 975提问于2018-04-08
1回答
将数据从网站加载到hdfs
hadoop
现在，我正在研究实现该功能的选项，可以找到以下链接：
但是，通过阅读flume docs，我不清楚如何设置flume源代码来指向博客内容所在的网站。根据我对fluem文档的理解，需要有一个webserver，我需要在其中部署一个应用程序，然后生成weblog，然后通过flume将其传输到hdfs。但是我不想要web服务器日志，实际上我正在寻找博客内容(，即所有的数据+博客上的评论，如果有的话)，这是一个非结构化的数据，然后我正在考虑使用java还原来进一步处理这些数据。但不清楚是否使用
浏览 3提问于2013-04-11得票数 1
1回答
Apache Flume POC问题
logging、log4j、flume
目前，我正在开发一个POC，通过Apache Flume容器和flume-ng-log4jappender客户端从我们的web应用程序服务器收集日志。在Tomcat实例中一切正常，但是在与Websphere集成时由于JDK不匹配而面临问题，因为我本地的Websphere运行在JDK1.5上。
你能不能。告诉我在JDK 1.5环境下是否有客户端java程序可以向Flume提交消息。感谢您的快速回复。
浏览 3提问于2013-06-05得票数 0
回答已采纳
1回答
从syslog到水槽的源数据
flume、syslog
我试图从syslog服务器上设置一个用于源数据的flume代理。基本上，我已经在一个所谓的syslog服务器(server1)上设置了一个syslog服务器，以接收syslog事件，然后将所有消息转发到安装了flume代理的不同服务器(server2)，然后所有数据最终都将汇到for kafka sinkagent.sink
浏览 1提问于2017-02-23得票数 0
2回答
实时事件处理
apache-kafka、iot、flume
我有一个事件源(比如油井中的传感器，大约50000个)，它向服务器产生事件。在服务器端，我想以这样的方式处理所有这些事件，即来自传感器的关于最新湿度、温度、压力...etc的信息将被存储/更新到数据库中。我真的需要spark，(flume/kafka) + spark，来满足处理端吗？我们可以在没有水槽的情况下使用flume进行任何类型的处理吗？
浏览 13提问于2017-06-29得票数 1
1回答
必须指定使用Flume从kafka到HDFS:：ConfigurationException:引导服务器的数据
hadoop、apache-kafka、flume、flume-ng
我正在尝试使用从kafka源到hdfs的水槽来摄取数据。下面是我的水槽文件。flume1.sources = kafka-source-1flume1.sinks = hdfs-sink-1
flume1.sources.kafka-sourceflume-ng agent --name flume1 --conf-file '/etc/flume-ng&
浏览 0提问于2018-03-12得票数 2
云服务器
ICP备案
对象存储
即时通信 IM
云直播
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号