另一个很大的好处似乎是它可以处理Apache Avro对象:-)然而，我很难理解如何使用Avro模式来验证接收到的Flume事件。为了帮助更详细地理解我的问题，我提供了下面的代码片段； Avro模式 在这篇文章中，我使用了一个样例模式，定义了一个带有2个字段的嵌套Object1记录。我创建了一个新的Flume事
浏览 21提问于2019-02-18得票数 1
回答已采纳
文本文件中的xml数据。将它们导入flume和kafka到hdfs，并将它们保存为.txt文件格式。退出用例: xml文件正在通过flume→kafka→flume截取程序(验证模式是否有效)-->发送到有效或无效的kafka tpoic→hdfs接收器(有效和无效)保存在flume文件中。新的是：
我需要采取有效的kafka主题，并需要编写自己的冲水槽拦截
浏览 15提问于2017-08-21得票数 0
2回答
我使用flume + kafka将日志数据汇到hdfs。我的接收器数据类型是Avro。在avro (.avsc)中，有80个字段作为列。SERDE 'org.apache.hadoop.hive.serde2.avro.AvroSerDe'
STORED AS INPUTFORMAT 'org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat&#
浏览 6提问于2016-11-01得票数 2
回答已采纳
at org.apache.flume.sink.AbstractRpcSink.process(AbstractRpcSink.java:382) at org.apache.flume.api.NettyAvroRpcClient.configure(NettyAvroRpcClient.java:564)
at org.apache<
浏览 1提问于2013-06-28得票数 1
回答已采纳
我有定义为Map<String, String> map;的字段，我接受来自客户端的请求，并将其发送给模式注册表中定义了模式的Kafka主题。在模式中，我将其定义为：但是，当有人向我发送一个值为null时，我会得到这个错误，同时将消息推送给Kafka主题： at org.
浏览 7提问于2021-09-06得票数 0
回答已采纳
1回答
我正试图通过遵循来集成Apache流和Apache。我正在尝试在一个MapR沙箱中设置这一功能。19 Mar 2015 08:32:46,397 ERROR [SinkRunner-PollingRunner-DefaultSinkProcessorbe cast to org.apache.flu
浏览 2提问于2015-03-19得票数 0
回答已采纳
这是在我的aws实例的控制台上出现的错误。avro客户端:EC2-54-221-143-114.Computer-1.amazonaws.com，端口: 41414 org.apache.flume.FlumeException: NettyAvroRpcClient:242) at org.apache.flume.sink.DefaultSinkProcessor.start(DefaultSinkProcessor.java:46) at org
浏览 2提问于2014-08-09得票数 0
这里是第一次堆栈溢出提问器...将尝试包含尽可能多的细节。
我正在尝试通过Avro接收器将Apache Flume日志数据传输到Node.js服务器，侦听特定的端口。我打算使用来帮助在Avro的二进制格式和JSON之间进行序列化，这样我就可以在Node.js中处理数据(我将通过发布/订阅将其传递给客户端)。但是，当我启用Avro接收器并启动侦听同一端口的Node.js服务器时，Flume在
浏览 0提问于2013-02-16得票数 0
3回答
我正在尝试使用Log4J接口将从Log4J 1x到HDFS的事件通过Flume导入HDFS。创建了两个附加文件和水槽。它适用于文件附录程序，但是使用flume，程序只挂在Eclipse中。Flume工作正常，我可以使用avro客户端向avro源发送消息，并在HDFS中查看消息。但是，它并没有与Log4J 1x集成。
我没有看到任何例外，除了下面的log.out。如果它帮助我在调试模式下运行程序，并且当它挂起时，我执行挂起并接受堆栈跟踪
浏览 3提问于2013-10-23得票数 2
回答已采纳
基于这篇文章它尝试使用Flume和twitter流来获取tweet进行数据分析。一切都很顺利，创建Twitter应用程序，在HDFS上创建目录，配置Flume，然后开始获取数据，在tweet上创建模式。
然后，问题就来了。哦，什么是avro块和块大小的限制？我能换一下吗？根据这条消息，这是什么意思？是文件的问题吗？是不是有些记录有问题？如果Twitter的流媒体遇到错误数据，它应该核心关闭。
浏览 3提问于2016-03-17得票数 3
我有用户编写AVRO文件，我想使用Flume使用Flume将所有这些文件移动到HDFS中。因此，以后我可以使用Hive或Pig来查询/分析数据。.port = 41414a1.sources = avro1a1.channels = c1
a1.sinks.sink1.hdfs.fileType = DataStream
问题是HD
浏览 2提问于2014-02-07得票数 5
回答已采纳
2回答
我有一个独立的java应用程序，它使用log4j2打印记录器语句。我已经配置了flume客户端和flume服务器。Flume服务器工作正常。当我运行java应用程序时，我得到了在服务器中创建的连接，但是没有打印logger语句。以下是Flume服务器控制台中的记录器语句：
INFO [lifecycleSupervisor-1-5] (org.apache.flume.source.AvroSource.start
浏览 5提问于2013-05-27得票数 0
回答已采纳
3回答
我在Centos6.5中使用Hadoop1.2.1稳定版本，使用ApacheFulum1.x运行flume代理并在hdfs中收集tweet我的flume.conf是at org.apache.flume.SinkRunner.start(SinkRunner.java:79)
at org.apache.flume.agent.embedded.EmbeddedAgent.doSt
浏览 5提问于2014-07-29得票数 2
回答已采纳
我在虚拟机中使用Flume 1.6.0，在另一个虚拟机中使用Hadoop 2.7.1。当我向Flum1.6.0发送Avro事件时，它尝试在Hadoop2.7.1HDFS系统上编写。(Path.java:187) at org.apache.flume.sink.hdfs.BucketWriter:679)
at org.
浏览 2提问于2016-02-03得票数 0
2回答
我正在使用Flume流日志文件到HDFS使用2个代理。第一代理位于日志文件所在的源计算机上，而第二代理位于安装Hadoop的机器中(IP地址为10.10.201.40)。第一个代理(flume-src-agent.conf)的配置文件如下所示：source_agent.sources.weblogic_server.type= 10.10.201.40
source_agent.sinks.avro
浏览 4提问于2015-04-08得票数 0
回答已采纳
我正在尝试使用flume连接器来处理一个获取syslog消息的flume实例。我的storm配置如下flumeConf.put("flume-agent.source.bind"", "MEMORY");
flumeConf.put("flume-age
浏览 4提问于2013-11-25得票数 1
回答已采纳
1回答
我已经建立了大型的倒排索引，我已经以avro格式存储了我的倒排索引，而不是我想将其作为服务公开。我想知道是否有一种方法可以将avro文件加载到solr中，这样solr就可以对我构建的倒排索引进行索引。下面是我的倒排索引的样子：{"key":"
浏览 1提问于2013-08-16得票数 0
我正在尝试集成flume与火花流应用程序。我正在运行spark Scala示例FlumePollingEventCount来从flume中拉出事件。我在一台机器上运行spark作业。 a1.sources = r1 a1.channels = c1
WARN FlumeBatchFetcher:未收到来自
浏览 1提问于2016-01-07得票数 1
因此，我在服务器A上安装了Flume NG，并使用尾执行作为源和avro接收器，并以服务器B avro作为源，使用hbase作为接收器。org.apache.flume.EventDeliveryException: Failed to send events at org.apache
浏览 1提问于2013-10-04得票数 1
回答已采纳
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
