1回答
Flume复制然后过滤，如何？
flume、flume-ng
我需要复制源，然后只过滤正则表达式上的一个副本。
例如，如果我的源数据是‘狗，驴，猫’，我想把‘狗，驴，猫’存入一个地方，但只把‘狗，驴’存入另一个地方(d*)。我计划使用正则表达式拦截器，但我不知道如何做到这一点，因为拦截器与源代码相关联。如何做到这一点呢？
浏览 11提问于2019-11-14得票数 0
回答已采纳
1回答
控制flume本身生成的日志文件的大小
ubuntu、hadoop、cloudera、flume
Flume在/var/ log /flume文件夹中生成日志。那里的文件正在以GB为单位增长。如何限制这些日志的文件大小？
浏览 3提问于2011-06-27得票数 1
回答已采纳
3回答
停止Flume代理
hadoop、flume、flume-ng
我有一个要求，我想运行作为源的假脱机目录的Flume代理。在将spool目录中的所有文件复制到HDFS(接收器)之后，我希望代理停止，因为我知道所有文件都被推送到通道。有什么方法可以停止flume代理吗？
浏览 1提问于2016-10-06得票数 2
1回答
Flume使用情形-将数据从只读文件夹推送到HDFS
hadoop、rsync、flume-ng
我正在寻找一种使用flume将日志数据从只读文件夹推送到hdfs的方法。据我所知，完成后，flume spoolDir需要写访问权限来更改完成的文件名，所以我想创建一个临时文件夹作为spoolDir，并使用rsync将文件复制到其中，然后将其用作spoolDir。但是，据我所知，一旦flume (myfile.COMPLETED)更改了dest文件夹中的文件，rsync进程会再次复制它，对吧？还有其他解决方案吗？
浏览 0提问于2015-09-17得票数 2
1回答
当客户端关闭连接时，Hadoop如何处理未复制的数据？
hadoop、hdfs、flume
Flume正在别处运行，正在将数据写入此群集。当群集负载过重时，flume-agent将完成写入，并尝试在HDFS完成数据复制之前关闭文件。关闭失败并重试，但flume-agent配置了超时，并且当关闭不能及时完成时，flume-agent断开连接。我已经通读了，并且认
浏览 0提问于2015-04-30得票数 1
2回答
使用拦截器过滤Flume中的日志文件
hadoop、flume
我有一个http服务器写日志文件，然后我加载到HDFS使用Flume首先，我想过滤数据根据我的头或主体中的数据。我读到我可以使用正则表达式的拦截器来做这件事，有人能确切地解释我需要做什么吗？我是否需要编写覆盖Flume代码的Java代码？
此外，我还想获取数据，并根据报头将其发送到不同的接收器(即source=1发送到sink1，source=2发送到sink2)，这是如何完成的？
浏览 5提问于2013-07-22得票数 3
3回答
我正在尝试使用flume将twitter数据添加到HDFS中。我无法在flume-env.sh文件中设置Java类路径。它显示您没有权限执行此操作。如何编辑此文件？
浏览 5提问于2016-02-15得票数 0
2回答
Apache flume twitter代理，而不是流数据
java、hadoop、twitter、cloudera、flume
我正在尝试将twitter提要流到hdfs，然后使用hive。但是第一部分，流数据和加载到hdfs是不工作的，并且给出了Null指针异常。
这就是我尝试过的。apache-flume-1.4.0-bin.tar.下载的1.提取出来的。将所有内容复制到/usr/lib/flume/.在/usr/lib/ i中，将所有者更改为用于flume目录的用户。我将文件flume-env.sh复制为flum
浏览 3提问于2014-05-03得票数 7
回答已采纳
1回答
使用Flume获取推文时出现问题
hadoop、flume
我可以使用flume获取tweet，但是，它所使用的语言并不是我想要的。下面是flume.conf文件我收到的推文如下所示：有没有人能建议我需要做的修改？
浏览 11提问于2017-07-07得票数 1
1回答
使用Flume将CSV文件写入HDFS
hdfs、flume
我正在使用Flume将一些CSV文件从本地文件系统写入HDFS。我需要在这些值上添加什么来模拟我想要的行为？如果这将无法使用现有的配置，我是否需要使用自定义接收器然后实现我想要的？
谢谢你的意见。我知道hadoop -put或-copyFromLocal更适合这项工作，
浏览 3提问于2015-05-07得票数 5
回答已采纳
1回答
如何使用Apache Flume过滤多个源数据？
hadoop、flume、flume-ng、flume-twitter
我使用flume处理多个源数据并存储在HDFS中，但我无法理解如何在存储到HDFS中之前过滤数据。
浏览 4提问于2017-08-18得票数 0
1回答
Flume自动扩展和故障转移
flume
我的公司正在考虑使用flume进行一些相当大容量的日志处理。我们认为，出于卷(可伸缩性)和故障转移(可靠性)的原因，日志处理需要分布式，而Flume似乎是显而易见的选择。然而，我们认为我们肯定遗漏了一些明显的东西，因为我们没有看到Flume如何提供自动可伸缩性和故障转移。我想定义一个流，对于每条日志行，执行A操作，然后传递它并执行B操作，然后传递它并执行C操作，依此类推，这似乎与Flume很匹配。但是，我希望能够以纯粹的逻辑术语定义这个流程，然后基本上
浏览 0提问于2011-12-09得票数 5
回答已采纳
1回答
如何分发Apache Flume 1.4
apache、flume
我看过Apache Flume 1.4文档，并不清楚如何跨节点分发工作。我必须从多个来源获取数据，并为每个来源提取多个查询条件，并需要定期轮询它们。用于flume-master和Flume -node的旧版本flume。Cloudera发布说明称，这些概念已被代理取代。但是如何分配代理呢？我应该在每个节点上手动创建多个配置，然后在每个节点上启动代理吗？或者可以通过任何集中机制来完成？
浏览 1提问于2013-07-30得票数 0
1回答
Fi-Ware Bigdata配置
fiware-orion、fiware、fiware-cygnus
我在教程中找到了下一段如果您没有将这些包包含在Cygnus包中，则需要在APACHE_FLUME_HOME/plugins.d/cygnus/libext下安装以下软件包：OrionHDFSSink dependencieshive-service-0.12.0.jar
hive-common-0.12.0.jar
浏览 3提问于2014-06-13得票数 2
回答已采纳
sources.r1.channels = c1
现在，我发出了以下命令来使用我的特定配置：使用netcat命令并输入以下文本：这是通过netcat发送到flume的第一个事件
现在，如果您查看Flume控制台，您会看到截断的日志行。
浏览 0提问于2013-11-25得票数 0
2回答
跨多个节点的日志的Hadoop句柄
hadoop、hdfs
我的问题是如何在hadoop中启用MP的每日日志？目前，对于服务器A，我手动将日志文件复制到HDFS目录：然后
>hadoop jar MR_path有没有其他更有效的方法，让我不必跑到每台服务器上，手动将新生成的日志复制到DFS系统？fs -put命令真的涉及到将大型数据文件移动到这里吗？
浏览 28提问于2017-02-20得票数 0
回答已采纳
1回答
使用不位于hdfs中的文件
hadoop、hive、bigdata
但是，尽管有根权限，我还是不能将数据从文件系统复制到hdfs：put: Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x)
ROW FORMAT DELIMITE
浏览 0提问于2015-08-02得票数 0
回答已采纳
2回答
在shell/bash脚本中配置水槽-避免交互水槽外壳控制台
bash、shell、scripting、flume
. $ flume shell //this brings you to the interactive flume shell console3. in the interactive console, run然后，我试图为我的水槽配置编写bash脚本。所以我想把1,2,
浏览 3提问于2012-06-01得票数 1
回答已采纳
1回答
谁知道如何在水槽进程中读取gzip文件(spoolSourceDirectory中的gzip)？
gzip、flume、spool
如果我们想要从包含Gzip文件的spoolDir中获取数据，我应该在Flume过程中对源文件进行什么更改？
浏览 0提问于2015-06-11得票数 2
云服务器
ICP备案
对象存储
实时音视频
云点播
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号