我刚刚在我的虚拟机环境中完成了整个测试,现在我正试图在专用服务器上启动它。现在我遇到了一个全新的问题。首先,我确认我同时运行了上下文代理和centos (分别在1026和5050上运行):
[root@centos conf]# netstat -ntlpd
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 0 0 0.
我正在尝试使用local将一些日志文件从HDFS复制到flume-ng。source是/home/cloudera/flume/weblogs/,sink是hdfs://localhost:8020/flume/dump/。cron作业将把日志从tomcat服务器复制到/home/cloudera/flume/weblogs/,并且我希望记录要复制到HDFS的文件,因为这些文件可以在/home/cloudera/flume/weblogs/中使用flume-ng。下面是我创建的conf文件:
agent1.sources= local
agent1.channels= MemChannel
a
下午好,我在增加Flume的堆大小时遇到了问题。结果,我得到了:
Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
我增加了"flume-env.sh“和Hadoop/Yarn中定义的堆。不走运。
在启动flume时,需要注意的一件事是Exec (processbuilder?)似乎将堆定义为20Mb。对如何覆盖它有什么想法吗?
Info: Including Hadoop libraries found via (/usr/local/hadoop/bin/hadoop) fo