我刚刚在我的虚拟机环境中完成了整个测试,现在我正试图在专用服务器上启动它。现在我遇到了一个全新的问题。首先,我确认我同时运行了上下文代理和centos (分别在1026和5050上运行):
[root@centos conf]# netstat -ntlpd
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 0 0 0.
我需要将Cosmos中的数据保存在SQL表中,而不是HDFS文件中。
我在FI-Lab的Cloud部分部署了一个VM,在那里我安装了0.14.0 Orion版本和0.3的Cygnus。我已经将Cygnus配置为在HDFS和SQL中存储数据...问题是,持久化在HDFS文件中工作得很好,但在SQL表中是不可能的,尽管我在过去得到了它。这就是我困惑的原因
我猜如果HDFS持久化工作,那应该是cygnus.config文件的问题。所以我在下面展示它:
# APACHE_FLUME_HOME/conf/cygnus.conf
# The next tree fields set the so
我正在使用flume导入TWITTER数据。
我在我的flume conf中添加了以下一行:
TwitterAgent.sources.Twitter.keywords = hadoop, big data, analytics, bigdata, cloudera, data science, data scientiest, business intelligence, mapreduce, data warehouse, data warehousing, mahout, hbase, nosql, newsql, businessintelligence, cloudcomputing
你配置水槽的正常方式是通过水槽主网络控制台,在这里谈论它很容易。
或
通过交互式水槽外壳控制台,请执行以下步骤:
1. $ flume shell //this brings you to the interactive flume shell console
2. in the interactive console,connect flume-master-node // this connects you to flume-master
3. in the interactive console, run "exec unconfig your_node" //
我尝试在syslog源和hbase接收器中使用水槽。
当我运行flume代理时,我得到了以下错误:Failed to start agent because dependencies were not found in classpath. Error follows. java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration,这意味着(从那个)缺少一些hbase,要解决这个问题,我需要在flume-env.sh文件中设置这些库的路径,并运行flume,但是这里的错误是我用来运行flume代理的命令:b
我正在尝试使用local将一些日志文件从HDFS复制到flume-ng。source是/home/cloudera/flume/weblogs/,sink是hdfs://localhost:8020/flume/dump/。cron作业将把日志从tomcat服务器复制到/home/cloudera/flume/weblogs/,并且我希望记录要复制到HDFS的文件,因为这些文件可以在/home/cloudera/flume/weblogs/中使用flume-ng。下面是我创建的conf文件:
agent1.sources= local
agent1.channels= MemChannel
a
我正在使用上下文代理的0.27.0版本。我正在使用Cygnus generic enabler,并且我已经建立了一个将外部设备连接到上下文代理的MQTT代理。
我现在主要关心的是如何防止数据丢失。我建立了上下文代理和Cygnus mongodb数据库作为副本集,但这并不能确保所有数据都将持久化到数据库中。我见过Cygnus使用Apache flume。查看其配置,可以配置重新注入重试:
# Number of channel re-injection retries before a Flume event is definitely discarded (-1 means infinite