我需要将Cosmos中的数据保存在SQL表中,而不是HDFS文件中。
我在FI-Lab的Cloud部分部署了一个VM,在那里我安装了0.14.0 Orion版本和0.3的Cygnus。我已经将Cygnus配置为在HDFS和SQL中存储数据...问题是,持久化在HDFS文件中工作得很好,但在SQL表中是不可能的,尽管我在过去得到了它。这就是我困惑的原因
我猜如果HDFS持久化工作,那应该是cygnus.config文件的问题。所以我在下面展示它:
# APACHE_FLUME_HOME/conf/cygnus.conf
# The next tree fields set the so
我已经(从源代码)安装了Cygnus0.7.1,在配置它之后(MySQL和HDFS接收器),我可以毫无问题地启动它。当我订阅cygnus到orion上下文时,它会收到信息ok,但是MySQL和HDFS存在问题。这是日志:
15/03/17 13:58:52 INFO handlers.OrionRestHandler: Starting transaction (1426597123-891-0000000000)
15/03/17 13:58:52 INFO handlers.OrionRestHandler: Received data ({ "subscriptionId
我正在尝试将处理后的数据写入HDFS位置。经过长时间的试验和错误方法后,我获得了写入HDFS位置的数据,但现在的问题是,每当我向我的目录(我指向readStream)添加新文件时,旧文件在HDFS位置得到处理和更新。
假设我已经开始流式传输,我已经添加了文件-1.csv在我的directory...nothing中被写入到HDFS location..Then我已经添加了文件-2.csv..仍然没有写入到HDFS,接下来我添加了文件-3.csv..这次处理后的文件-1.csv正在被写入到HDFS...
File 1 - no prcess
File 2 - no process
File 3