Hadoop数据分析平台实战——240JavaSDK数据收集引擎编写离线数据分析平台实战——240JavaSDK数据收集引擎编写

离线数据分析平台实战——240JavaSDK数据收集引擎编写

JavaSDK设计规则

JavaSDK提供两个事件触发方法，分别为onChargeSuccess和onChargeRefund。我们在java sdk中通过一个单独的线程来发送线程数据，这样可以减少对业务系统的延时性。

SDK测试

启动集群上的hdfs+nginx+flume进程， 通过模拟数据的发送然后将数据发送到nginx服务器中， 查看最终是否在hdfs中有数据的写入。

命令：

启动hdfs

start-dfs.sh： 命令 su root：切换用户

启动nginx

service nginx restart: 进程

启动flume进程：

进入flume安装根目录，执行命令： flume-ng agent --conf ./conf/ --conf-file ./conf/test2.conf --name agent &