离线数据分析平台实战——240JavaSDK数据收集引擎编写
JavaSDK设计规则
JavaSDK提供两个事件触发方法,分别为onChargeSuccess和onChargeRefund。我们在java sdk中通过一个单独的线程来发送线程数据,这样可以减少对业务系统的延时性。
SDK测试
启动集群上的hdfs+nginx+flume进程,
通过模拟数据的发送然后将数据发送到nginx服务器中,
查看最终是否在hdfs中有数据的写入。
命令:
启动hdfs
start-dfs.sh
: 命令
su root
:切换用户
启动nginx
service nginx restart
: 进程
启动flume进程:
进入flume安装根目录,执行命令:
flume-ng agent --conf ./conf/ --conf-file ./conf/test2.conf --name agent &