Log4j、Flume、kafka和spark streaming时时日志处理

    本次实战flume是1.7版本,kafka是0.10,spark streaming是2.2.0版本

    第一步:flume=》kafka,首先配置flume的source为avro,然后sink为kafka方式,其中varo的端口要和log4j相同,服务器本机即可,其中代码如下图:

第二部:准备模拟log4j日志生产,我是用java代码循环生成以及log4j配置,如下图所示:


第三部、用spark  Streaming进行接收,最后打印出来,生成环境可以根据自己需要进行业务修改即可,代码如下:

修改main方法参数,我是用IDEA,如下配置


完成以后分别启动java的main方法,和flume,kafka,zookeeper,然后启动spark stream方法:


打印日志的结果


spark streaming接受的结果

以上就完成了一个日志的时时分析功能,赶快实践吧!

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容