2019-09-06 ES处理生产数据

这是年初的项目,原先司内生产数据都是采用的共享网络磁碟机的方式再用排程(SSIS)处理的,方法不错但是耦合性较高,如今有人带来了新技术,又有新的项目,那么这就是一个很好的技术迭代的机会。

项目分析

线上机械生产会产出生产LOG,其类型类似系统日志。生产LOG需要用来监察生产,所以在及时性上也有一定的要求。

项目框架

项目框架
filebeat.yml    
C:\Program Files.....
client端用戶文件抓取邏輯


S0001_L_SMT_PT200_MCD_PRO.conf
/etc/logstash.....
指定logstash偵測端口,輸出出口(至elastsearch),并分配解析


sort.rb
/etc/.......
負責解析logstash分配的任務

#########################################
#elastalert功能已移除
#config.yaml
#/ELASTALERT/.......
#elastalert主程式設定檔


#S0001_ALART_SMT_PT200_MCD_PRO.yaml
#/ELASTALERT/.......
#elastalert任務設定檔

#mcd_post.py
#/usr/lib/python2.7/.......
#負責處理elastalert的任務
#########################################

ElasticSearch.py
替代elastalert功能

图和解释有一定差距,后来对数据整合处理步骤进行了修改
再往后就是一些细节化的信息,就不多说了

结语

融入生产后维护的重点:
1.对于如何快速恢复filebeat.yml的现场需要详细指导,以防止线上因为异常更换电脑
2.ES上的数据处理注意不同server间时间差的问题(本处采用filebeat本机时间,这到是个软件问题)

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容