互联网发展到现在,基础性的各种商业应用基本已经完成,这也意味着以前那种靠某种满足人类单一需求的APP商业模式开始出现瓶颈,那么面对如此的发展瓶颈,企业该如何进行自救和发展呢?
问题的答案其实早就在市场的初期就开始有了,即数据之路。
何为数据之路?即将公司的一切运营数字化,以数字化的形态构建企业数字化平台,并通过Pass或Sass服务的形式进行企业的数据共享以及企业数字化方案商业化。
那么如何做到企业的数字化管理和企业数字化平台搭建呢?
首先需要做的就是,企业内外部运营的数字化,即业务数字化,绩效数字化等等,这就意味着企业需要以数字化的方式重组企业的一切流程。
那么如何做到数字化呢?或是说数字化到底包括哪些数据类型呢?数字化如何进行采集以及存储的呢?
对于企业数据,一般包括结构化数据,半结构化数据和非结构化数据。
结构化数据,一般来自业务系统的结构化流程。半结构化数据一般指的是企业的日常流水数据和互联网数据等等,非结构化数据一般指的是企业各种软硬件系统的日志数据和文件数据。
来自业务系统的结构化通过结构化的服务器采集到Hive数据库。
来自企业的半结构化数据一般分为两种,一种是可以解析成json/xml的结构化数据,另一种是图片或是视频等非结构化数据。此时结构化的数据通过解析存储到Hive数据库,而不能被解析的数据则通过http采集器传送到elastastic里。
来自企业的日志数据通过日志采集服务器,一部分被解析到elastastic里,一部分不能被解析,被存储到 hdfs里。
来自企业的文件数据则通过本地文件采集服务器直接传送到hdfs里,通过标签的方式进行检索。
其具体的过程如下图:
然而,完成了数据的采集和存储只是完成企业大数据平台的第一步,后期我会接着讲企业数字化系列的其他内容。