企业数字化系列之大数据的采集和存储

互联网发展到现在,基础性的各种商业应用基本已经完成,这也意味着以前那种靠某种满足人类单一需求的APP商业模式开始出现瓶颈,那么面对如此的发展瓶颈,企业该如何进行自救和发展呢?

问题的答案其实早就在市场的初期就开始有了,即数据之路。

何为数据之路?即将公司的一切运营数字化,以数字化的形态构建企业数字化平台,并通过Pass或Sass服务的形式进行企业的数据共享以及企业数字化方案商业化。

那么如何做到企业的数字化管理和企业数字化平台搭建呢?

首先需要做的就是,企业内外部运营的数字化,即业务数字化,绩效数字化等等,这就意味着企业需要以数字化的方式重组企业的一切流程。

那么如何做到数字化呢?或是说数字化到底包括哪些数据类型呢?数字化如何进行采集以及存储的呢?

对于企业数据,一般包括结构化数据,半结构化数据和非结构化数据。

结构化数据,一般来自业务系统的结构化流程。半结构化数据一般指的是企业的日常流水数据和互联网数据等等,非结构化数据一般指的是企业各种软硬件系统的日志数据和文件数据。

来自业务系统的结构化通过结构化的服务器采集到Hive数据库。

来自企业的半结构化数据一般分为两种,一种是可以解析成json/xml的结构化数据,另一种是图片或是视频等非结构化数据。此时结构化的数据通过解析存储到Hive数据库,而不能被解析的数据则通过http采集器传送到elastastic里。

来自企业的日志数据通过日志采集服务器,一部分被解析到elastastic里,一部分不能被解析,被存储到 hdfs里。

来自企业的文件数据则通过本地文件采集服务器直接传送到hdfs里,通过标签的方式进行检索。

其具体的过程如下图:

然而,完成了数据的采集和存储只是完成企业大数据平台的第一步,后期我会接着讲企业数字化系列的其他内容。

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 数字化企业是信息化企业的升级版,信息化关注的是流程信息化,关注的是业务人财物的信息化运作。 数字化是过程数字化的产...
    IT阿土阅读 235评论 0 0
  • ![Flask](data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAW...
    极客学院Wiki阅读 7,369评论 0 3
  • 不知不觉易趣客已经在路上走了快一年了,感觉也该让更多朋友认识知道易趣客,所以就谢了这篇简介,已做创业记事。 易趣客...
    Physher阅读 3,449评论 1 2
  • 双胎妊娠有家族遗传倾向,随母系遗传。有研究表明,如果孕妇本人是双胎之一,她生双胎的机率为1/58;若孕妇的父亲或母...
    邺水芙蓉hibiscus阅读 3,727评论 0 2
  • 晴天,拥抱阳光,拥抱你。雨天,想念雨滴,想念你。 我可以喜欢你吗可以啊 我还可以喜欢你吗可以,可是你要知道我们不可...
    露薇霜凝阅读 1,242评论 1 2