数据管理、规划、应用

数据工程构建策略
  • 业务规划线性
  • 技术架构统一
  • 平台架构做大——从中长期规划入手规划大数据平台框架
  • 实施做小——具体项目分阶段实施,逐步完善,业务优先,在技术规划轨道内实施
数据治理管控
  • 不同应用,不同业务,需求不同(稳定性、时效性、高可用度的需求不同)
  • 存储层要统一,应用层要分层分级。对应用层的构建,要基于对应用的解耦合,提高效能。
  • 对数据按安全级分层,分开存储,避免全量丢失泄露。
机器学习一般过程

从业务出发——由问题着手、分析梳理、确认业务模型
构建数学模型——从业务模型建模
数据——根据实际条件、模型需求,来采集、处理、存储数据
算法选型——基于数据模型开展实施,这时就不再与业务相关了

企业级应用开发的核心要素
  • 数据——基础核心
  • 业务分析——起点,由业务领域专家、分析问题场景、给出业务模型
  • 模型——这里是从业务模型构建的数学与数据模型,要持续更新,基于场景和数据不断修正。更新周期可能是一天、三天、一周,根据实际情况而定。基于自动化数据流水线,数据平台,快速响应。给一线的用户提供可靠的分析模型应用。
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 最近再看阮一峰的一篇博客提到了一本书《Software Architecture Patterns》(PDF),写...
    卓_然阅读 7,865评论 0 22
  • 前段时间有报道称,有学者质疑“大数据”理论,也有硅谷公司负责人质疑大数据应用的效果。结合2011年Gartner关...
    栀子花_ef39阅读 1,446评论 0 5
  • 大数据学习交流群:808769635 前段时间有报道称,有学者质疑“大数据”理论,也有硅谷公司负责人质疑大数据应用...
    顺治帝阅读 3,287评论 0 5
  • 什么是大数据?不要再举例说啤酒和尿布的例子了,Gartner的分析师Doug Laney在讲解大数据案例时提到过8...
    晨硕杂谈阅读 4,627评论 0 16
  • 10.1 什么是数据仓库 数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库,是为企...
    临时_01e2阅读 599评论 0 0