//
我所经历的大数据平台发展史（三）：互联网时代 • 上篇
http://www.infoq.com/cn/articles/the-development-history-of-big-data-platform-paet02

编者按：本文是松子（李博源）的大数据平台发展史系列文章的第二篇（共四篇），本系列以独特的视角，比较了非互联网和互联网两个时代以及传统与非传统两个行业。是对数据平台发展的一个回忆，对非互联网、互联网，从数据平台的用户角度、数据架构演进、模型等进行了阐述。
前言，本篇幅将进入大家熟知的互联网时代，数据平台发展史仅是自己经历过由传统数据平台到互联网数据平台发展一些简单回忆，在这一篇章中将引用部分互联网数据平台架构，在这里仅作案例。
我相信很多从传统行业转到互联网时是各种不适应，适应短则几个月，长则一年以上。进入到互联网有种感觉，它是一个擅长制造流行新概念的行业，“数据平台“，”数据产品“也不幸免。数据平台这词Data PlatForm 也无从考究是从什么时间点被提出的，仅知道自己刚进互联网时”数据平台“ 这个词狭义代指数据仓库了。
08年左右的Data Platform还泛指数据仓库，那时互联网企业的数据仓库刚兴起没几年，在建设思路上还是以传统数据平台的第二、三代架构为参照物实施建设的。自己猜测那时很多互联网企业也是使用Oracle、IBM、EMC 的软硬件区做的各类系统的实施，自然数据平台建设者都是来给电信、移动、制造业等各大数据仓库实施的甲方、乙方各类牛人。
行业的差异性导致业务不同，影响到数据平台源（数据源）的差异性、随着信息化共享与服务的这个“神奇”互联网行业快速发展，互联网业务逐渐的重视数据，所以互联网的从业者在看数据、使用数据的方式每一年也不同、大数据的各种技术也在快速更新中，各方面因素导致了互联网数据平台的建设、服务用户特点、数据模型与非互联网数据平台有较为显著差异。
数据源
做数据的人，从非互联网进入到互联网最显著的特点是面对的数据源类型忽然多了起来，在传统企业数据人员面对的是结构化存储数据，基本来自excel、表格、DB系统等，在数据的处理技术上与架构上是非常容易总结的，但是在互联网因为业务独特性导致了所接触到的数据源特性多样化，网站点击日志、视频、音频、图片数据等很多非结构化快速产生与保存，在这样的数据源的多样化与容量下采用传统数据平台技术来处理当然是有些力不从心了（备注：IBM的科学家分析员道格.莱尼的一份数据增长报告基础上提出了大数据的4V特性 大数据4v特性网上概念很多大家可以问度娘）。
目前最火热的移动互联网,大家都在通过自己的手机、平板去访问网站、购物等所以每个人都是数据的生产者，移动用户在使用习惯上呈现移动化、碎片化，以至于业务特性、商业模式比传统互联网又有显著差别, 用户在不同位置需求是不同的、使用APP 也是不同的、手机终端类型也是多样化。这些差异性比较导致移动互联网的数据与传统的互联网时代又产生显著差异性。
例如买家通过Pc购物从浏览物品到支付可能在很短时间内完成，但是通过手购物碎片化就显得多一些，可能在某个空余时间浏览物品，保存或放入购物车，等有时间在去做支付。大约在2009年到2012年之间做用户行为分析感觉很多原有网页端拍下物品去支付，逐渐转为PC端下单通过移动端支付。
我在这里整理一个表格不同时代数据源的差异性（备注可能整理的有点不全）：
行业域

非互联网

互联网

移动互联网

数据来源(相对于数据平台来讲)

结构化各类数据库(DB系统)、结构化文本、Excel表格等，少量word

Web、自定义、系统的日志，各类结构化DB数据、长文本、视频 主要是来自网页

除了互联网那些外还含有大量定位数据、自动化传感器、嵌入式设备、自动化设备等

数据包含信息

CRM客户信息、事务性 ERP/MRPII 数据、资金账务数据 等。

除了传统企业数据信息外，还含有用户各类点击日志、社交数据、多媒体、搜索、电邮数据等等

除了传统互联网的数据外，还含有Gps、穿戴设备、传感器各类采集数据、自动化传感器采集数据等等

数据结构特性

几乎都是结构化数据

非结构化数据居多

非结构化数据居多

数据存储/数据量

主要以DB结构化存储为主，从几百兆到 百G级别

文件形式、DB形式，流方式、 从TB 到PB

文件形式、流方式、DB范式，非结构化 从TB 到PB

产生周期

慢，几天甚至周为单位

秒或更小为单位

秒或更小为单位

对消费者行为采集与还原

粒度粗

粒度较细

粒度非常细

数据价值

长期有效

随着时间衰减

随着时间快速衰减

单位时间内数据聚合度

高度聚合

聚合度低

聚合度很低

该图引用2013年“中国数据库大会大数据的实践与应用”
数据平台的用户
总结下来互联网的数据平台“服务”方式迭代演进大约可以分为三个阶段。
阶段一 ：
约在2008年-2011年初的互联网数据平台，那时建设与使用上与非互联网数据平台有这蛮大的相似性，主要相似点在数据平台的建设角色、与使用到的技术上。

老板们、运营的需求主要是依赖于报表、分析报告、临时需求、商业智能团队的数据分析师去各种分析、临时需求、挖掘，这些角色是数据平台的适用方。
ETL开发工程师、数据模型建模、数据架构师、报表设计人员 ，同时这些角色又是数据平台数据建设与使用方。
数据平台的技术框架与工具实现主要有技术架构师、JAVA 开发等。
用户面对是结构化的生产数据、PC端非结构化log等 数据。
ELT的数据处理方式（备注在数据处理的方式上，由传统企业的ETL 基本进化为ELT）。

现在的淘宝是从2004年开始构建自己的数据仓库，2004年是采用DELL 的6650单节点、到2005年更换为 IBM 的P550 再到2008年的12节点 Rac 环境。在这段时间的在IBM、EMC、Oracle 身上的投入巨大(备注：对这段历史有兴趣可以去度娘：“【深度】解密阿里巴巴的技术发展路径“)，同时淘宝的数据集群也变为国内最大的数据仓库集群。

互联网企业随着数据更加逐渐被重视，分析师、数据开发在面对大量的数据需求、海量的临时需求疲惫不堪，变成了资源的瓶颈，在当时的状态传统的各类的Report、Olap 工具都无法满足互联网行业个性化的数据需求。开始考虑把需求固定化变为一个面向最终用户自助式、半自助的产品来满足快速获取数据&分析的结果，当总结出的指标、分析方法（模型）、使用流程与工具有机的结合在一起时数据产品就诞生了（备注：当时为了设计一个数据产品曾经阅读了某个部门的2000多个临时需求与相关SQL）。

编者按：本文是松子（李博源）的大数据平台发展史系列文章的第二篇（共四篇），本系列以独特的视角，比较了非互联网和互联网两个时代以及传统与非传统两个行业。是对数据平台发展的一个回忆，对非互联网、互联网，从数据平台的用户角度、数据架构演进、模型等进行了阐述。
前言，”数据模型“ 这个词只要是跟数据沾边就会出现的一个词，在数据库设计、数据仓库、数据挖掘上、业务里都存在，聚焦一下，这里提到的是数据平台中的”数据模型“。 这是一个非常的抽象词，个人也很难用简单语言把他描述出来，这一章也是整个系列中较为抽象的一章节，同时这个章节将会回答非互联网数据平台数据模型是什么？如何需要数据模型？如何简单的建设？
在“我所经历的大数据平台发展史 上篇 非互联网时代”曾经提到Bill inmon与 Ralph kilmball两位大师的设计理念，对业务的数据按照某种规则进行有效组织并满足业务需求。

相关厂商内容
关于红包、SSD云盘等核心技术集锦！
Cloudant DBaaS技术概述
下一代 DB2更加突出 BLU Acceleration
小邪：阿里8届双11容量规划这样设计

Apache Beam 大规模流处理

相关赞助商

在构建过程中，有一个角色理解业务并探索分散在各系统间的数据，并通过某条业务主线把这些分散在各角落的数据串联并存储同时让业务使用，在设计时苦逼的地方除了考虑业务数据结构要素外，还得考虑可操作性、约束性（备注 约束性是完成数据质量提升的一个关键要素，未来新话题主题会讨论这些），这个既要顾业务、数据源、合理的整合的角色是数据模型设计师，又叫数据模型师。
非互联网时代的数据模型是一个高度智慧业务抽象结晶，数据模型是整个系统建设过程的导航图。
(点击放大图像)

[图片上传中。。。（2）]
平台中模型设计所关注的是企业分散在各角落数据、未知的商业模式与未知的分析报表，通过模型的步骤，理解业务并结合数据整合分析，建立数据模型为Data cleaning 指定清洗规则、为源数据与目标提供ETL mapping （备注：ETL 代指数据从不同源到数据平台的整个过程，ETL Mapping 可理解为 数据加工算法，给数码看的，互联网与非互联网此处差异性也较为明显，非互联网数据平台对ETL定义与架构较为复杂）支持、 理清数据与数据之间的关系。（备注：Data cleaning 是指的数据清洗 数据质量相关不管是在哪个行业，是最令人头痛的问题，分业务域、技术域的数据质量问题，需要通过事前盘点、事中监控、事后调养，有机会在阐述）。
大家来看一张较为严谨的数据模型关系图：
(点击放大图像)
[图片上传中。。。（3）]
数据模型是整个数据平台的数据建设过程的导航图。
有利于数据的整合。数据模型是整合各种数据源指导图，对现有业务与数据从逻辑层角度进行了全面描述，通过数据模型，可以建立业务系统与数据之间的映射与转换关系。排除数据描述的不一致性。如：同名异义、同物异名..。
减少多余冗余数据，因为了解数据之间的关系，以及数据的作用。在数据平台中根据需求采集那些用于分析的数据，而不需要那些纯粹用于操作的数据。

在面对企业复杂业务与成千上万的数据项进行设计时，没有哪个牛逼的人都记得住的，所以出现了按照某种层次规则去有组织并抽象与管理易用，由此诞生了概念模型、逻辑模型、物理模型 (备注 数据平台数据模型，而非数据挖掘的模型)。
数据模型在数据平台的数据仓库中是一个统称，严格上来讲分为概念模型、逻辑模型、物理模型。(备注：四类模型如何去详细构建文本不深讲，关于非互联网企业的数据模型网上非常多)
(点击放大图像)
[图片上传中。。。（4）]
在“我所经历的大数据平台发展史 上篇 非互联网时代“提到两位大师的架构与争论，进一步聚焦来说，争论点我的认为其实是在数据模型的支持上，Bill Inmon的EDW的原则是准三范式的设计、Ralph kilmbal是星型结构。
Bill Inmon对EDW 的定义是面向事物处理、面向数据管理，从数据的特征上需要坚持维护最细粒度的数据、维护最微观层次的数据关系、保存数据历史。所以在构建完毕的数据平台中可以从中映射并检查业务信息的完整性（同时也是养数据过程中的重要反馈点），这种方式还可以找出多个系统相关和重合的信息，减少多个系统之间数据的重复定义和不一致性，减小了应用集成的难度。
(点击放大图像)
[//
我所经历的大数据平台发展史（四）：互联网时代 • 下篇
http://www.infoq.com/cn/articles/the-development-history-of-big-data-platform-internet-age

编者按：本文是松子（李博源）的大数据平台发展史系列文章的第四篇（共四篇），本系列以独特的视角，比较了非互联网和互联网两个时代以及传统行业与非传统行业。是对数据平台发展的一个回忆，对非互联网、互联网，从数据平台的用户角度、数据架构演进、模型等进行了阐述。
在互联网时代被弱化的数据模型
谈起数据模型就不得不提传统数据平台架构发展，我相信很多朋友都晓得传统数据平台的知识，其架构演进简单一句话说“基本上可以分为五个时代、四种架构”，但是到了互联网时代因为大数据快速膨胀与数据源类型多样化特点，从高阶架构上来看大约从传统数据平台第三代架构开始延续的，但是往后的发展从我自己的这一点知识上很难对互联网的数据平台做架构归类。
但是从数据平台建设与服务角色上还是有章可循的。就像上篇分享到那样，类比两个行业，互联网企业中员工年龄比非互联网企业的要年轻、受教育程度、对计算机的焦虑程度明显比传统企业要低、还偶遇其它各方面的缘故，导致了数据平台所面对用户群体与非互联网数据平台有所差异化。
传统行业与互联网行业数据平台用户特性我只选择前文章的两张图来表示
(点击放大图像)

2****，互联网财经类公司，业务包括财经网站、基金、股票、金融等，这类公司的数据仓库模型应该如何设计？特点和注意事项是什么？案例介绍？十分感谢。
松子老师：我自己经历过的是互联网金融以及移动互联网行。对这两块比较清楚。互联网金融起因为业务的特性是类金融类的，与银行有些地方是相似的。
比如大约在2012年前支付宝业务特点涉及类金融交易：充值、提现、账务管理类电子商务：购物交易过程变更、实际交易（对B机票、对C水电等） 非纯电子商务；纯金融；个人信用，理财类。系统之间依赖度较为复杂，垂直依赖（业务与核心）跨层依赖（跨过交易到账务）。
在设计方法上还是采用维度模型设计方式。底层是数据驱动为向导，结合业务需求驱动，通过简单、退化维度的方式拉宽表结构。
底层采用松耦合设计。主题之间是松耦合方式。至体内采用细粒度退化维度。
在主题域上的的设计基本参考了OMG的数据仓库元数据设计CWM模型、IBM 的fsdm金融模型、还有新巴塞尔资本协议（Basel II Capital Accord）需提供数据规范去的设计。所以数据模型是五层的结构。
在细节处理上，增量ODS层数据和前一天DWD相关表进行 merge处理。
在一些层次上，基本聚合、汇总增加派生事实表（简单一句话退化为度打宽）。然后按照业务主体合并信息等。
比如开始给大家分享的那张图：
(点击放大图像)
[图片上传中。。。（13）]
在维度模型退化处理时，要注意最细粒度数据保留、不同层次的数据支持数据重新生成。同时一定要注意互联网数据业务特性，数据质量是大心病。有可能一天某些表会重跑很多遍。在互联网的做法有可能一天会重跑好几次数据。
所以曲线救国的病态的产生出了一种通过元数据驱动的数据模型。
这种元数据驱动工具型数据产品我会在未来数据产品系列中做详细介绍的。

3****，互联网企业大数据平台的发展历程是怎样的？
松子老师：这个我相信应该是传统数据平台朋友提到的。传统行业数据平台架构演进我总结简单一句话说“基本上可以分为五个时代、四种架构”，但是到了互联网时代因为大数据快速膨胀与类型暴增的特点，从高阶架构上来看大约从第三代架构开始延续的，但是从我自己的知识上很难对互联网的数据平台做架构归类。所以我从互联网数据平台的建设、用户使用变化特征去做了总结。话说互联网数据平台基本是从传统数据平台的第三代开始的。那是我们总结下来用户特点：
(点击放大图像)
[图片上传中。。。（14）]
更加详细的每一代数据平台建设、服务角色特点您可以看我这个系列文章的第三篇，http://www.infoq.com/cn/articles/the-development-history-of-big-data-platform-paet02

4****，有没有好的元数据管理工具推荐？主要偏向数据字典与血统等。
松子老师：元数据以前目前没有太多的好管理工具。以前是在支付宝是我自己设计的一个数据产品。第一版自己用Delphi 开发的。
（图很多：）
(点击放大图像)
[图片上传中。。。（15）]
(点击放大图像)
[图片上传中。。。（16）]
(点击放大图像)
[图片上传中。。。（17）]
(点击放大图像)
[图片上传中。。。（18）]
(点击放大图像)
[图片上传中。。。（19）]
以前被逼的自己写了一个，通过解析，实现了字段级的血缘影响分析。这只是第二步，后来又把running 信息给搞了进来。还有分享时提到的模型信息、整个闭环的分类信息。
这是一个分支：
(点击放大图像)
[图片上传中。。。（20）]
但是我们实现了字段级解析准确率达到了94%左右。有细微的错误就人工revew一遍。

5. ****松子老师，数据管控的数据质量部分是怎么处理的呢？

松子老师： 数据管控， 这方面我不太懂的，但是数据质量，这玩意可大可小的。比如像在分享时说过的，在移动互联网的数据质量处理方式可以由原有的ETL(ELT)阶段前置到业务系统去解决，比如移动互联网的App log 日志，日志标准化后事件模型”存储来解决。那非app 日志类如何解决呢比如Payment、order等，数据质量比较考虑的可以只做到监控。
我来分享个图。刚好是我设计数据质量产品时搞的，理清数据质量的问题：
(点击放大图像)
[图片上传中。。。（21）]
(点击放大图像)
[图片上传中。。。（22）]
(点击放大图像)
[图片上传中。。。（23）]
只要数据进入仓库与应用体系，处理起来就比较困难了，所以在数据平台阶段最好是通过监控、前置去解决。目前数据质量确实难以100%由事后搞到事前去处理。我对数据平台与数据产品的建设就是实用为主。怎么实用怎么来。我是比较现实的实用主义者。

6. ****能否分享一些数据产品种类及实例：

松子老师：在前边五个问题、以及文章中又都涉及数据产品实力的一些分享。
提到数据产品的分类我就想把这个图发出来。
自己认为没有特别明确的划分线，但是数据产品从三个维度划分，面向业务、功能、用户可以划分出三个方向的数据产品来。
比如面向数据平台工具型数据产品:调度、数据质量、元数据、数据建模、ETL工具、资源管控等等。
面向用户功能有报表型、多维型数据产品、定制化数据产品、挖掘型数据产品。
面向内部用户、外部个人用户、外部企业用户又有不同的分类。
根据业务又可以划分很多，面向C类用户、面向B类商户、金融风险等等
从近几年的数据产品来看，是更好的辅助用户的做决策的一种产品形态，在用户的决策与行动中充当信息的分析者与价值使用者；数据产品有个自己的共性：由解决的一个实际的业务问题出发，分解出的分析指标，分析模型，分析流程组成，再考虑到功能易用性，未来功能扩展，考虑用户对数据易用性（比如数据的呈现层次，不可能一次把所有数据的呈现给用户）来组成的。
(点击放大图像)
[图片上传中。。。（24）]

7. ****银行业从传统的ods到edw再到大数据平台这块过渡，模型如何建设？平台优势如何发挥？
松子老师：这个问题还是有些难度的，自己回答的可能有些片面。首先我们清醒的清楚“大数据”是什么？再次不同的场景可以采用不同的技术去解决。
“大数据”，拆开来看大、数据，大可以是指的数据源结构简单（ps 如果了解过当代对大数据的定义就知道四个特性）但是量级够大，比如清算、结算、对公、对私、中间业务等等每一个拿出来都是几十T，但是这些业务数据都是保存传统的关系型数据库中如DB2、Oracle、MSsql中，因为在数据平台存储是通过准3范式等等结构去保存。
在存储时可能要比较复杂的SQL 多表关联的，感觉目前传统的数据平台技技术在处理数据很让人着急。想通过互联网的大数据平台hadoop、Hive 、Spark 等技术的去演进解决。（最早时我的是中信银行、光大银行在2011年左右开始考虑Hadoop技术，后来不知道如何了）。
但是互联网的数据平台技术大都是NOSQL模式，牺牲掉了传统数据库的数据一致性、完整性、唯一索引等等，只干性能的事情（当然除了性能、可扩展性也是的）.
原有在传统数据平台模型设计上可以考虑的一些通过主外键、唯一索引做一些业务约束的方法，在nosql上统统的都没有了，这些约束必须放到数据加工阶段去想办法做检查。传统数据平台如果在Insert、update数据时违反了业务约束可以做报警或异常处理，但是在Nosql的平台上要求ETL 去手动遵守这些规则检查。但是有时ETL开发根本不遵守的，仅仅是两个表关联起来，也可能忘记按照某一个业务唯一索引做去重操作。简单说，原有靠关系型数据库本身机制去做检查一些规则变为人工，变为人工就会犯错。
从关系型数据平台往Nosql数据平台迁移时，尤其是对传统行业的业务来说，在模型设计阶段、以及给出的ETL口径要考虑更多的业务规则检查，其次要考虑更多的维度退化、多冗余、表打宽处理。简单说就是发挥数据平台的计算能力同时要更加的各方面确保数据准确安全可靠。
数据模型ODS 到EDW 这块的设计方法百度上留下的文档资料太多的了，请这位提问的老师百度吧。

**8****．大数据****仓库****中如何做快速****维处****理？互****联****网数****仓****数据****质****量不好如何****对****数，如何确立****标****准的****对****数口径？******
松子老师：快速变化维度可以转化为缓慢变化为来出来，我自己理解的快速维度是相对于缓慢维度参照的来说的。
举个例子，年龄-转化为天数可以是定义快速变化维度，因为每天都在变化。我们可以把年龄退化为区间维度来处理，还可以把年龄做成动态维度来处理，事实表中保存的就是实际的出生年月并打宽表，年龄(天)通过计算方式来处理。还有种方法通过对代理键的方式来处理。
我目前也不知道对数据的标准是什么。但是我自己用的方法，把一个指标的整个数据流向切出几个关键点通过SQL去实现对数，看波动振幅，波动曲线。同时还会比如发不通的版本的小流量测试的方式来做数据校对。

9****． 做为数据行业从业者，需要掌握哪些重要的基础知识？另：如果从零开始建立一个数据平台，需要哪些资源配置（人，财，物，技术）？大致总投资额度多少？如果同行产品间多种来源的数据，可有成熟的解决方案？谢谢…

松子老师：这个问题太宏观了。作为数据行业从业者，需要掌握哪些重要基础知识，这个是要看从事具体数据域的垂直行业。
比如说 数据开发、数据模型、数据产品、数据分析师、数据运营、数据架构师这些更加专业领域是需要不同的知识的。大家可以去itongji.cn、百度等去搜索数据架构等文章能得到更加专业的答案。
一家公司建设数据平台是跟公司目前数据量、未来数据增长、技术选型、解决业务问题有很直接的关系的。所以在解决业务目标不太明确下，难以确定方案，人员配置上选用不同技术方案去搭建的配置是不太一样的，比如说传统平台来讲，运维、DBA、数据开发、数据模型、报表人员。
从互联网数据平台基本配置上，数据架构师、运维、底层大数据技术、数据开发兼模型、数据分析师、数据产品等都有可能需要的。
同行产品间度多种数据来源，那就看数据源种类，文本的、日志类、视频影像、爬虫类的、结构化、非结构化的数据源有不同的解决技术。

10. Standalone****模式下，Model.save(Path)怎么一直提示错误，是不是配置Spark时需要将Hdfs的配置引进来啊～？表示初学Spark
松子老师：这个问题有点超出我的能力范围了，所以对不起回答不了。
我本身不是做技术的。仅知道一点技术名词。

11. ****传统银行业数据模型什么时候会走向互联网模式呢？目前在传统银行数据平台的产品是不是特别多？
松子老师：这个问题我自己就不知道了，或许是传统银行在数据平台的实施上全面用互联网的Nosql大数据处理技术吧。至于说传统银行数据模型用现有的互联网数据模型理念去设计是否完全可行，数据一致性、高准确性通过更多的方案去保证。
首先我需要确定一下这个产品是否指的“数据产品”。
如果是数据产品，那其实传统行业数据平台本身就有一些数据产品了，而且也都是存在的。数据产品自从数据仓库出现以来它其实一直都存在的，只不过是近几年因为互联网特别爱制造“流行词“把数据产品这个词给放大了。互联网是得数据产品从早期的重量级逐渐进化为轻量级、从大而全的解决方案逐渐演进为因小而美。
我来给出几组例子，大约从2004年到现在的几组数据产品的例子
(点击放大图像)
[图片上传中。。。（25）]
(点击放大图像)
[图片上传中。。。（26）]
(点击放大图像)
[图片上传中。。。（27）]
(点击放大图像)
[图片上传中。。。（28）]
(点击放大图像)

12 ****。传统行业的数据仓库从业人员，如果转到互联网行业，应该学习哪些技能？
松子老师：这个问题你可以百度搜索“大数据职位所需要的数据技能” http://blog.jobbole.com/99039/ 这篇文章。自己觉得人家回答的比我专业。//
我所经历的大数据平台发展史（四）：互联网时代 • 下篇
http://www.infoq.com/cn/articles/the-development-history-of-big-data-platform-internet-age

编者按：本文是松子（李博源）的大数据平台发展史系列文章的第四篇（共四篇），本系列以独特的视角，比较了非互联网和互联网两个时代以及传统行业与非传统行业。是对数据平台发展的一个回忆，对非互联网、互联网，从数据平台的用户角度、数据架构演进、模型等进行了阐述。
在互联网时代被弱化的数据模型
谈起数据模型就不得不提传统数据平台架构发展，我相信很多朋友都晓得传统数据平台的知识，其架构演进简单一句话说“基本上可以分为五个时代、四种架构”，但是到了互联网时代因为大数据快速膨胀与数据源类型多样化特点，从高阶架构上来看大约从传统数据平台第三代架构开始延续的，但是往后的发展从我自己的这一点知识上很难对互联网的数据平台做架构归类。
但是从数据平台建设与服务角色上还是有章可循的。就像上篇分享到那样，类比两个行业，互联网企业中员工年龄比非互联网企业的要年轻、受教育程度、对计算机的焦虑程度明显比传统企业要低、还偶遇其它各方面的缘故，导致了数据平台所面对用户群体与非互联网数据平台有所差异化。
传统行业与互联网行业数据平台用户特性我只选择前文章的两张图来表示
(点击放大图像)

2****，互联网财经类公司，业务包括财经网站、基金、股票、金融等，这类公司的数据仓库模型应该如何设计？特点和注意事项是什么？案例介绍？十分感谢。
松子老师：我自己经历过的是互联网金融以及移动互联网行。对这两块比较清楚。互联网金融起因为业务的特性是类金融类的，与银行有些地方是相似的。
比如大约在2012年前支付宝业务特点涉及类金融交易：充值、提现、账务管理类电子商务：购物交易过程变更、实际交易（对B机票、对C水电等） 非纯电子商务；纯金融；个人信用，理财类。系统之间依赖度较为复杂，垂直依赖（业务与核心）跨层依赖（跨过交易到账务）。
在设计方法上还是采用维度模型设计方式。底层是数据驱动为向导，结合业务需求驱动，通过简单、退化维度的方式拉宽表结构。
底层采用松耦合设计。主题之间是松耦合方式。至体内采用细粒度退化维度。
在主题域上的的设计基本参考了OMG的数据仓库元数据设计CWM模型、IBM 的fsdm金融模型、还有新巴塞尔资本协议（Basel II Capital Accord）需提供数据规范去的设计。所以数据模型是五层的结构。
在细节处理上，增量ODS层数据和前一天DWD相关表进行 merge处理。
在一些层次上，基本聚合、汇总增加派生事实表（简单一句话退化为度打宽）。然后按照业务主体合并信息等。
比如开始给大家分享的那张图：
(点击放大图像)
[图片上传中。。。（13）]
在维度模型退化处理时，要注意最细粒度数据保留、不同层次的数据支持数据重新生成。同时一定要注意互联网数据业务特性，数据质量是大心病。有可能一天某些表会重跑很多遍。在互联网的做法有可能一天会重跑好几次数据。
所以曲线救国的病态的产生出了一种通过元数据驱动的数据模型。
这种元数据驱动工具型数据产品我会在未来数据产品系列中做详细介绍的。

3****，互联网企业大数据平台的发展历程是怎样的？
松子老师：这个我相信应该是传统数据平台朋友提到的。传统行业数据平台架构演进我总结简单一句话说“基本上可以分为五个时代、四种架构”，但是到了互联网时代因为大数据快速膨胀与类型暴增的特点，从高阶架构上来看大约从第三代架构开始延续的，但是从我自己的知识上很难对互联网的数据平台做架构归类。所以我从互联网数据平台的建设、用户使用变化特征去做了总结。话说互联网数据平台基本是从传统数据平台的第三代开始的。那是我们总结下来用户特点：
(点击放大图像)
[图片上传中。。。（14）]
更加详细的每一代数据平台建设、服务角色特点您可以看我这个系列文章的第三篇，http://www.infoq.com/cn/articles/the-development-history-of-big-data-platform-paet02

4****，有没有好的元数据管理工具推荐？主要偏向数据字典与血统等。
松子老师：元数据以前目前没有太多的好管理工具。以前是在支付宝是我自己设计的一个数据产品。第一版自己用Delphi 开发的。
（图很多：）
(点击放大图像)
[图片上传中。。。（15）]
(点击放大图像)
[图片上传中。。。（16）]
(点击放大图像)
[图片上传中。。。（17）]
(点击放大图像)
[图片上传中。。。（18）]
(点击放大图像)
[图片上传中。。。（19）]
以前被逼的自己写了一个，通过解析，实现了字段级的血缘影响分析。这只是第二步，后来又把running 信息给搞了进来。还有分享时提到的模型信息、整个闭环的分类信息。
这是一个分支：
(点击放大图像)
[图片上传中。。。（20）]
但是我们实现了字段级解析准确率达到了94%左右。有细微的错误就人工revew一遍。

5. ****松子老师，数据管控的数据质量部分是怎么处理的呢？

松子老师： 数据管控， 这方面我不太懂的，但是数据质量，这玩意可大可小的。比如像在分享时说过的，在移动互联网的数据质量处理方式可以由原有的ETL(ELT)阶段前置到业务系统去解决，比如移动互联网的App log 日志，日志标准化后事件模型”存储来解决。那非app 日志类如何解决呢比如Payment、order等，数据质量比较考虑的可以只做到监控。
我来分享个图。刚好是我设计数据质量产品时搞的，理清数据质量的问题：
(点击放大图像)
[图片上传中。。。（21）]
(点击放大图像)
[图片上传中。。。（22）]
(点击放大图像)
[图片上传中。。。（23）]
只要数据进入仓库与应用体系，处理起来就比较困难了，所以在数据平台阶段最好是通过监控、前置去解决。目前数据质量确实难以100%由事后搞到事前去处理。我对数据平台与数据产品的建设就是实用为主。怎么实用怎么来。我是比较现实的实用主义者。

6. ****能否分享一些数据产品种类及实例：

松子老师：在前边五个问题、以及文章中又都涉及数据产品实力的一些分享。
提到数据产品的分类我就想把这个图发出来。
自己认为没有特别明确的划分线，但是数据产品从三个维度划分，面向业务、功能、用户可以划分出三个方向的数据产品来。
比如面向数据平台工具型数据产品:调度、数据质量、元数据、数据建模、ETL工具、资源管控等等。
面向用户功能有报表型、多维型数据产品、定制化数据产品、挖掘型数据产品。
面向内部用户、外部个人用户、外部企业用户又有不同的分类。
根据业务又可以划分很多，面向C类用户、面向B类商户、金融风险等等
从近几年的数据产品来看，是更好的辅助用户的做决策的一种产品形态，在用户的决策与行动中充当信息的分析者与价值使用者；数据产品有个自己的共性：由解决的一个实际的业务问题出发，分解出的分析指标，分析模型，分析流程组成，再考虑到功能易用性，未来功能扩展，考虑用户对数据易用性（比如数据的呈现层次，不可能一次把所有数据的呈现给用户）来组成的。
(点击放大图像)

7. ****银行业从传统的ods到edw再到大数据平台这块过渡，模型如何建设？平台优势如何发挥？
松子老师：这个问题还是有些难度的，自己回答的可能有些片面。首先我们清醒的清楚“大数据”是什么？再次不同的场景可以采用不同的技术去解决。
“大数据”，拆开来看大、数据，大可以是指的数据源结构简单（ps 如果了解过当代对大数据的定义就知道四个特性）但是量级够大，比如清算、结算、对公、对私、中间业务等等每一个拿出来都是几十T，但是这些业务数据都是保存传统的关系型数据库中如DB2、Oracle、MSsql中，因为在数据平台存储是通过准3范式等等结构去保存。
在存储时可能要比较复杂的SQL 多表关联的，感觉目前传统的数据平台技技术在处理数据很让人着急。想通过互联网的大数据平台hadoop、Hive 、Spark 等技术的去演进解决。（最早时我的是中信银行、光大银行在2011年左右开始考虑Hadoop技术，后来不知道如何了）。
但是互联网的数据平台技术大都是NOSQL模式，牺牲掉了传统数据库的数据一致性、完整性、唯一索引等等，只干性能的事情（当然除了性能、可扩展性也是的）.
原有在传统数据平台模型设计上可以考虑的一些通过主外键、唯一索引做一些业务约束的方法，在nosql上统统的都没有了，这些约束必须放到数据加工阶段去想办法做检查。传统数据平台如果在Insert、update数据时违反了业务约束可以做报警或异常处理，但是在Nosql的平台上要求ETL 去手动遵守这些规则检查。但是有时ETL开发根本不遵守的，仅仅是两个表关联起来，也可能忘记按照某一个业务唯一索引做去重操作。简单说，原有靠关系型数据库本身机制去做检查一些规则变为人工，变为人工就会犯错。
从关系型数据平台往Nosql数据平台迁移时，尤其是对传统行业的业务来说，在模型设计阶段、以及给出的ETL口径要考虑更多的业务规则检查，其次要考虑更多的维度退化、多冗余、表打宽处理。简单说就是发挥数据平台的计算能力同时要更加的各方面确保数据准确安全可靠。
数据模型ODS 到EDW 这块的设计方法百度上留下的文档资料太多的了，请这位提问的老师百度吧。

**8****．大数据****仓库****中如何做快速****维处****理？互****联****网数****仓****数据****质****量不好如何****对****数，如何确立****标****准的****对****数口径？******
松子老师：快速变化维度可以转化为缓慢变化为来出来，我自己理解的快速维度是相对于缓慢维度参照的来说的。
举个例子，年龄-转化为天数可以是定义快速变化维度，因为每天都在变化。我们可以把年龄退化为区间维度来处理，还可以把年龄做成动态维度来处理，事实表中保存的就是实际的出生年月并打宽表，年龄(天)通过计算方式来处理。还有种方法通过对代理键的方式来处理。
我目前也不知道对数据的标准是什么。但是我自己用的方法，把一个指标的整个数据流向切出几个关键点通过SQL去实现对数，看波动振幅，波动曲线。同时还会比如发不通的版本的小流量测试的方式来做数据校对。

9****． 做为数据行业从业者，需要掌握哪些重要的基础知识？另：如果从零开始建立一个数据平台，需要哪些资源配置（人，财，物，技术）？大致总投资额度多少？如果同行产品间多种来源的数据，可有成熟的解决方案？谢谢…

松子老师：这个问题太宏观了。作为数据行业从业者，需要掌握哪些重要基础知识，这个是要看从事具体数据域的垂直行业。
比如说 数据开发、数据模型、数据产品、数据分析师、数据运营、数据架构师这些更加专业领域是需要不同的知识的。大家可以去itongji.cn、百度等去搜索数据架构等文章能得到更加专业的答案。
一家公司建设数据平台是跟公司目前数据量、未来数据增长、技术选型、解决业务问题有很直接的关系的。所以在解决业务目标不太明确下，难以确定方案，人员配置上选用不同技术方案去搭建的配置是不太一样的，比如说传统平台来讲，运维、DBA、数据开发、数据模型、报表人员。
从互联网数据平台基本配置上，数据架构师、运维、底层大数据技术、数据开发兼模型、数据分析师、数据产品等都有可能需要的。
同行产品间度多种数据来源，那就看数据源种类，文本的、日志类、视频影像、爬虫类的、结构化、非结构化的数据源有不同的解决技术。

10. Standalone****模式下，Model.save(Path)怎么一直提示错误，是不是配置Spark时需要将Hdfs的配置引进来啊～？表示初学Spark
松子老师：这个问题有点超出我的能力范围了，所以对不起回答不了。
我本身不是做技术的。仅知道一点技术名词。

11. ****传统银行业数据模型什么时候会走向互联网模式呢？目前在传统银行数据平台的产品是不是特别多？
松子老师：这个问题我自己就不知道了，或许是传统银行在数据平台的实施上全面用互联网的Nosql大数据处理技术吧。至于说传统银行数据模型用现有的互联网数据模型理念去设计是否完全可行，数据一致性、高准确性通过更多的方案去保证。
首先我需要确定一下这个产品是否指的“数据产品”。
如果是数据产品，那其实传统行业数据平台本身就有一些数据产品了，而且也都是存在的。数据产品自从数据仓库出现以来它其实一直都存在的，只不过是近几年因为互联网特别爱制造“流行词“把数据产品这个词给放大了。互联网是得数据产品从早期的重量级逐渐进化为轻量级、从大而全的解决方案逐渐演进为因小而美。
我来给出几组例子，大约从2004年到现在的几组数据产品的例子
(点击放大图像)
[图片上传中。。。（25）]
(点击放大图像)
[图片上传中。。。（26）]
(点击放大图像)
[图片上传中。。。（27）]
(点击放大图像)
[图片上传中。。。（28）]
(点击放大图像)
[图片上传中。。。（29）]
(点击放大图像)
[图片上传中。。。（30）]
(点击放大图像)
[图片上传中。。。（31）]
你可以分类一下，这些数据产品的特点是什么？满足了用户怎么样的痛点需求？满足了用户怎么样的使用流程。

12 ****。传统行业的数据仓库从业人员，如果转到互联网行业，应该学习哪些技能？
松子老师：这个问题你可以百度搜索“大数据职位所需要的数据技能” http://blog.jobbole.com/99039/ 这篇文章。自己觉得人家回答的比我专业。](http://cdn4.infoqstatic.com/statics_s2_20170208-0257_3/resource/articles/the-development-history-of-big-data-platfor2-part01/zh/resources/0218033.png)
(点击放大图像)
[图片上传中。。。（6）]
该建设方式的要点是首先建立各个数据源业务的实体关系、然后再根据保存的主子实体关系、存储性能做优化。
Ralph kilmball 对DM（备注：数据集市，非挖掘模型）的定义是面向分析过程的(Analytical Process oriented)，因为这个模型对业务用户非常容易理解，同时为了查询也是做了专门的性能优化。所以星型、雪花模型很直观比较高性能为用户提供查询分析。
(点击放大图像)
[图片上传中。。。（7）]
该方式的建模首先确定用户需求问题与业务需求数据粒度，构建分析所需要的维度、与度量值形成星型模型；（备注 涉及的复杂维度、退化维度等不在这个讨论范围）。
数据模型的业务建模阶段、领域概念模型阶段、逻辑模型阶段、物理模型阶段是超级学术与复杂的话题，而且在模型领域根据特点又分主数据(MDM)、CIF（企业级统一视图） 、通用模型(IBM 的金融、保险行业通用模型、 Teradata的 金融通用模型、 电信移动通用模型等)，锁涉及到术语”扩展“、”扁平化“、”裁剪“等眼花缭乱的建模手法，数据模型不同层次ODS、DWDDWD、DW、ST的分层目的不同导致模型设计方法又不同。相信业界有很多大牛能讲的清楚的，以后有机会再交流。
(点击放大图像)
[图片上传中。。。（8）]
(点击放大图像)
[图片上传中。。。（9）]
(点击放大图像)
[图片上传中。。。（10）]
(点击放大图像)
[图片上传中。。。（11）]
本文带大家回忆了历史非互联网的数据平台发展与核心模型特点，当然数据平台的发展不是一步到位的，是经过无数人的智慧、努力反复迭代而逐渐演进的。
非互联网企业的数据平台发展，每一代的平台架构中的结构都是及其复杂的，比如ETL架构、数据模型架构、BD的架构、前端展现、元数据、数据质量等各方面，每一部分展开都是一个很深的话题，有机会再分享给大家。
下篇章将分享给大家互联网时代的数据平台，互联网的数据平台也就是在07年-08年左右开始迅猛发展的，在发展的初期也是从传统数据平台的第三代架构开始演进的，互联网产品发展特点是“糙、快、猛”，同时数据量的超快速膨胀所带来的技术变革，从数据仓库->海量数据->大数据膨胀必然原有的技术无法支撑高IO吞吐、密集型计算，从而发展了合适互联网大数据平台。
关于作者
松子（李博源），自由撰稿人，数据产品&数据分析总监。2000年开始数据领域，从业传统制造业、银行、保险、第三方支付&互联网金融、在线旅行、移动互联网行业 ； 个人沉淀在大数据产品、大数据分析、数据模型领域；欢迎关注个人微信订阅号：songzi2016。
阶段三：
互联网业务的快速发展、大家已经从经营、分析的诉求重点转为数据化的精细运营上，随之而来的面临创新压力、如何做好精细化运营，数据平台的用户其聚焦在无法快速的响应日常需求其表现为做数据的已经无法满足当前业务日益增长的数据需求、运营上精细化已经对数据的粒度要求由高汇总逐渐转为过程化细粒度明细数据。
随着数据应用的深入，用数据往往不知道数据的口径与来源，加工数据的不知道业务含义，不同部门口径又是不一样，有的从交易来、有的从账务来。这里数据使用与数据加工上就出现了”断层”。有时在层级与功能部门前边也可能存在一个断层，对数据价值的内在衡量是不一样的，角色不一样，对于数据价值的的看法也就不同。
由于以上的种种问题，用数据的一些角色（分析师、运营或产品）会自己参与到从数据整理、加工、分析阶段。当数据平台变为自由全开放，使用数据的人也参与到数据的体系建设时，基本会因为不专业型，导致数据质量问题、重复对分数据浪费存储与资源、口径多样化等等原因。此时原有建设数据平台的多个角色可能转为对其它非专业做数据人员的培训、咨询与落地写更加适合当前企业数据应用的一些方案等。例如原有的数据产品会加入更多的在原有的数据建设中才有的一些流程让用户来遵守（统一的数据搜集、数据标准化的前置）。举例Log 埋点产品化、自动Report 的过程规范化（举例说明：原有一些运营自己建立的一些报表可能sql有问题就直接放入报表生成器中了。更改流程第一步现在MQ中验证完毕口径后，通过元数据解析进入到报表生成器中）、基于元数据驱动的ETL流程化等等，因为偏自助式、服务化的一些数据产品建立也将会导致数据平台迭代的演进。

在互联网这个大数据浪潮下，2016年以后数据平台是如何去建设？如何服务业务？

编者按：本文是松子（李博源）的大数据平台发展史系列文章的第四篇（共四篇），本系列以独特的视角，比较了非互联网和互联网两个时代以及传统行业与非传统行业。是对数据平台发展的一个回忆，对非互联网、互联网，从数据平台的用户角度、数据架构演进、模型等进行了阐述。
在互联网时代被弱化的数据模型
谈起数据模型就不得不提传统数据平台架构发展，我相信很多朋友都晓得传统数据平台的知识，其架构演进简单一句话说“基本上可以分为五个时代、四种架构”，但是到了互联网时代因为大数据快速膨胀与数据源类型多样化特点，从高阶架构上来看大约从传统数据平台第三代架构开始延续的，但是往后的发展从我自己的这一点知识上很难对互联网的数据平台做架构归类。
但是从数据平台建设与服务角色上还是有章可循的。就像上篇分享到那样，类比两个行业，互联网企业中员工年龄比非互联网企业的要年轻、受教育程度、对计算机的焦虑程度明显比传统企业要低、还偶遇其它各方面的缘故，导致了数据平台所面对用户群体与非互联网数据平台有所差异化。
传统行业与互联网行业数据平台用户特性我只选择前文章的两张图来表示
(点击放大图像)

2****，互联网财经类公司，业务包括财经网站、基金、股票、金融等，这类公司的数据仓库模型应该如何设计？特点和注意事项是什么？案例介绍？十分感谢。
松子老师：我自己经历过的是互联网金融以及移动互联网行。对这两块比较清楚。互联网金融起因为业务的特性是类金融类的，与银行有些地方是相似的。
比如大约在2012年前支付宝业务特点涉及类金融交易：充值、提现、账务管理类电子商务：购物交易过程变更、实际交易（对B机票、对C水电等） 非纯电子商务；纯金融；个人信用，理财类。系统之间依赖度较为复杂，垂直依赖（业务与核心）跨层依赖（跨过交易到账务）。
在设计方法上还是采用维度模型设计方式。底层是数据驱动为向导，结合业务需求驱动，通过简单、退化维度的方式拉宽表结构。
底层采用松耦合设计。主题之间是松耦合方式。至体内采用细粒度退化维度。
在主题域上的的设计基本参考了OMG的数据仓库元数据设计CWM模型、IBM 的fsdm金融模型、还有新巴塞尔资本协议（Basel II Capital Accord）需提供数据规范去的设计。所以数据模型是五层的结构。
在细节处理上，增量ODS层数据和前一天DWD相关表进行 merge处理。
在一些层次上，基本聚合、汇总增加派生事实表（简单一句话退化为度打宽）。然后按照业务主体合并信息等。
比如开始给大家分享的那张图：
(点击放大图像)

3****，互联网企业大数据平台的发展历程是怎样的？
松子老师：这个我相信应该是传统数据平台朋友提到的。传统行业数据平台架构演进我总结简单一句话说“基本上可以分为五个时代、四种架构”，但是到了互联网时代因为大数据快速膨胀与类型暴增的特点，从高阶架构上来看大约从第三代架构开始延续的，但是从我自己的知识上很难对互联网的数据平台做架构归类。所以我从互联网数据平台的建设、用户使用变化特征去做了总结。话说互联网数据平台基本是从传统数据平台的第三代开始的。那是我们总结下来用户特点：
(点击放大图像)
[图片上传中。。。（14）]
更加详细的每一代数据平台建设、服务角色特点您可以看我这个系列文章的第三篇，http://www.infoq.com/cn/articles/the-development-history-of-big-data-platform-paet02

4****，有没有好的元数据管理工具推荐？主要偏向数据字典与血统等。
松子老师：元数据以前目前没有太多的好管理工具。以前是在支付宝是我自己设计的一个数据产品。第一版自己用Delphi 开发的。
（图很多：）
(点击放大图像)
[图片上传中。。。（15）]
(点击放大图像)
[图片上传中。。。（16）]
(点击放大图像)
[图片上传中。。。（17）]
(点击放大图像)
[图片上传中。。。（18）]
(点击放大图像)
[图片上传中。。。（19）]
以前被逼的自己写了一个，通过解析，实现了字段级的血缘影响分析。这只是第二步，后来又把running 信息给搞了进来。还有分享时提到的模型信息、整个闭环的分类信息。
这是一个分支：
(点击放大图像)
[图片上传中。。。（20）]
但是我们实现了字段级解析准确率达到了94%左右。有细微的错误就人工revew一遍。

5. ****松子老师，数据管控的数据质量部分是怎么处理的呢？

松子老师： 数据管控， 这方面我不太懂的，但是数据质量，这玩意可大可小的。比如像在分享时说过的，在移动互联网的数据质量处理方式可以由原有的ETL(ELT)阶段前置到业务系统去解决，比如移动互联网的App log 日志，日志标准化后事件模型”存储来解决。那非app 日志类如何解决呢比如Payment、order等，数据质量比较考虑的可以只做到监控。
我来分享个图。刚好是我设计数据质量产品时搞的，理清数据质量的问题：
(点击放大图像)
[图片上传中。。。（21）]
(点击放大图像)
[图片上传中。。。（22）]
(点击放大图像)
[图片上传中。。。（23）]
只要数据进入仓库与应用体系，处理起来就比较困难了，所以在数据平台阶段最好是通过监控、前置去解决。目前数据质量确实难以100%由事后搞到事前去处理。我对数据平台与数据产品的建设就是实用为主。怎么实用怎么来。我是比较现实的实用主义者。

6. ****能否分享一些数据产品种类及实例：

松子老师：在前边五个问题、以及文章中又都涉及数据产品实力的一些分享。
提到数据产品的分类我就想把这个图发出来。
自己认为没有特别明确的划分线，但是数据产品从三个维度划分，面向业务、功能、用户可以划分出三个方向的数据产品来。
比如面向数据平台工具型数据产品:调度、数据质量、元数据、数据建模、ETL工具、资源管控等等。
面向用户功能有报表型、多维型数据产品、定制化数据产品、挖掘型数据产品。
面向内部用户、外部个人用户、外部企业用户又有不同的分类。
根据业务又可以划分很多，面向C类用户、面向B类商户、金融风险等等
从近几年的数据产品来看，是更好的辅助用户的做决策的一种产品形态，在用户的决策与行动中充当信息的分析者与价值使用者；数据产品有个自己的共性：由解决的一个实际的业务问题出发，分解出的分析指标，分析模型，分析流程组成，再考虑到功能易用性，未来功能扩展，考虑用户对数据易用性（比如数据的呈现层次，不可能一次把所有数据的呈现给用户）来组成的。
(点击放大图像)
[图片上传中。。。（24）]

7. ****银行业从传统的ods到edw再到大数据平台这块过渡，模型如何建设？平台优势如何发挥？
松子老师：这个问题还是有些难度的，自己回答的可能有些片面。首先我们清醒的清楚“大数据”是什么？再次不同的场景可以采用不同的技术去解决。
“大数据”，拆开来看大、数据，大可以是指的数据源结构简单（ps 如果了解过当代对大数据的定义就知道四个特性）但是量级够大，比如清算、结算、对公、对私、中间业务等等每一个拿出来都是几十T，但是这些业务数据都是保存传统的关系型数据库中如DB2、Oracle、MSsql中，因为在数据平台存储是通过准3范式等等结构去保存。
在存储时可能要比较复杂的SQL 多表关联的，感觉目前传统的数据平台技技术在处理数据很让人着急。想通过互联网的大数据平台hadoop、Hive 、Spark 等技术的去演进解决。（最早时我的是中信银行、光大银行在2011年左右开始考虑Hadoop技术，后来不知道如何了）。
但是互联网的数据平台技术大都是NOSQL模式，牺牲掉了传统数据库的数据一致性、完整性、唯一索引等等，只干性能的事情（当然除了性能、可扩展性也是的）.
原有在传统数据平台模型设计上可以考虑的一些通过主外键、唯一索引做一些业务约束的方法，在nosql上统统的都没有了，这些约束必须放到数据加工阶段去想办法做检查。传统数据平台如果在Insert、update数据时违反了业务约束可以做报警或异常处理，但是在Nosql的平台上要求ETL 去手动遵守这些规则检查。但是有时ETL开发根本不遵守的，仅仅是两个表关联起来，也可能忘记按照某一个业务唯一索引做去重操作。简单说，原有靠关系型数据库本身机制去做检查一些规则变为人工，变为人工就会犯错。
从关系型数据平台往Nosql数据平台迁移时，尤其是对传统行业的业务来说，在模型设计阶段、以及给出的ETL口径要考虑更多的业务规则检查，其次要考虑更多的维度退化、多冗余、表打宽处理。简单说就是发挥数据平台的计算能力同时要更加的各方面确保数据准确安全可靠。
数据模型ODS 到EDW 这块的设计方法百度上留下的文档资料太多的了，请这位提问的老师百度吧。

**8****．大数据****仓库****中如何做快速****维处****理？互****联****网数****仓****数据****质****量不好如何****对****数，如何确立****标****准的****对****数口径？******
松子老师：快速变化维度可以转化为缓慢变化为来出来，我自己理解的快速维度是相对于缓慢维度参照的来说的。
举个例子，年龄-转化为天数可以是定义快速变化维度，因为每天都在变化。我们可以把年龄退化为区间维度来处理，还可以把年龄做成动态维度来处理，事实表中保存的就是实际的出生年月并打宽表，年龄(天)通过计算方式来处理。还有种方法通过对代理键的方式来处理。
我目前也不知道对数据的标准是什么。但是我自己用的方法，把一个指标的整个数据流向切出几个关键点通过SQL去实现对数，看波动振幅，波动曲线。同时还会比如发不通的版本的小流量测试的方式来做数据校对。

9****． 做为数据行业从业者，需要掌握哪些重要的基础知识？另：如果从零开始建立一个数据平台，需要哪些资源配置（人，财，物，技术）？大致总投资额度多少？如果同行产品间多种来源的数据，可有成熟的解决方案？谢谢…

松子老师：这个问题太宏观了。作为数据行业从业者，需要掌握哪些重要基础知识，这个是要看从事具体数据域的垂直行业。
比如说 数据开发、数据模型、数据产品、数据分析师、数据运营、数据架构师这些更加专业领域是需要不同的知识的。大家可以去itongji.cn、百度等去搜索数据架构等文章能得到更加专业的答案。
一家公司建设数据平台是跟公司目前数据量、未来数据增长、技术选型、解决业务问题有很直接的关系的。所以在解决业务目标不太明确下，难以确定方案，人员配置上选用不同技术方案去搭建的配置是不太一样的，比如说传统平台来讲，运维、DBA、数据开发、数据模型、报表人员。
从互联网数据平台基本配置上，数据架构师、运维、底层大数据技术、数据开发兼模型、数据分析师、数据产品等都有可能需要的。
同行产品间度多种数据来源，那就看数据源种类，文本的、日志类、视频影像、爬虫类的、结构化、非结构化的数据源有不同的解决技术。

10. Standalone****模式下，Model.save(Path)怎么一直提示错误，是不是配置Spark时需要将Hdfs的配置引进来啊～？表示初学Spark
松子老师：这个问题有点超出我的能力范围了，所以对不起回答不了。
我本身不是做技术的。仅知道一点技术名词。

11. ****传统银行业数据模型什么时候会走向互联网模式呢？目前在传统银行数据平台的产品是不是特别多？
松子老师：这个问题我自己就不知道了，或许是传统银行在数据平台的实施上全面用互联网的Nosql大数据处理技术吧。至于说传统银行数据模型用现有的互联网数据模型理念去设计是否完全可行，数据一致性、高准确性通过更多的方案去保证。
首先我需要确定一下这个产品是否指的“数据产品”。
如果是数据产品，那其实传统行业数据平台本身就有一些数据产品了，而且也都是存在的。数据产品自从数据仓库出现以来它其实一直都存在的，只不过是近几年因为互联网特别爱制造“流行词“把数据产品这个词给放大了。互联网是得数据产品从早期的重量级逐渐进化为轻量级、从大而全的解决方案逐渐演进为因小而美。
我来给出几组例子，大约从2004年到现在的几组数据产品的例子
(点击放大图像)
[图片上传中。。。（25）]
(点击放大图像)
[图片上传中。。。（26）]
(点击放大图像)
[图片上传中。。。（27）]
(点击放大图像)
[图片上传中。。。（28）]
(点击放大图像)
[图片上传中。。。（29）]
(点击放大图像)
[图片上传中。。。（30）]
(点击放大图像)
[图片上传中。。。（31）]
你可以分类一下，这些数据产品的特点是什么？满足了用户怎么样的痛点需求？满足了用户怎么样的使用流程。

12 ****。传统行业的数据仓库从业人员，如果转到互联网行业，应该学习哪些技能？
松子老师：这个问题你可以百度搜索“大数据职位所需要的数据技能” http://blog.jobbole.com/99039/ 这篇文章。自己觉得人家回答的比我专业。//
我所经历的大数据平台发展史（四）：互联网时代 • 下篇
http://www.infoq.com/cn/articles/the-development-history-of-big-data-platform-internet-age

编者按：本文是松子（李博源）的大数据平台发展史系列文章的第四篇（共四篇），本系列以独特的视角，比较了非互联网和互联网两个时代以及传统行业与非传统行业。是对数据平台发展的一个回忆，对非互联网、互联网，从数据平台的用户角度、数据架构演进、模型等进行了阐述。
在互联网时代被弱化的数据模型
谈起数据模型就不得不提传统数据平台架构发展，我相信很多朋友都晓得传统数据平台的知识，其架构演进简单一句话说“基本上可以分为五个时代、四种架构”，但是到了互联网时代因为大数据快速膨胀与数据源类型多样化特点，从高阶架构上来看大约从传统数据平台第三代架构开始延续的，但是往后的发展从我自己的这一点知识上很难对互联网的数据平台做架构归类。
但是从数据平台建设与服务角色上还是有章可循的。就像上篇分享到那样，类比两个行业，互联网企业中员工年龄比非互联网企业的要年轻、受教育程度、对计算机的焦虑程度明显比传统企业要低、还偶遇其它各方面的缘故，导致了数据平台所面对用户群体与非互联网数据平台有所差异化。
传统行业与互联网行业数据平台用户特性我只选择前文章的两张图来表示
(点击放大图像)

2****，互联网财经类公司，业务包括财经网站、基金、股票、金融等，这类公司的数据仓库模型应该如何设计？特点和注意事项是什么？案例介绍？十分感谢。
松子老师：我自己经历过的是互联网金融以及移动互联网行。对这两块比较清楚。互联网金融起因为业务的特性是类金融类的，与银行有些地方是相似的。
比如大约在2012年前支付宝业务特点涉及类金融交易：充值、提现、账务管理类电子商务：购物交易过程变更、实际交易（对B机票、对C水电等） 非纯电子商务；纯金融；个人信用，理财类。系统之间依赖度较为复杂，垂直依赖（业务与核心）跨层依赖（跨过交易到账务）。
在设计方法上还是采用维度模型设计方式。底层是数据驱动为向导，结合业务需求驱动，通过简单、退化维度的方式拉宽表结构。
底层采用松耦合设计。主题之间是松耦合方式。至体内采用细粒度退化维度。
在主题域上的的设计基本参考了OMG的数据仓库元数据设计CWM模型、IBM 的fsdm金融模型、还有新巴塞尔资本协议（Basel II Capital Accord）需提供数据规范去的设计。所以数据模型是五层的结构。
在细节处理上，增量ODS层数据和前一天DWD相关表进行 merge处理。
在一些层次上，基本聚合、汇总增加派生事实表（简单一句话退化为度打宽）。然后按照业务主体合并信息等。
比如开始给大家分享的那张图：
(点击放大图像)
[图片上传中。。。（13）]
在维度模型退化处理时，要注意最细粒度数据保留、不同层次的数据支持数据重新生成。同时一定要注意互联网数据业务特性，数据质量是大心病。有可能一天某些表会重跑很多遍。在互联网的做法有可能一天会重跑好几次数据。
所以曲线救国的病态的产生出了一种通过元数据驱动的数据模型。
这种元数据驱动工具型数据产品我会在未来数据产品系列中做详细介绍的。

3****，互联网企业大数据平台的发展历程是怎样的？
松子老师：这个我相信应该是传统数据平台朋友提到的。传统行业数据平台架构演进我总结简单一句话说“基本上可以分为五个时代、四种架构”，但是到了互联网时代因为大数据快速膨胀与类型暴增的特点，从高阶架构上来看大约从第三代架构开始延续的，但是从我自己的知识上很难对互联网的数据平台做架构归类。所以我从互联网数据平台的建设、用户使用变化特征去做了总结。话说互联网数据平台基本是从传统数据平台的第三代开始的。那是我们总结下来用户特点：
(点击放大图像)
[图片上传中。。。（14）]
更加详细的每一代数据平台建设、服务角色特点您可以看我这个系列文章的第三篇，http://www.infoq.com/cn/articles/the-development-history-of-big-data-platform-paet02

4****，有没有好的元数据管理工具推荐？主要偏向数据字典与血统等。
松子老师：元数据以前目前没有太多的好管理工具。以前是在支付宝是我自己设计的一个数据产品。第一版自己用Delphi 开发的。
（图很多：）
(点击放大图像)
[图片上传中。。。（15）]
(点击放大图像)
[图片上传中。。。（16）]
(点击放大图像)
[图片上传中。。。（17）]
(点击放大图像)
[图片上传中。。。（18）]
(点击放大图像)
[图片上传中。。。（19）]
以前被逼的自己写了一个，通过解析，实现了字段级的血缘影响分析。这只是第二步，后来又把running 信息给搞了进来。还有分享时提到的模型信息、整个闭环的分类信息。
这是一个分支：
(点击放大图像)
[图片上传中。。。（20）]
但是我们实现了字段级解析准确率达到了94%左右。有细微的错误就人工revew一遍。

5. ****松子老师，数据管控的数据质量部分是怎么处理的呢？

松子老师： 数据管控， 这方面我不太懂的，但是数据质量，这玩意可大可小的。比如像在分享时说过的，在移动互联网的数据质量处理方式可以由原有的ETL(ELT)阶段前置到业务系统去解决，比如移动互联网的App log 日志，日志标准化后事件模型”存储来解决。那非app 日志类如何解决呢比如Payment、order等，数据质量比较考虑的可以只做到监控。
我来分享个图。刚好是我设计数据质量产品时搞的，理清数据质量的问题：
(点击放大图像)
[图片上传中。。。（21）]
(点击放大图像)
[图片上传中。。。（22）]
(点击放大图像)
[图片上传中。。。（23）]
只要数据进入仓库与应用体系，处理起来就比较困难了，所以在数据平台阶段最好是通过监控、前置去解决。目前数据质量确实难以100%由事后搞到事前去处理。我对数据平台与数据产品的建设就是实用为主。怎么实用怎么来。我是比较现实的实用主义者。

6. ****能否分享一些数据产品种类及实例：

松子老师：在前边五个问题、以及文章中又都涉及数据产品实力的一些分享。
提到数据产品的分类我就想把这个图发出来。
自己认为没有特别明确的划分线，但是数据产品从三个维度划分，面向业务、功能、用户可以划分出三个方向的数据产品来。
比如面向数据平台工具型数据产品:调度、数据质量、元数据、数据建模、ETL工具、资源管控等等。
面向用户功能有报表型、多维型数据产品、定制化数据产品、挖掘型数据产品。
面向内部用户、外部个人用户、外部企业用户又有不同的分类。
根据业务又可以划分很多，面向C类用户、面向B类商户、金融风险等等
从近几年的数据产品来看，是更好的辅助用户的做决策的一种产品形态，在用户的决策与行动中充当信息的分析者与价值使用者；数据产品有个自己的共性：由解决的一个实际的业务问题出发，分解出的分析指标，分析模型，分析流程组成，再考虑到功能易用性，未来功能扩展，考虑用户对数据易用性（比如数据的呈现层次，不可能一次把所有数据的呈现给用户）来组成的。
(点击放大图像)
[图片上传中。。。（24）]

7. ****银行业从传统的ods到edw再到大数据平台这块过渡，模型如何建设？平台优势如何发挥？
松子老师：这个问题还是有些难度的，自己回答的可能有些片面。首先我们清醒的清楚“大数据”是什么？再次不同的场景可以采用不同的技术去解决。
“大数据”，拆开来看大、数据，大可以是指的数据源结构简单（ps 如果了解过当代对大数据的定义就知道四个特性）但是量级够大，比如清算、结算、对公、对私、中间业务等等每一个拿出来都是几十T，但是这些业务数据都是保存传统的关系型数据库中如DB2、Oracle、MSsql中，因为在数据平台存储是通过准3范式等等结构去保存。
在存储时可能要比较复杂的SQL 多表关联的，感觉目前传统的数据平台技技术在处理数据很让人着急。想通过互联网的大数据平台hadoop、Hive 、Spark 等技术的去演进解决。（最早时我的是中信银行、光大银行在2011年左右开始考虑Hadoop技术，后来不知道如何了）。
但是互联网的数据平台技术大都是NOSQL模式，牺牲掉了传统数据库的数据一致性、完整性、唯一索引等等，只干性能的事情（当然除了性能、可扩展性也是的）.
原有在传统数据平台模型设计上可以考虑的一些通过主外键、唯一索引做一些业务约束的方法，在nosql上统统的都没有了，这些约束必须放到数据加工阶段去想办法做检查。传统数据平台如果在Insert、update数据时违反了业务约束可以做报警或异常处理，但是在Nosql的平台上要求ETL 去手动遵守这些规则检查。但是有时ETL开发根本不遵守的，仅仅是两个表关联起来，也可能忘记按照某一个业务唯一索引做去重操作。简单说，原有靠关系型数据库本身机制去做检查一些规则变为人工，变为人工就会犯错。
从关系型数据平台往Nosql数据平台迁移时，尤其是对传统行业的业务来说，在模型设计阶段、以及给出的ETL口径要考虑更多的业务规则检查，其次要考虑更多的维度退化、多冗余、表打宽处理。简单说就是发挥数据平台的计算能力同时要更加的各方面确保数据准确安全可靠。
数据模型ODS 到EDW 这块的设计方法百度上留下的文档资料太多的了，请这位提问的老师百度吧。

**8****．大数据****仓库****中如何做快速****维处****理？互****联****网数****仓****数据****质****量不好如何****对****数，如何确立****标****准的****对****数口径？******
松子老师：快速变化维度可以转化为缓慢变化为来出来，我自己理解的快速维度是相对于缓慢维度参照的来说的。
举个例子，年龄-转化为天数可以是定义快速变化维度，因为每天都在变化。我们可以把年龄退化为区间维度来处理，还可以把年龄做成动态维度来处理，事实表中保存的就是实际的出生年月并打宽表，年龄(天)通过计算方式来处理。还有种方法通过对代理键的方式来处理。
我目前也不知道对数据的标准是什么。但是我自己用的方法，把一个指标的整个数据流向切出几个关键点通过SQL去实现对数，看波动振幅，波动曲线。同时还会比如发不通的版本的小流量测试的方式来做数据校对。

9****． 做为数据行业从业者，需要掌握哪些重要的基础知识？另：如果从零开始建立一个数据平台，需要哪些资源配置（人，财，物，技术）？大致总投资额度多少？如果同行产品间多种来源的数据，可有成熟的解决方案？谢谢…

松子老师：这个问题太宏观了。作为数据行业从业者，需要掌握哪些重要基础知识，这个是要看从事具体数据域的垂直行业。
比如说 数据开发、数据模型、数据产品、数据分析师、数据运营、数据架构师这些更加专业领域是需要不同的知识的。大家可以去itongji.cn、百度等去搜索数据架构等文章能得到更加专业的答案。
一家公司建设数据平台是跟公司目前数据量、未来数据增长、技术选型、解决业务问题有很直接的关系的。所以在解决业务目标不太明确下，难以确定方案，人员配置上选用不同技术方案去搭建的配置是不太一样的，比如说传统平台来讲，运维、DBA、数据开发、数据模型、报表人员。
从互联网数据平台基本配置上，数据架构师、运维、底层大数据技术、数据开发兼模型、数据分析师、数据产品等都有可能需要的。
同行产品间度多种数据来源，那就看数据源种类，文本的、日志类、视频影像、爬虫类的、结构化、非结构化的数据源有不同的解决技术。

10. Standalone****模式下，Model.save(Path)怎么一直提示错误，是不是配置Spark时需要将Hdfs的配置引进来啊～？表示初学Spark
松子老师：这个问题有点超出我的能力范围了，所以对不起回答不了。
我本身不是做技术的。仅知道一点技术名词。

11. ****传统银行业数据模型什么时候会走向互联网模式呢？目前在传统银行数据平台的产品是不是特别多？
松子老师：这个问题我自己就不知道了，或许是传统银行在数据平台的实施上全面用互联网的Nosql大数据处理技术吧。至于说传统银行数据模型用现有的互联网数据模型理念去设计是否完全可行，数据一致性、高准确性通过更多的方案去保证。
首先我需要确定一下这个产品是否指的“数据产品”。
如果是数据产品，那其实传统行业数据平台本身就有一些数据产品了，而且也都是存在的。数据产品自从数据仓库出现以来它其实一直都存在的，只不过是近几年因为互联网特别爱制造“流行词“把数据产品这个词给放大了。互联网是得数据产品从早期的重量级逐渐进化为轻量级、从大而全的解决方案逐渐演进为因小而美。
我来给出几组例子，大约从2004年到现在的几组数据产品的例子
(点击放大图像)
[图片上传中。。。（25）]
(点击放大图像)
[图片上传中。。。（26）]
(点击放大图像)
[图片上传中。。。（27）]
(点击放大图像)
[图片上传中。。。（28）]
(点击放大图像)
[图片上传中。。。（29）]
(点击放大图像)
[图片上传中。。。（30）]
(点击放大图像)
[图片上传中。。。（31）]
你可以分类一下，这些数据产品的特点是什么？满足了用户怎么样的痛点需求？满足了用户怎么样的使用流程。

12 ****。传统行业的数据仓库从业人员，如果转到互联网行业，应该学习哪些技能？
松子老师：这个问题你可以百度搜索“大数据职位所需要的数据技能” http://blog.jobbole.com/99039/ 这篇文章。自己觉得人家回答的比我专业。//
我所经历的大数据平台发展史（四）：互联网时代 • 下篇
http://www.infoq.com/cn/articles/the-development-history-of-big-data-platform-internet-age

编者按：本文是松子（李博源）的大数据平台发展史系列文章的第四篇（共四篇），本系列以独特的视角，比较了非互联网和互联网两个时代以及传统行业与非传统行业。是对数据平台发展的一个回忆，对非互联网、互联网，从数据平台的用户角度、数据架构演进、模型等进行了阐述。
在互联网时代被弱化的数据模型
谈起数据模型就不得不提传统数据平台架构发展，我相信很多朋友都晓得传统数据平台的知识，其架构演进简单一句话说“基本上可以分为五个时代、四种架构”，但是到了互联网时代因为大数据快速膨胀与数据源类型多样化特点，从高阶架构上来看大约从传统数据平台第三代架构开始延续的，但是往后的发展从我自己的这一点知识上很难对互联网的数据平台做架构归类。
但是从数据平台建设与服务角色上还是有章可循的。就像上篇分享到那样，类比两个行业，互联网企业中员工年龄比非互联网企业的要年轻、受教育程度、对计算机的焦虑程度明显比传统企业要低、还偶遇其它各方面的缘故，导致了数据平台所面对用户群体与非互联网数据平台有所差异化。
传统行业与互联网行业数据平台用户特性我只选择前文章的两张图来表示
(点击放大图像)

2****，互联网财经类公司，业务包括财经网站、基金、股票、金融等，这类公司的数据仓库模型应该如何设计？特点和注意事项是什么？案例介绍？十分感谢。
松子老师：我自己经历过的是互联网金融以及移动互联网行。对这两块比较清楚。互联网金融起因为业务的特性是类金融类的，与银行有些地方是相似的。
比如大约在2012年前支付宝业务特点涉及类金融交易：充值、提现、账务管理类电子商务：购物交易过程变更、实际交易（对B机票、对C水电等） 非纯电子商务；纯金融；个人信用，理财类。系统之间依赖度较为复杂，垂直依赖（业务与核心）跨层依赖（跨过交易到账务）。
在设计方法上还是采用维度模型设计方式。底层是数据驱动为向导，结合业务需求驱动，通过简单、退化维度的方式拉宽表结构。
底层采用松耦合设计。主题之间是松耦合方式。至体内采用细粒度退化维度。
在主题域上的的设计基本参考了OMG的数据仓库元数据设计CWM模型、IBM 的fsdm金融模型、还有新巴塞尔资本协议（Basel II Capital Accord）需提供数据规范去的设计。所以数据模型是五层的结构。
在细节处理上，增量ODS层数据和前一天DWD相关表进行 merge处理。
在一些层次上，基本聚合、汇总增加派生事实表（简单一句话退化为度打宽）。然后按照业务主体合并信息等。
比如开始给大家分享的那张图：
(点击放大图像)
[图片上传中。。。（13）]
在维度模型退化处理时，要注意最细粒度数据保留、不同层次的数据支持数据重新生成。同时一定要注意互联网数据业务特性，数据质量是大心病。有可能一天某些表会重跑很多遍。在互联网的做法有可能一天会重跑好几次数据。
所以曲线救国的病态的产生出了一种通过元数据驱动的数据模型。
这种元数据驱动工具型数据产品我会在未来数据产品系列中做详细介绍的。

3****，互联网企业大数据平台的发展历程是怎样的？
松子老师：这个我相信应该是传统数据平台朋友提到的。传统行业数据平台架构演进我总结简单一句话说“基本上可以分为五个时代、四种架构”，但是到了互联网时代因为大数据快速膨胀与类型暴增的特点，从高阶架构上来看大约从第三代架构开始延续的，但是从我自己的知识上很难对互联网的数据平台做架构归类。所以我从互联网数据平台的建设、用户使用变化特征去做了总结。话说互联网数据平台基本是从传统数据平台的第三代开始的。那是我们总结下来用户特点：
(点击放大图像)
[图片上传中。。。（14）]
更加详细的每一代数据平台建设、服务角色特点您可以看我这个系列文章的第三篇，http://www.infoq.com/cn/articles/the-development-history-of-big-data-platform-paet02

4****，有没有好的元数据管理工具推荐？主要偏向数据字典与血统等。
松子老师：元数据以前目前没有太多的好管理工具。以前是在支付宝是我自己设计的一个数据产品。第一版自己用Delphi 开发的。
（图很多：）
(点击放大图像)

5. ****松子老师，数据管控的数据质量部分是怎么处理的呢？

松子老师： 数据管控， 这方面我不太懂的，但是数据质量，这玩意可大可小的。比如像在分享时说过的，在移动互联网的数据质量处理方式可以由原有的ETL(ELT)阶段前置到业务系统去解决，比如移动互联网的App log 日志，日志标准化后事件模型”存储来解决。那非app 日志类如何解决呢比如Payment、order等，数据质量比较考虑的可以只做到监控。
我来分享个图。刚好是我设计数据质量产品时搞的，理清数据质量的问题：
(点击放大图像)
[图片上传中。。。（21）]
(点击放大图像)
[图片上传中。。。（22）]
(点击放大图像)
[图片上传中。。。（23）]
只要数据进入仓库与应用体系，处理起来就比较困难了，所以在数据平台阶段最好是通过监控、前置去解决。目前数据质量确实难以100%由事后搞到事前去处理。我对数据平台与数据产品的建设就是实用为主。怎么实用怎么来。我是比较现实的实用主义者。

6. ****能否分享一些数据产品种类及实例：

松子老师：在前边五个问题、以及文章中又都涉及数据产品实力的一些分享。
提到数据产品的分类我就想把这个图发出来。
自己认为没有特别明确的划分线，但是数据产品从三个维度划分，面向业务、功能、用户可以划分出三个方向的数据产品来。
比如面向数据平台工具型数据产品:调度、数据质量、元数据、数据建模、ETL工具、资源管控等等。
面向用户功能有报表型、多维型数据产品、定制化数据产品、挖掘型数据产品。
面向内部用户、外部个人用户、外部企业用户又有不同的分类。
根据业务又可以划分很多，面向C类用户、面向B类商户、金融风险等等
从近几年的数据产品来看，是更好的辅助用户的做决策的一种产品形态，在用户的决策与行动中充当信息的分析者与价值使用者；数据产品有个自己的共性：由解决的一个实际的业务问题出发，分解出的分析指标，分析模型，分析流程组成，再考虑到功能易用性，未来功能扩展，考虑用户对数据易用性（比如数据的呈现层次，不可能一次把所有数据的呈现给用户）来组成的。
(点击放大图像)
[图片上传中。。。（24）]

7. ****银行业从传统的ods到edw再到大数据平台这块过渡，模型如何建设？平台优势如何发挥？
松子老师：这个问题还是有些难度的，自己回答的可能有些片面。首先我们清醒的清楚“大数据”是什么？再次不同的场景可以采用不同的技术去解决。
“大数据”，拆开来看大、数据，大可以是指的数据源结构简单（ps 如果了解过当代对大数据的定义就知道四个特性）但是量级够大，比如清算、结算、对公、对私、中间业务等等每一个拿出来都是几十T，但是这些业务数据都是保存传统的关系型数据库中如DB2、Oracle、MSsql中，因为在数据平台存储是通过准3范式等等结构去保存。
在存储时可能要比较复杂的SQL 多表关联的，感觉目前传统的数据平台技技术在处理数据很让人着急。想通过互联网的大数据平台hadoop、Hive 、Spark 等技术的去演进解决。（最早时我的是中信银行、光大银行在2011年左右开始考虑Hadoop技术，后来不知道如何了）。
但是互联网的数据平台技术大都是NOSQL模式，牺牲掉了传统数据库的数据一致性、完整性、唯一索引等等，只干性能的事情（当然除了性能、可扩展性也是的）.
原有在传统数据平台模型设计上可以考虑的一些通过主外键、唯一索引做一些业务约束的方法，在nosql上统统的都没有了，这些约束必须放到数据加工阶段去想办法做检查。传统数据平台如果在Insert、update数据时违反了业务约束可以做报警或异常处理，但是在Nosql的平台上要求ETL 去手动遵守这些规则检查。但是有时ETL开发根本不遵守的，仅仅是两个表关联起来，也可能忘记按照某一个业务唯一索引做去重操作。简单说，原有靠关系型数据库本身机制去做检查一些规则变为人工，变为人工就会犯错。
从关系型数据平台往Nosql数据平台迁移时，尤其是对传统行业的业务来说，在模型设计阶段、以及给出的ETL口径要考虑更多的业务规则检查，其次要考虑更多的维度退化、多冗余、表打宽处理。简单说就是发挥数据平台的计算能力同时要更加的各方面确保数据准确安全可靠。
数据模型ODS 到EDW 这块的设计方法百度上留下的文档资料太多的了，请这位提问的老师百度吧。

**8****．大数据****仓库****中如何做快速****维处****理？互****联****网数****仓****数据****质****量不好如何****对****数，如何确立****标****准的****对****数口径？******
松子老师：快速变化维度可以转化为缓慢变化为来出来，我自己理解的快速维度是相对于缓慢维度参照的来说的。
举个例子，年龄-转化为天数可以是定义快速变化维度，因为每天都在变化。我们可以把年龄退化为区间维度来处理，还可以把年龄做成动态维度来处理，事实表中保存的就是实际的出生年月并打宽表，年龄(天)通过计算方式来处理。还有种方法通过对代理键的方式来处理。
我目前也不知道对数据的标准是什么。但是我自己用的方法，把一个指标的整个数据流向切出几个关键点通过SQL去实现对数，看波动振幅，波动曲线。同时还会比如发不通的版本的小流量测试的方式来做数据校对。

9****． 做为数据行业从业者，需要掌握哪些重要的基础知识？另：如果从零开始建立一个数据平台，需要哪些资源配置（人，财，物，技术）？大致总投资额度多少？如果同行产品间多种来源的数据，可有成熟的解决方案？谢谢…

松子老师：这个问题太宏观了。作为数据行业从业者，需要掌握哪些重要基础知识，这个是要看从事具体数据域的垂直行业。
比如说 数据开发、数据模型、数据产品、数据分析师、数据运营、数据架构师这些更加专业领域是需要不同的知识的。大家可以去itongji.cn、百度等去搜索数据架构等文章能得到更加专业的答案。
一家公司建设数据平台是跟公司目前数据量、未来数据增长、技术选型、解决业务问题有很直接的关系的。所以在解决业务目标不太明确下，难以确定方案，人员配置上选用不同技术方案去搭建的配置是不太一样的，比如说传统平台来讲，运维、DBA、数据开发、数据模型、报表人员。
从互联网数据平台基本配置上，数据架构师、运维、底层大数据技术、数据开发兼模型、数据分析师、数据产品等都有可能需要的。
同行产品间度多种数据来源，那就看数据源种类，文本的、日志类、视频影像、爬虫类的、结构化、非结构化的数据源有不同的解决技术。

10. Standalone****模式下，Model.save(Path)怎么一直提示错误，是不是配置Spark时需要将Hdfs的配置引进来啊～？表示初学Spark
松子老师：这个问题有点超出我的能力范围了，所以对不起回答不了。
我本身不是做技术的。仅知道一点技术名词。

11. ****传统银行业数据模型什么时候会走向互联网模式呢？目前在传统银行数据平台的产品是不是特别多？
松子老师：这个问题我自己就不知道了，或许是传统银行在数据平台的实施上全面用互联网的Nosql大数据处理技术吧。至于说传统银行数据模型用现有的互联网数据模型理念去设计是否完全可行，数据一致性、高准确性通过更多的方案去保证。
首先我需要确定一下这个产品是否指的“数据产品”。
如果是数据产品，那其实传统行业数据平台本身就有一些数据产品了，而且也都是存在的。数据产品自从数据仓库出现以来它其实一直都存在的，只不过是近几年因为互联网特别爱制造“流行词“把数据产品这个词给放大了。互联网是得数据产品从早期的重量级逐渐进化为轻量级、从大而全的解决方案逐渐演进为因小而美。
我来给出几组例子，大约从2004年到现在的几组数据产品的例子
(点击放大图像)
[图片上传中。。。（25）]
(点击放大图像)
[图片上传中。。。（26）]
(点击放大图像)
[图片上传中。。。（27）]
(点击放大图像)
[图片上传中。。。（28）]
(点击放大图像)
[图片上传中。。。（29）]
(点击放大图像)
[图片上传中。。。（30）]
(点击放大图像)
[图片上传中。。。（31）]
你可以分类一下，这些数据产品的特点是什么？满足了用户怎么样的痛点需求？满足了用户怎么样的使用流程。

12 ****。传统行业的数据仓库从业人员，如果转到互联网行业，应该学习哪些技能？
松子老师：这个问题你可以百度搜索“大数据职位所需要的数据技能” http://blog.jobbole.com/99039/ 这篇文章。自己觉得人家回答的比我专业。//
我所经历的大数据平台发展史（四）：互联网时代 • 下篇
http://www.infoq.com/cn/articles/the-development-history-of-big-data-platform-internet-age

编者按：本文是松子（李博源）的大数据平台发展史系列文章的第四篇（共四篇），本系列以独特的视角，比较了非互联网和互联网两个时代以及传统行业与非传统行业。是对数据平台发展的一个回忆，对非互联网、互联网，从数据平台的用户角度、数据架构演进、模型等进行了阐述。
在互联网时代被弱化的数据模型
谈起数据模型就不得不提传统数据平台架构发展，我相信很多朋友都晓得传统数据平台的知识，其架构演进简单一句话说“基本上可以分为五个时代、四种架构”，但是到了互联网时代因为大数据快速膨胀与数据源类型多样化特点，从高阶架构上来看大约从传统数据平台第三代架构开始延续的，但是往后的发展从我自己的这一点知识上很难对互联网的数据平台做架构归类。
但是从数据平台建设与服务角色上还是有章可循的。就像上篇分享到那样，类比两个行业，互联网企业中员工年龄比非互联网企业的要年轻、受教育程度、对计算机的焦虑程度明显比传统企业要低、还偶遇其它各方面的缘故，导致了数据平台所面对用户群体与非互联网数据平台有所差异化。
传统行业与互联网行业数据平台用户特性我只选择前文章的两张图来表示
(点击放大图像)

2****，互联网财经类公司，业务包括财经网站、基金、股票、金融等，这类公司的数据仓库模型应该如何设计？特点和注意事项是什么？案例介绍？十分感谢。
松子老师：我自己经历过的是互联网金融以及移动互联网行。对这两块比较清楚。互联网金融起因为业务的特性是类金融类的，与银行有些地方是相似的。
比如大约在2012年前支付宝业务特点涉及类金融交易：充值、提现、账务管理类电子商务：购物交易过程变更、实际交易（对B机票、对C水电等） 非纯电子商务；纯金融；个人信用，理财类。系统之间依赖度较为复杂，垂直依赖（业务与核心）跨层依赖（跨过交易到账务）。
在设计方法上还是采用维度模型设计方式。底层是数据驱动为向导，结合业务需求驱动，通过简单、退化维度的方式拉宽表结构。
底层采用松耦合设计。主题之间是松耦合方式。至体内采用细粒度退化维度。
在主题域上的的设计基本参考了OMG的数据仓库元数据设计CWM模型、IBM 的fsdm金融模型、还有新巴塞尔资本协议（Basel II Capital Accord）需提供数据规范去的设计。所以数据模型是五层的结构。
在细节处理上，增量ODS层数据和前一天DWD相关表进行 merge处理。
在一些层次上，基本聚合、汇总增加派生事实表（简单一句话退化为度打宽）。然后按照业务主体合并信息等。
比如开始给大家分享的那张图：
(点击放大图像)
[图片上传中。。。（13）]
在维度模型退化处理时，要注意最细粒度数据保留、不同层次的数据支持数据重新生成。同时一定要注意互联网数据业务特性，数据质量是大心病。有可能一天某些表会重跑很多遍。在互联网的做法有可能一天会重跑好几次数据。
所以曲线救国的病态的产生出了一种通过元数据驱动的数据模型。
这种元数据驱动工具型数据产品我会在未来数据产品系列中做详细介绍的。

3****，互联网企业大数据平台的发展历程是怎样的？
松子老师：这个我相信应该是传统数据平台朋友提到的。传统行业数据平台架构演进我总结简单一句话说“基本上可以分为五个时代、四种架构”，但是到了互联网时代因为大数据快速膨胀与类型暴增的特点，从高阶架构上来看大约从第三代架构开始延续的，但是从我自己的知识上很难对互联网的数据平台做架构归类。所以我从互联网数据平台的建设、用户使用变化特征去做了总结。话说互联网数据平台基本是从传统数据平台的第三代开始的。那是我们总结下来用户特点：
(点击放大图像)
[图片上传中。。。（14）]
更加详细的每一代数据平台建设、服务角色特点您可以看我这个系列文章的第三篇，http://www.infoq.com/cn/articles/the-development-history-of-big-data-platform-paet02

4****，有没有好的元数据管理工具推荐？主要偏向数据字典与血统等。
松子老师：元数据以前目前没有太多的好管理工具。以前是在支付宝是我自己设计的一个数据产品。第一版自己用Delphi 开发的。
（图很多：）
(点击放大图像)
[图片上传中。。。（15）]
(点击放大图像)
[图片上传中。。。（16）]
(点击放大图像)
[图片上传中。。。（17）]
(点击放大图像)

5. ****松子老师，数据管控的数据质量部分是怎么处理的呢？

松子老师： 数据管控， 这方面我不太懂的，但是数据质量，这玩意可大可小的。比如像在分享时说过的，在移动互联网的数据质量处理方式可以由原有的ETL(ELT)阶段前置到业务系统去解决，比如移动互联网的App log 日志，日志标准化后事件模型”存储来解决。那非app 日志类如何解决呢比如Payment、order等，数据质量比较考虑的可以只做到监控。
我来分享个图。刚好是我设计数据质量产品时搞的，理清数据质量的问题：
(点击放大图像)
[图片上传中。。。（21）]
(点击放大图像)
[图片上传中。。。（22）]
(点击放大图像)
[图片上传中。。。（23）]
只要数据进入仓库与应用体系，处理起来就比较困难了，所以在数据平台阶段最好是通过监控、前置去解决。目前数据质量确实难以100%由事后搞到事前去处理。我对数据平台与数据产品的建设就是实用为主。怎么实用怎么来。我是比较现实的实用主义者。

6. ****能否分享一些数据产品种类及实例：

松子老师：在前边五个问题、以及文章中又都涉及数据产品实力的一些分享。
提到数据产品的分类我就想把这个图发出来。
自己认为没有特别明确的划分线，但是数据产品从三个维度划分，面向业务、功能、用户可以划分出三个方向的数据产品来。
比如面向数据平台工具型数据产品:调度、数据质量、元数据、数据建模、ETL工具、资源管控等等。
面向用户功能有报表型、多维型数据产品、定制化数据产品、挖掘型数据产品。
面向内部用户、外部个人用户、外部企业用户又有不同的分类。
根据业务又可以划分很多，面向C类用户、面向B类商户、金融风险等等
从近几年的数据产品来看，是更好的辅助用户的做决策的一种产品形态，在用户的决策与行动中充当信息的分析者与价值使用者；数据产品有个自己的共性：由解决的一个实际的业务问题出发，分解出的分析指标，分析模型，分析流程组成，再考虑到功能易用性，未来功能扩展，考虑用户对数据易用性（比如数据的呈现层次，不可能一次把所有数据的呈现给用户）来组成的。
(点击放大图像)
[图片上传中。。。（24）]

7. ****银行业从传统的ods到edw再到大数据平台这块过渡，模型如何建设？平台优势如何发挥？
松子老师：这个问题还是有些难度的，自己回答的可能有些片面。首先我们清醒的清楚“大数据”是什么？再次不同的场景可以采用不同的技术去解决。
“大数据”，拆开来看大、数据，大可以是指的数据源结构简单（ps 如果了解过当代对大数据的定义就知道四个特性）但是量级够大，比如清算、结算、对公、对私、中间业务等等每一个拿出来都是几十T，但是这些业务数据都是保存传统的关系型数据库中如DB2、Oracle、MSsql中，因为在数据平台存储是通过准3范式等等结构去保存。
在存储时可能要比较复杂的SQL 多表关联的，感觉目前传统的数据平台技技术在处理数据很让人着急。想通过互联网的大数据平台hadoop、Hive 、Spark 等技术的去演进解决。（最早时我的是中信银行、光大银行在2011年左右开始考虑Hadoop技术，后来不知道如何了）。
但是互联网的数据平台技术大都是NOSQL模式，牺牲掉了传统数据库的数据一致性、完整性、唯一索引等等，只干性能的事情（当然除了性能、可扩展性也是的）.
原有在传统数据平台模型设计上可以考虑的一些通过主外键、唯一索引做一些业务约束的方法，在nosql上统统的都没有了，这些约束必须放到数据加工阶段去想办法做检查。传统数据平台如果在Insert、update数据时违反了业务约束可以做报警或异常处理，但是在Nosql的平台上要求ETL 去手动遵守这些规则检查。但是有时ETL开发根本不遵守的，仅仅是两个表关联起来，也可能忘记按照某一个业务唯一索引做去重操作。简单说，原有靠关系型数据库本身机制去做检查一些规则变为人工，变为人工就会犯错。
从关系型数据平台往Nosql数据平台迁移时，尤其是对传统行业的业务来说，在模型设计阶段、以及给出的ETL口径要考虑更多的业务规则检查，其次要考虑更多的维度退化、多冗余、表打宽处理。简单说就是发挥数据平台的计算能力同时要更加的各方面确保数据准确安全可靠。
数据模型ODS 到EDW 这块的设计方法百度上留下的文档资料太多的了，请这位提问的老师百度吧。

**8****．大数据****仓库****中如何做快速****维处****理？互****联****网数****仓****数据****质****量不好如何****对****数，如何确立****标****准的****对****数口径？******
松子老师：快速变化维度可以转化为缓慢变化为来出来，我自己理解的快速维度是相对于缓慢维度参照的来说的。
举个例子，年龄-转化为天数可以是定义快速变化维度，因为每天都在变化。我们可以把年龄退化为区间维度来处理，还可以把年龄做成动态维度来处理，事实表中保存的就是实际的出生年月并打宽表，年龄(天)通过计算方式来处理。还有种方法通过对代理键的方式来处理。
我目前也不知道对数据的标准是什么。但是我自己用的方法，把一个指标的整个数据流向切出几个关键点通过SQL去实现对数，看波动振幅，波动曲线。同时还会比如发不通的版本的小流量测试的方式来做数据校对。

9****． 做为数据行业从业者，需要掌握哪些重要的基础知识？另：如果从零开始建立一个数据平台，需要哪些资源配置（人，财，物，技术）？大致总投资额度多少？如果同行产品间多种来源的数据，可有成熟的解决方案？谢谢…

松子老师：这个问题太宏观了。作为数据行业从业者，需要掌握哪些重要基础知识，这个是要看从事具体数据域的垂直行业。
比如说 数据开发、数据模型、数据产品、数据分析师、数据运营、数据架构师这些更加专业领域是需要不同的知识的。大家可以去itongji.cn、百度等去搜索数据架构等文章能得到更加专业的答案。
一家公司建设数据平台是跟公司目前数据量、未来数据增长、技术选型、解决业务问题有很直接的关系的。所以在解决业务目标不太明确下，难以确定方案，人员配置上选用不同技术方案去搭建的配置是不太一样的，比如说传统平台来讲，运维、DBA、数据开发、数据模型、报表人员。
从互联网数据平台基本配置上，数据架构师、运维、底层大数据技术、数据开发兼模型、数据分析师、数据产品等都有可能需要的。
同行产品间度多种数据来源，那就看数据源种类，文本的、日志类、视频影像、爬虫类的、结构化、非结构化的数据源有不同的解决技术。

10. Standalone****模式下，Model.save(Path)怎么一直提示错误，是不是配置Spark时需要将Hdfs的配置引进来啊～？表示初学Spark
松子老师：这个问题有点超出我的能力范围了，所以对不起回答不了。
我本身不是做技术的。仅知道一点技术名词。

11. ****传统银行业数据模型什么时候会走向互联网模式呢？目前在传统银行数据平台的产品是不是特别多？
松子老师：这个问题我自己就不知道了，或许是传统银行在数据平台的实施上全面用互联网的Nosql大数据处理技术吧。至于说传统银行数据模型用现有的互联网数据模型理念去设计是否完全可行，数据一致性、高准确性通过更多的方案去保证。
首先我需要确定一下这个产品是否指的“数据产品”。
如果是数据产品，那其实传统行业数据平台本身就有一些数据产品了，而且也都是存在的。数据产品自从数据仓库出现以来它其实一直都存在的，只不过是近几年因为互联网特别爱制造“流行词“把数据产品这个词给放大了。互联网是得数据产品从早期的重量级逐渐进化为轻量级、从大而全的解决方案逐渐演进为因小而美。
我来给出几组例子，大约从2004年到现在的几组数据产品的例子
(点击放大图像)
[图片上传中。。。（25）]
(点击放大图像)
[图片上传中。。。（26）]
(点击放大图像)
[图片上传中。。。（27）]
(点击放大图像)
[图片上传中。。。（28）]
(点击放大图像)
[图片上传中。。。（29）]
(点击放大图像)
[图片上传中。。。（30）]
(点击放大图像)
[图片上传中。。。（31）]
你可以分类一下，这些数据产品的特点是什么？满足了用户怎么样的痛点需求？满足了用户怎么样的使用流程。

12 ****。传统行业的数据仓库从业人员，如果转到互联网行业，应该学习哪些技能？
松子老师：这个问题你可以百度搜索“大数据职位所需要的数据技能” http://blog.jobbole.com/99039/ 这篇文章。自己觉得人家回答的比我专业。//
我所经历的大数据平台发展史（四）：互联网时代 • 下篇
http://www.infoq.com/cn/articles/the-development-history-of-big-data-platform-internet-age

编者按：本文是松子（李博源）的大数据平台发展史系列文章的第四篇（共四篇），本系列以独特的视角，比较了非互联网和互联网两个时代以及传统行业与非传统行业。是对数据平台发展的一个回忆，对非互联网、互联网，从数据平台的用户角度、数据架构演进、模型等进行了阐述。
在互联网时代被弱化的数据模型
谈起数据模型就不得不提传统数据平台架构发展，我相信很多朋友都晓得传统数据平台的知识，其架构演进简单一句话说“基本上可以分为五个时代、四种架构”，但是到了互联网时代因为大数据快速膨胀与数据源类型多样化特点，从高阶架构上来看大约从传统数据平台第三代架构开始延续的，但是往后的发展从我自己的这一点知识上很难对互联网的数据平台做架构归类。
但是从数据平台建设与服务角色上还是有章可循的。就像上篇分享到那样，类比两个行业，互联网企业中员工年龄比非互联网企业的要年轻、受教育程度、对计算机的焦虑程度明显比传统企业要低、还偶遇其它各方面的缘故，导致了数据平台所面对用户群体与非互联网数据平台有所差异化。
传统行业与互联网行业数据平台用户特性我只选择前文章的两张图来表示
(点击放大图像)

2****，互联网财经类公司，业务包括财经网站、基金、股票、金融等，这类公司的数据仓库模型应该如何设计？特点和注意事项是什么？案例介绍？十分感谢。
松子老师：我自己经历过的是互联网金融以及移动互联网行。对这两块比较清楚。互联网金融起因为业务的特性是类金融类的，与银行有些地方是相似的。
比如大约在2012年前支付宝业务特点涉及类金融交易：充值、提现、账务管理类电子商务：购物交易过程变更、实际交易（对B机票、对C水电等） 非纯电子商务；纯金融；个人信用，理财类。系统之间依赖度较为复杂，垂直依赖（业务与核心）跨层依赖（跨过交易到账务）。
在设计方法上还是采用维度模型设计方式。底层是数据驱动为向导，结合业务需求驱动，通过简单、退化维度的方式拉宽表结构。
底层采用松耦合设计。主题之间是松耦合方式。至体内采用细粒度退化维度。
在主题域上的的设计基本参考了OMG的数据仓库元数据设计CWM模型、IBM 的fsdm金融模型、还有新巴塞尔资本协议（Basel II Capital Accord）需提供数据规范去的设计。所以数据模型是五层的结构。
在细节处理上，增量ODS层数据和前一天DWD相关表进行 merge处理。
在一些层次上，基本聚合、汇总增加派生事实表（简单一句话退化为度打宽）。然后按照业务主体合并信息等。
比如开始给大家分享的那张图：
(点击放大图像)
[图片上传中。。。（13）]
在维度模型退化处理时，要注意最细粒度数据保留、不同层次的数据支持数据重新生成。同时一定要注意互联网数据业务特性，数据质量是大心病。有可能一天某些表会重跑很多遍。在互联网的做法有可能一天会重跑好几次数据。
所以曲线救国的病态的产生出了一种通过元数据驱动的数据模型。
这种元数据驱动工具型数据产品我会在未来数据产品系列中做详细介绍的。

3****，互联网企业大数据平台的发展历程是怎样的？
松子老师：这个我相信应该是传统数据平台朋友提到的。传统行业数据平台架构演进我总结简单一句话说“基本上可以分为五个时代、四种架构”，但是到了互联网时代因为大数据快速膨胀与类型暴增的特点，从高阶架构上来看大约从第三代架构开始延续的，但是从我自己的知识上很难对互联网的数据平台做架构归类。所以我从互联网数据平台的建设、用户使用变化特征去做了总结。话说互联网数据平台基本是从传统数据平台的第三代开始的。那是我们总结下来用户特点：
(点击放大图像)
[图片上传中。。。（14）]
更加详细的每一代数据平台建设、服务角色特点您可以看我这个系列文章的第三篇，http://www.infoq.com/cn/articles/the-development-history-of-big-data-platform-paet02

4****，有没有好的元数据管理工具推荐？主要偏向数据字典与血统等。
松子老师：元数据以前目前没有太多的好管理工具。以前是在支付宝是我自己设计的一个数据产品。第一版自己用Delphi 开发的。
（图很多：）
(点击放大图像)
[图片上传中。。。（15）]
(点击放大图像)

5. ****松子老师，数据管控的数据质量部分是怎么处理的呢？

松子老师： 数据管控， 这方面我不太懂的，但是数据质量，这玩意可大可小的。比如像在分享时说过的，在移动互联网的数据质量处理方式可以由原有的ETL(ELT)阶段前置到业务系统去解决，比如移动互联网的App log 日志，日志标准化后事件模型”存储来解决。那非app 日志类如何解决呢比如Payment、order等，数据质量比较考虑的可以只做到监控。
我来分享个图。刚好是我设计数据质量产品时搞的，理清数据质量的问题：
(点击放大图像)
[图片上传中。。。（21）]
(点击放大图像)
[图片上传中。。。（22）]
(点击放大图像)
[图片上传中。。。（23）]
只要数据进入仓库与应用体系，处理起来就比较困难了，所以在数据平台阶段最好是通过监控、前置去解决。目前数据质量确实难以100%由事后搞到事前去处理。我对数据平台与数据产品的建设就是实用为主。怎么实用怎么来。我是比较现实的实用主义者。

6. ****能否分享一些数据产品种类及实例：

松子老师：在前边五个问题、以及文章中又都涉及数据产品实力的一些分享。
提到数据产品的分类我就想把这个图发出来。
自己认为没有特别明确的划分线，但是数据产品从三个维度划分，面向业务、功能、用户可以划分出三个方向的数据产品来。
比如面向数据平台工具型数据产品:调度、数据质量、元数据、数据建模、ETL工具、资源管控等等。
面向用户功能有报表型、多维型数据产品、定制化数据产品、挖掘型数据产品。
面向内部用户、外部个人用户、外部企业用户又有不同的分类。
根据业务又可以划分很多，面向C类用户、面向B类商户、金融风险等等
从近几年的数据产品来看，是更好的辅助用户的做决策的一种产品形态，在用户的决策与行动中充当信息的分析者与价值使用者；数据产品有个自己的共性：由解决的一个实际的业务问题出发，分解出的分析指标，分析模型，分析流程组成，再考虑到功能易用性，未来功能扩展，考虑用户对数据易用性（比如数据的呈现层次，不可能一次把所有数据的呈现给用户）来组成的。
(点击放大图像)
[图片上传中。。。（24）]

7. ****银行业从传统的ods到edw再到大数据平台这块过渡，模型如何建设？平台优势如何发挥？
松子老师：这个问题还是有些难度的，自己回答的可能有些片面。首先我们清醒的清楚“大数据”是什么？再次不同的场景可以采用不同的技术去解决。
“大数据”，拆开来看大、数据，大可以是指的数据源结构简单（ps 如果了解过当代对大数据的定义就知道四个特性）但是量级够大，比如清算、结算、对公、对私、中间业务等等每一个拿出来都是几十T，但是这些业务数据都是保存传统的关系型数据库中如DB2、Oracle、MSsql中，因为在数据平台存储是通过准3范式等等结构去保存。
在存储时可能要比较复杂的SQL 多表关联的，感觉目前传统的数据平台技技术在处理数据很让人着急。想通过互联网的大数据平台hadoop、Hive 、Spark 等技术的去演进解决。（最早时我的是中信银行、光大银行在2011年左右开始考虑Hadoop技术，后来不知道如何了）。
但是互联网的数据平台技术大都是NOSQL模式，牺牲掉了传统数据库的数据一致性、完整性、唯一索引等等，只干性能的事情（当然除了性能、可扩展性也是的）.
原有在传统数据平台模型设计上可以考虑的一些通过主外键、唯一索引做一些业务约束的方法，在nosql上统统的都没有了，这些约束必须放到数据加工阶段去想办法做检查。传统数据平台如果在Insert、update数据时违反了业务约束可以做报警或异常处理，但是在Nosql的平台上要求ETL 去手动遵守这些规则检查。但是有时ETL开发根本不遵守的，仅仅是两个表关联起来，也可能忘记按照某一个业务唯一索引做去重操作。简单说，原有靠关系型数据库本身机制去做检查一些规则变为人工，变为人工就会犯错。
从关系型数据平台往Nosql数据平台迁移时，尤其是对传统行业的业务来说，在模型设计阶段、以及给出的ETL口径要考虑更多的业务规则检查，其次要考虑更多的维度退化、多冗余、表打宽处理。简单说就是发挥数据平台的计算能力同时要更加的各方面确保数据准确安全可靠。
数据模型ODS 到EDW 这块的设计方法百度上留下的文档资料太多的了，请这位提问的老师百度吧。

**8****．大数据****仓库****中如何做快速****维处****理？互****联****网数****仓****数据****质****量不好如何****对****数，如何确立****标****准的****对****数口径？******
松子老师：快速变化维度可以转化为缓慢变化为来出来，我自己理解的快速维度是相对于缓慢维度参照的来说的。
举个例子，年龄-转化为天数可以是定义快速变化维度，因为每天都在变化。我们可以把年龄退化为区间维度来处理，还可以把年龄做成动态维度来处理，事实表中保存的就是实际的出生年月并打宽表，年龄(天)通过计算方式来处理。还有种方法通过对代理键的方式来处理。
我目前也不知道对数据的标准是什么。但是我自己用的方法，把一个指标的整个数据流向切出几个关键点通过SQL去实现对数，看波动振幅，波动曲线。同时还会比如发不通的版本的小流量测试的方式来做数据校对。

9****． 做为数据行业从业者，需要掌握哪些重要的基础知识？另：如果从零开始建立一个数据平台，需要哪些资源配置（人，财，物，技术）？大致总投资额度多少？如果同行产品间多种来源的数据，可有成熟的解决方案？谢谢…

松子老师：这个问题太宏观了。作为数据行业从业者，需要掌握哪些重要基础知识，这个是要看从事具体数据域的垂直行业。
比如说 数据开发、数据模型、数据产品、数据分析师、数据运营、数据架构师这些更加专业领域是需要不同的知识的。大家可以去itongji.cn、百度等去搜索数据架构等文章能得到更加专业的答案。
一家公司建设数据平台是跟公司目前数据量、未来数据增长、技术选型、解决业务问题有很直接的关系的。所以在解决业务目标不太明确下，难以确定方案，人员配置上选用不同技术方案去搭建的配置是不太一样的，比如说传统平台来讲，运维、DBA、数据开发、数据模型、报表人员。
从互联网数据平台基本配置上，数据架构师、运维、底层大数据技术、数据开发兼模型、数据分析师、数据产品等都有可能需要的。
同行产品间度多种数据来源，那就看数据源种类，文本的、日志类、视频影像、爬虫类的、结构化、非结构化的数据源有不同的解决技术。

10. Standalone****模式下，Model.save(Path)怎么一直提示错误，是不是配置Spark时需要将Hdfs的配置引进来啊～？表示初学Spark
松子老师：这个问题有点超出我的能力范围了，所以对不起回答不了。
我本身不是做技术的。仅知道一点技术名词。

11. ****传统银行业数据模型什么时候会走向互联网模式呢？目前在传统银行数据平台的产品是不是特别多？
松子老师：这个问题我自己就不知道了，或许是传统银行在数据平台的实施上全面用互联网的Nosql大数据处理技术吧。至于说传统银行数据模型用现有的互联网数据模型理念去设计是否完全可行，数据一致性、高准确性通过更多的方案去保证。
首先我需要确定一下这个产品是否指的“数据产品”。
如果是数据产品，那其实传统行业数据平台本身就有一些数据产品了，而且也都是存在的。数据产品自从数据仓库出现以来它其实一直都存在的，只不过是近几年因为互联网特别爱制造“流行词“把数据产品这个词给放大了。互联网是得数据产品从早期的重量级逐渐进化为轻量级、从大而全的解决方案逐渐演进为因小而美。
我来给出几组例子，大约从2004年到现在的几组数据产品的例子
(点击放大图像)
[图片上传中。。。（25）]
(点击放大图像)
[图片上传中。。。（26）]
(点击放大图像)
[图片上传中。。。（27）]
(点击放大图像)
[图片上传中。。。（28）]
(点击放大图像)
[图片上传中。。。（29）]
(点击放大图像)
[图片上传中。。。（30）]
(点击放大图像)
[图片上传中。。。（31）]
你可以分类一下，这些数据产品的特点是什么？满足了用户怎么样的痛点需求？满足了用户怎么样的使用流程。

12 ****。传统行业的数据仓库从业人员，如果转到互联网行业，应该学习哪些技能？
松子老师：这个问题你可以百度搜索“大数据职位所需要的数据技能” http://blog.jobbole.com/99039/ 这篇文章。自己觉得人家回答的比我专业。//
我所经历的大数据平台发展史（四）：互联网时代 • 下篇
http://www.infoq.com/cn/articles/the-development-history-of-big-data-platform-internet-age

编者按：本文是松子（李博源）的大数据平台发展史系列文章的第四篇（共四篇），本系列以独特的视角，比较了非互联网和互联网两个时代以及传统行业与非传统行业。是对数据平台发展的一个回忆，对非互联网、互联网，从数据平台的用户角度、数据架构演进、模型等进行了阐述。
在互联网时代被弱化的数据模型
谈起数据模型就不得不提传统数据平台架构发展，我相信很多朋友都晓得传统数据平台的知识，其架构演进简单一句话说“基本上可以分为五个时代、四种架构”，但是到了互联网时代因为大数据快速膨胀与数据源类型多样化特点，从高阶架构上来看大约从传统数据平台第三代架构开始延续的，但是往后的发展从我自己的这一点知识上很难对互联网的数据平台做架构归类。
但是从数据平台建设与服务角色上还是有章可循的。就像上篇分享到那样，类比两个行业，互联网企业中员工年龄比非互联网企业的要年轻、受教育程度、对计算机的焦虑程度明显比传统企业要低、还偶遇其它各方面的缘故，导致了数据平台所面对用户群体与非互联网数据平台有所差异化。
传统行业与互联网行业数据平台用户特性我只选择前文章的两张图来表示
(点击放大图像)

2****，互联网财经类公司，业务包括财经网站、基金、股票、金融等，这类公司的数据仓库模型应该如何设计？特点和注意事项是什么？案例介绍？十分感谢。
松子老师：我自己经历过的是互联网金融以及移动互联网行。对这两块比较清楚。互联网金融起因为业务的特性是类金融类的，与银行有些地方是相似的。
比如大约在2012年前支付宝业务特点涉及类金融交易：充值、提现、账务管理类电子商务：购物交易过程变更、实际交易（对B机票、对C水电等） 非纯电子商务；纯金融；个人信用，理财类。系统之间依赖度较为复杂，垂直依赖（业务与核心）跨层依赖（跨过交易到账务）。
在设计方法上还是采用维度模型设计方式。底层是数据驱动为向导，结合业务需求驱动，通过简单、退化维度的方式拉宽表结构。
底层采用松耦合设计。主题之间是松耦合方式。至体内采用细粒度退化维度。
在主题域上的的设计基本参考了OMG的数据仓库元数据设计CWM模型、IBM 的fsdm金融模型、还有新巴塞尔资本协议（Basel II Capital Accord）需提供数据规范去的设计。所以数据模型是五层的结构。
在细节处理上，增量ODS层数据和前一天DWD相关表进行 merge处理。
在一些层次上，基本聚合、汇总增加派生事实表（简单一句话退化为度打宽）。然后按照业务主体合并信息等。
比如开始给大家分享的那张图：
(点击放大图像)
[图片上传中。。。（13）]
在维度模型退化处理时，要注意最细粒度数据保留、不同层次的数据支持数据重新生成。同时一定要注意互联网数据业务特性，数据质量是大心病。有可能一天某些表会重跑很多遍。在互联网的做法有可能一天会重跑好几次数据。
所以曲线救国的病态的产生出了一种通过元数据驱动的数据模型。
这种元数据驱动工具型数据产品我会在未来数据产品系列中做详细介绍的。

3****，互联网企业大数据平台的发展历程是怎样的？
松子老师：这个我相信应该是传统数据平台朋友提到的。传统行业数据平台架构演进我总结简单一句话说“基本上可以分为五个时代、四种架构”，但是到了互联网时代因为大数据快速膨胀与类型暴增的特点，从高阶架构上来看大约从第三代架构开始延续的，但是从我自己的知识上很难对互联网的数据平台做架构归类。所以我从互联网数据平台的建设、用户使用变化特征去做了总结。话说互联网数据平台基本是从传统数据平台的第三代开始的。那是我们总结下来用户特点：
(点击放大图像)
[图片上传中。。。（14）]
更加详细的每一代数据平台建设、服务角色特点您可以看我这个系列文章的第三篇，http://www.infoq.com/cn/articles/the-development-history-of-big-data-platform-paet02

4****，有没有好的元数据管理工具推荐？主要偏向数据字典与血统等。
松子老师：元数据以前目前没有太多的好管理工具。以前是在支付宝是我自己设计的一个数据产品。第一版自己用Delphi 开发的。
（图很多：）
(点击放大图像)
[图片上传中。。。（15）]
(点击放大图像)
[图片上传中。。。（16）]
(点击放大图像)
[图片上传中。。。（17）]
(点击放大图像)
[图片上传中。。。（18）]
(点击放大图像)
[图片上传中。。。（19）]
以前被逼的自己写了一个，通过解析，实现了字段级的血缘影响分析。这只是第二步，后来又把running 信息给搞了进来。还有分享时提到的模型信息、整个闭环的分类信息。
这是一个分支：
(点击放大图像)
[图片上传中。。。（20）]
但是我们实现了字段级解析准确率达到了94%左右。有细微的错误就人工revew一遍。

5. ****松子老师，数据管控的数据质量部分是怎么处理的呢？

松子老师： 数据管控， 这方面我不太懂的，但是数据质量，这玩意可大可小的。比如像在分享时说过的，在移动互联网的数据质量处理方式可以由原有的ETL(ELT)阶段前置到业务系统去解决，比如移动互联网的App log 日志，日志标准化后事件模型”存储来解决。那非app 日志类如何解决呢比如Payment、order等，数据质量比较考虑的可以只做到监控。
我来分享个图。刚好是我设计数据质量产品时搞的，理清数据质量的问题：
(点击放大图像)
[图片上传中。。。（21）]
(点击放大图像)
[图片上传中。。。（22）]
(点击放大图像)
[图片上传中。。。（23）]
只要数据进入仓库与应用体系，处理起来就比较困难了，所以在数据平台阶段最好是通过监控、前置去解决。目前数据质量确实难以100%由事后搞到事前去处理。我对数据平台与数据产品的建设就是实用为主。怎么实用怎么来。我是比较现实的实用主义者。

6. ****能否分享一些数据产品种类及实例：

松子老师：在前边五个问题、以及文章中又都涉及数据产品实力的一些分享。
提到数据产品的分类我就想把这个图发出来。
自己认为没有特别明确的划分线，但是数据产品从三个维度划分，面向业务、功能、用户可以划分出三个方向的数据产品来。
比如面向数据平台工具型数据产品:调度、数据质量、元数据、数据建模、ETL工具、资源管控等等。
面向用户功能有报表型、多维型数据产品、定制化数据产品、挖掘型数据产品。
面向内部用户、外部个人用户、外部企业用户又有不同的分类。
根据业务又可以划分很多，面向C类用户、面向B类商户、金融风险等等
从近几年的数据产品来看，是更好的辅助用户的做决策的一种产品形态，在用户的决策与行动中充当信息的分析者与价值使用者；数据产品有个自己的共性：由解决的一个实际的业务问题出发，分解出的分析指标，分析模型，分析流程组成，再考虑到功能易用性，未来功能扩展，考虑用户对数据易用性（比如数据的呈现层次，不可能一次把所有数据的呈现给用户）来组成的。
(点击放大图像)
[图片上传中。。。（24）]

7. ****银行业从传统的ods到edw再到大数据平台这块过渡，模型如何建设？平台优势如何发挥？
松子老师：这个问题还是有些难度的，自己回答的可能有些片面。首先我们清醒的清楚“大数据”是什么？再次不同的场景可以采用不同的技术去解决。
“大数据”，拆开来看大、数据，大可以是指的数据源结构简单（ps 如果了解过当代对大数据的定义就知道四个特性）但是量级够大，比如清算、结算、对公、对私、中间业务等等每一个拿出来都是几十T，但是这些业务数据都是保存传统的关系型数据库中如DB2、Oracle、MSsql中，因为在数据平台存储是通过准3范式等等结构去保存。
在存储时可能要比较复杂的SQL 多表关联的，感觉目前传统的数据平台技技术在处理数据很让人着急。想通过互联网的大数据平台hadoop、Hive 、Spark 等技术的去演进解决。（最早时我的是中信银行、光大银行在2011年左右开始考虑Hadoop技术，后来不知道如何了）。
但是互联网的数据平台技术大都是NOSQL模式，牺牲掉了传统数据库的数据一致性、完整性、唯一索引等等，只干性能的事情（当然除了性能、可扩展性也是的）.
原有在传统数据平台模型设计上可以考虑的一些通过主外键、唯一索引做一些业务约束的方法，在nosql上统统的都没有了，这些约束必须放到数据加工阶段去想办法做检查。传统数据平台如果在Insert、update数据时违反了业务约束可以做报警或异常处理，但是在Nosql的平台上要求ETL 去手动遵守这些规则检查。但是有时ETL开发根本不遵守的，仅仅是两个表关联起来，也可能忘记按照某一个业务唯一索引做去重操作。简单说，原有靠关系型数据库本身机制去做检查一些规则变为人工，变为人工就会犯错。
从关系型数据平台往Nosql数据平台迁移时，尤其是对传统行业的业务来说，在模型设计阶段、以及给出的ETL口径要考虑更多的业务规则检查，其次要考虑更多的维度退化、多冗余、表打宽处理。简单说就是发挥数据平台的计算能力同时要更加的各方面确保数据准确安全可靠。
数据模型ODS 到EDW 这块的设计方法百度上留下的文档资料太多的了，请这位提问的老师百度吧。

**8****．大数据****仓库****中如何做快速****维处****理？互****联****网数****仓****数据****质****量不好如何****对****数，如何确立****标****准的****对****数口径？******
松子老师：快速变化维度可以转化为缓慢变化为来出来，我自己理解的快速维度是相对于缓慢维度参照的来说的。
举个例子，年龄-转化为天数可以是定义快速变化维度，因为每天都在变化。我们可以把年龄退化为区间维度来处理，还可以把年龄做成动态维度来处理，事实表中保存的就是实际的出生年月并打宽表，年龄(天)通过计算方式来处理。还有种方法通过对代理键的方式来处理。
我目前也不知道对数据的标准是什么。但是我自己用的方法，把一个指标的整个数据流向切出几个关键点通过SQL去实现对数，看波动振幅，波动曲线。同时还会比如发不通的版本的小流量测试的方式来做数据校对。

9****． 做为数据行业从业者，需要掌握哪些重要的基础知识？另：如果从零开始建立一个数据平台，需要哪些资源配置（人，财，物，技术）？大致总投资额度多少？如果同行产品间多种来源的数据，可有成熟的解决方案？谢谢…

松子老师：这个问题太宏观了。作为数据行业从业者，需要掌握哪些重要基础知识，这个是要看从事具体数据域的垂直行业。
比如说 数据开发、数据模型、数据产品、数据分析师、数据运营、数据架构师这些更加专业领域是需要不同的知识的。大家可以去itongji.cn、百度等去搜索数据架构等文章能得到更加专业的答案。
一家公司建设数据平台是跟公司目前数据量、未来数据增长、技术选型、解决业务问题有很直接的关系的。所以在解决业务目标不太明确下，难以确定方案，人员配置上选用不同技术方案去搭建的配置是不太一样的，比如说传统平台来讲，运维、DBA、数据开发、数据模型、报表人员。
从互联网数据平台基本配置上，数据架构师、运维、底层大数据技术、数据开发兼模型、数据分析师、数据产品等都有可能需要的。
同行产品间度多种数据来源，那就看数据源种类，文本的、日志类、视频影像、爬虫类的、结构化、非结构化的数据源有不同的解决技术。

10. Standalone****模式下，Model.save(Path)怎么一直提示错误，是不是配置Spark时需要将Hdfs的配置引进来啊～？表示初学Spark
松子老师：这个问题有点超出我的能力范围了，所以对不起回答不了。
我本身不是做技术的。仅知道一点技术名词。

11. ****传统银行业数据模型什么时候会走向互联网模式呢？目前在传统银行数据平台的产品是不是特别多？
松子老师：这个问题我自己就不知道了，或许是传统银行在数据平台的实施上全面用互联网的Nosql大数据处理技术吧。至于说传统银行数据模型用现有的互联网数据模型理念去设计是否完全可行，数据一致性、高准确性通过更多的方案去保证。
首先我需要确定一下这个产品是否指的“数据产品”。
如果是数据产品，那其实传统行业数据平台本身就有一些数据产品了，而且也都是存在的。数据产品自从数据仓库出现以来它其实一直都存在的，只不过是近几年因为互联网特别爱制造“流行词“把数据产品这个词给放大了。互联网是得数据产品从早期的重量级逐渐进化为轻量级、从大而全的解决方案逐渐演进为因小而美。
我来给出几组例子，大约从2004年到现在的几组数据产品的例子
(点击放大图像)
[图片上传中。。。（25）]
(点击放大图像)
[图片上传中。。。（26）]
(点击放大图像)
[图片上传中。。。（27）]
(点击放大图像)
[图片上传中。。。（28）]
(点击放大图像)
[图片上传中。。。（29）]
(点击放大图像)
[图片上传中。。。（30）]
(点击放大图像)
[图片上传中。。。（31）]
你可以分类一下，这些数据产品的特点是什么？满足了用户怎么样的痛点需求？满足了用户怎么样的使用流程。

12 ****。传统行业的数据仓库从业人员，如果转到互联网行业，应该学习哪些技能？
松子老师：这个问题你可以百度搜索“大数据职位所需要的数据技能” http://blog.jobbole.com/99039/ 这篇文章。自己觉得人家回答的比我专业。//
我所经历的大数据平台发展史（四）：互联网时代 • 下篇
http://www.infoq.com/cn/articles/the-development-history-of-big-data-platform-internet-age

编者按：本文是松子（李博源）的大数据平台发展史系列文章的第四篇（共四篇），本系列以独特的视角，比较了非互联网和互联网两个时代以及传统行业与非传统行业。是对数据平台发展的一个回忆，对非互联网、互联网，从数据平台的用户角度、数据架构演进、模型等进行了阐述。
在互联网时代被弱化的数据模型
谈起数据模型就不得不提传统数据平台架构发展，我相信很多朋友都晓得传统数据平台的知识，其架构演进简单一句话说“基本上可以分为五个时代、四种架构”，但是到了互联网时代因为大数据快速膨胀与数据源类型多样化特点，从高阶架构上来看大约从传统数据平台第三代架构开始延续的，但是往后的发展从我自己的这一点知识上很难对互联网的数据平台做架构归类。
但是从数据平台建设与服务角色上还是有章可循的。就像上篇分享到那样，类比两个行业，互联网企业中员工年龄比非互联网企业的要年轻、受教育程度、对计算机的焦虑程度明显比传统企业要低、还偶遇其它各方面的缘故，导致了数据平台所面对用户群体与非互联网数据平台有所差异化。
传统行业与互联网行业数据平台用户特性我只选择前文章的两张图来表示
(点击放大图像)

2****，互联网财经类公司，业务包括财经网站、基金、股票、金融等，这类公司的数据仓库模型应该如何设计？特点和注意事项是什么？案例介绍？十分感谢。
松子老师：我自己经历过的是互联网金融以及移动互联网行。对这两块比较清楚。互联网金融起因为业务的特性是类金融类的，与银行有些地方是相似的。
比如大约在2012年前支付宝业务特点涉及类金融交易：充值、提现、账务管理类电子商务：购物交易过程变更、实际交易（对B机票、对C水电等） 非纯电子商务；纯金融；个人信用，理财类。系统之间依赖度较为复杂，垂直依赖（业务与核心）跨层依赖（跨过交易到账务）。
在设计方法上还是采用维度模型设计方式。底层是数据驱动为向导，结合业务需求驱动，通过简单、退化维度的方式拉宽表结构。
底层采用松耦合设计。主题之间是松耦合方式。至体内采用细粒度退化维度。
在主题域上的的设计基本参考了OMG的数据仓库元数据设计CWM模型、IBM 的fsdm金融模型、还有新巴塞尔资本协议（Basel II Capital Accord）需提供数据规范去的设计。所以数据模型是五层的结构。
在细节处理上，增量ODS层数据和前一天DWD相关表进行 merge处理。
在一些层次上，基本聚合、汇总增加派生事实表（简单一句话退化为度打宽）。然后按照业务主体合并信息等。
比如开始给大家分享的那张图：
(点击放大图像)
[图片上传中。。。（13）]
在维度模型退化处理时，要注意最细粒度数据保留、不同层次的数据支持数据重新生成。同时一定要注意互联网数据业务特性，数据质量是大心病。有可能一天某些表会重跑很多遍。在互联网的做法有可能一天会重跑好几次数据。
所以曲线救国的病态的产生出了一种通过元数据驱动的数据模型。
这种元数据驱动工具型数据产品我会在未来数据产品系列中做详细介绍的。

3****，互联网企业大数据平台的发展历程是怎样的？
松子老师：这个我相信应该是传统数据平台朋友提到的。传统行业数据平台架构演进我总结简单一句话说“基本上可以分为五个时代、四种架构”，但是到了互联网时代因为大数据快速膨胀与类型暴增的特点，从高阶架构上来看大约从第三代架构开始延续的，但是从我自己的知识上很难对互联网的数据平台做架构归类。所以我从互联网数据平台的建设、用户使用变化特征去做了总结。话说互联网数据平台基本是从传统数据平台的第三代开始的。那是我们总结下来用户特点：
(点击放大图像)
[图片上传中。。。（14）]
更加详细的每一代数据平台建设、服务角色特点您可以看我这个系列文章的第三篇，http://www.infoq.com/cn/articles/the-development-history-of-big-data-platform-paet02

4****，有没有好的元数据管理工具推荐？主要偏向数据字典与血统等。
松子老师：元数据以前目前没有太多的好管理工具。以前是在支付宝是我自己设计的一个数据产品。第一版自己用Delphi 开发的。
（图很多：）
(点击放大图像)
[图片上传中。。。（15）]
(点击放大图像)
[图片上传中。。。（16）]
(点击放大图像)
[图片上传中。。。（17）]
(点击放大图像)
[图片上传中。。。（18）]
(点击放大图像)

5. ****松子老师，数据管控的数据质量部分是怎么处理的呢？

松子老师： 数据管控， 这方面我不太懂的，但是数据质量，这玩意可大可小的。比如像在分享时说过的，在移动互联网的数据质量处理方式可以由原有的ETL(ELT)阶段前置到业务系统去解决，比如移动互联网的App log 日志，日志标准化后事件模型”存储来解决。那非app 日志类如何解决呢比如Payment、order等，数据质量比较考虑的可以只做到监控。
我来分享个图。刚好是我设计数据质量产品时搞的，理清数据质量的问题：
(点击放大图像)
[图片上传中。。。（21）]
(点击放大图像)
[图片上传中。。。（22）]
(点击放大图像)
[图片上传中。。。（23）]
只要数据进入仓库与应用体系，处理起来就比较困难了，所以在数据平台阶段最好是通过监控、前置去解决。目前数据质量确实难以100%由事后搞到事前去处理。我对数据平台与数据产品的建设就是实用为主。怎么实用怎么来。我是比较现实的实用主义者。

6. ****能否分享一些数据产品种类及实例：

松子老师：在前边五个问题、以及文章中又都涉及数据产品实力的一些分享。
提到数据产品的分类我就想把这个图发出来。
自己认为没有特别明确的划分线，但是数据产品从三个维度划分，面向业务、功能、用户可以划分出三个方向的数据产品来。
比如面向数据平台工具型数据产品:调度、数据质量、元数据、数据建模、ETL工具、资源管控等等。
面向用户功能有报表型、多维型数据产品、定制化数据产品、挖掘型数据产品。
面向内部用户、外部个人用户、外部企业用户又有不同的分类。
根据业务又可以划分很多，面向C类用户、面向B类商户、金融风险等等
从近几年的数据产品来看，是更好的辅助用户的做决策的一种产品形态，在用户的决策与行动中充当信息的分析者与价值使用者；数据产品有个自己的共性：由解决的一个实际的业务问题出发，分解出的分析指标，分析模型，分析流程组成，再考虑到功能易用性，未来功能扩展，考虑用户对数据易用性（比如数据的呈现层次，不可能一次把所有数据的呈现给用户）来组成的。
(点击放大图像)
[图片上传中。。。（24）]

7. ****银行业从传统的ods到edw再到大数据平台这块过渡，模型如何建设？平台优势如何发挥？
松子老师：这个问题还是有些难度的，自己回答的可能有些片面。首先我们清醒的清楚“大数据”是什么？再次不同的场景可以采用不同的技术去解决。
“大数据”，拆开来看大、数据，大可以是指的数据源结构简单（ps 如果了解过当代对大数据的定义就知道四个特性）但是量级够大，比如清算、结算、对公、对私、中间业务等等每一个拿出来都是几十T，但是这些业务数据都是保存传统的关系型数据库中如DB2、Oracle、MSsql中，因为在数据平台存储是通过准3范式等等结构去保存。
在存储时可能要比较复杂的SQL 多表关联的，感觉目前传统的数据平台技技术在处理数据很让人着急。想通过互联网的大数据平台hadoop、Hive 、Spark 等技术的去演进解决。（最早时我的是中信银行、光大银行在2011年左右开始考虑Hadoop技术，后来不知道如何了）。
但是互联网的数据平台技术大都是NOSQL模式，牺牲掉了传统数据库的数据一致性、完整性、唯一索引等等，只干性能的事情（当然除了性能、可扩展性也是的）.
原有在传统数据平台模型设计上可以考虑的一些通过主外键、唯一索引做一些业务约束的方法，在nosql上统统的都没有了，这些约束必须放到数据加工阶段去想办法做检查。传统数据平台如果在Insert、update数据时违反了业务约束可以做报警或异常处理，但是在Nosql的平台上要求ETL 去手动遵守这些规则检查。但是有时ETL开发根本不遵守的，仅仅是两个表关联起来，也可能忘记按照某一个业务唯一索引做去重操作。简单说，原有靠关系型数据库本身机制去做检查一些规则变为人工，变为人工就会犯错。
从关系型数据平台往Nosql数据平台迁移时，尤其是对传统行业的业务来说，在模型设计阶段、以及给出的ETL口径要考虑更多的业务规则检查，其次要考虑更多的维度退化、多冗余、表打宽处理。简单说就是发挥数据平台的计算能力同时要更加的各方面确保数据准确安全可靠。
数据模型ODS 到EDW 这块的设计方法百度上留下的文档资料太多的了，请这位提问的老师百度吧。

**8****．大数据****仓库****中如何做快速****维处****理？互****联****网数****仓****数据****质****量不好如何****对****数，如何确立****标****准的****对****数口径？******
松子老师：快速变化维度可以转化为缓慢变化为来出来，我自己理解的快速维度是相对于缓慢维度参照的来说的。
举个例子，年龄-转化为天数可以是定义快速变化维度，因为每天都在变化。我们可以把年龄退化为区间维度来处理，还可以把年龄做成动态维度来处理，事实表中保存的就是实际的出生年月并打宽表，年龄(天)通过计算方式来处理。还有种方法通过对代理键的方式来处理。
我目前也不知道对数据的标准是什么。但是我自己用的方法，把一个指标的整个数据流向切出几个关键点通过SQL去实现对数，看波动振幅，波动曲线。同时还会比如发不通的版本的小流量测试的方式来做数据校对。

9****． 做为数据行业从业者，需要掌握哪些重要的基础知识？另：如果从零开始建立一个数据平台，需要哪些资源配置（人，财，物，技术）？大致总投资额度多少？如果同行产品间多种来源的数据，可有成熟的解决方案？谢谢…

松子老师：这个问题太宏观了。作为数据行业从业者，需要掌握哪些重要基础知识，这个是要看从事具体数据域的垂直行业。
比如说 数据开发、数据模型、数据产品、数据分析师、数据运营、数据架构师这些更加专业领域是需要不同的知识的。大家可以去itongji.cn、百度等去搜索数据架构等文章能得到更加专业的答案。
一家公司建设数据平台是跟公司目前数据量、未来数据增长、技术选型、解决业务问题有很直接的关系的。所以在解决业务目标不太明确下，难以确定方案，人员配置上选用不同技术方案去搭建的配置是不太一样的，比如说传统平台来讲，运维、DBA、数据开发、数据模型、报表人员。
从互联网数据平台基本配置上，数据架构师、运维、底层大数据技术、数据开发兼模型、数据分析师、数据产品等都有可能需要的。
同行产品间度多种数据来源，那就看数据源种类，文本的、日志类、视频影像、爬虫类的、结构化、非结构化的数据源有不同的解决技术。

10. Standalone****模式下，Model.save(Path)怎么一直提示错误，是不是配置Spark时需要将Hdfs的配置引进来啊～？表示初学Spark
松子老师：这个问题有点超出我的能力范围了，所以对不起回答不了。
我本身不是做技术的。仅知道一点技术名词。

11. ****传统银行业数据模型什么时候会走向互联网模式呢？目前在传统银行数据平台的产品是不是特别多？
松子老师：这个问题我自己就不知道了，或许是传统银行在数据平台的实施上全面用互联网的Nosql大数据处理技术吧。至于说传统银行数据模型用现有的互联网数据模型理念去设计是否完全可行，数据一致性、高准确性通过更多的方案去保证。
首先我需要确定一下这个产品是否指的“数据产品”。
如果是数据产品，那其实传统行业数据平台本身就有一些数据产品了，而且也都是存在的。数据产品自从数据仓库出现以来它其实一直都存在的，只不过是近几年因为互联网特别爱制造“流行词“把数据产品这个词给放大了。互联网是得数据产品从早期的重量级逐渐进化为轻量级、从大而全的解决方案逐渐演进为因小而美。
我来给出几组例子，大约从2004年到现在的几组数据产品的例子
(点击放大图像)
[图片上传中。。。（25）]
(点击放大图像)
[图片上传中。。。（26）]
(点击放大图像)
[图片上传中。。。（27）]
(点击放大图像)
[图片上传中。。。（28）]
(点击放大图像)
[图片上传中。。。（29）]
(点击放大图像)
[图片上传中。。。（30）]
(点击放大图像)
[图片上传中。。。（31）]
你可以分类一下，这些数据产品的特点是什么？满足了用户怎么样的痛点需求？满足了用户怎么样的使用流程。

12 ****。传统行业的数据仓库从业人员，如果转到互联网行业，应该学习哪些技能？
松子老师：这个问题你可以百度搜索“大数据职位所需要的数据技能” http://blog.jobbole.com/99039/ 这篇文章。自己觉得人家回答的比我专业。//
我所经历的大数据平台发展史（四）：互联网时代 • 下篇
http://www.infoq.com/cn/articles/the-development-history-of-big-data-platform-internet-age

编者按：本文是松子（李博源）的大数据平台发展史系列文章的第四篇（共四篇），本系列以独特的视角，比较了非互联网和互联网两个时代以及传统行业与非传统行业。是对数据平台发展的一个回忆，对非互联网、互联网，从数据平台的用户角度、数据架构演进、模型等进行了阐述。
在互联网时代被弱化的数据模型
谈起数据模型就不得不提传统数据平台架构发展，我相信很多朋友都晓得传统数据平台的知识，其架构演进简单一句话说“基本上可以分为五个时代、四种架构”，但是到了互联网时代因为大数据快速膨胀与数据源类型多样化特点，从高阶架构上来看大约从传统数据平台第三代架构开始延续的，但是往后的发展从我自己的这一点知识上很难对互联网的数据平台做架构归类。
但是从数据平台建设与服务角色上还是有章可循的。就像上篇分享到那样，类比两个行业，互联网企业中员工年龄比非互联网企业的要年轻、受教育程度、对计算机的焦虑程度明显比传统企业要低、还偶遇其它各方面的缘故，导致了数据平台所面对用户群体与非互联网数据平台有所差异化。
传统行业与互联网行业数据平台用户特性我只选择前文章的两张图来表示
(点击放大图像)

2****，互联网财经类公司，业务包括财经网站、基金、股票、金融等，这类公司的数据仓库模型应该如何设计？特点和注意事项是什么？案例介绍？十分感谢。
松子老师：我自己经历过的是互联网金融以及移动互联网行。对这两块比较清楚。互联网金融起因为业务的特性是类金融类的，与银行有些地方是相似的。
比如大约在2012年前支付宝业务特点涉及类金融交易：充值、提现、账务管理类电子商务：购物交易过程变更、实际交易（对B机票、对C水电等） 非纯电子商务；纯金融；个人信用，理财类。系统之间依赖度较为复杂，垂直依赖（业务与核心）跨层依赖（跨过交易到账务）。
在设计方法上还是采用维度模型设计方式。底层是数据驱动为向导，结合业务需求驱动，通过简单、退化维度的方式拉宽表结构。
底层采用松耦合设计。主题之间是松耦合方式。至体内采用细粒度退化维度。
在主题域上的的设计基本参考了OMG的数据仓库元数据设计CWM模型、IBM 的fsdm金融模型、还有新巴塞尔资本协议（Basel II Capital Accord）需提供数据规范去的设计。所以数据模型是五层的结构。
在细节处理上，增量ODS层数据和前一天DWD相关表进行 merge处理。
在一些层次上，基本聚合、汇总增加派生事实表（简单一句话退化为度打宽）。然后按照业务主体合并信息等。
比如开始给大家分享的那张图：
(点击放大图像)
[图片上传中。。。（13）]
在维度模型退化处理时，要注意最细粒度数据保留、不同层次的数据支持数据重新生成。同时一定要注意互联网数据业务特性，数据质量是大心病。有可能一天某些表会重跑很多遍。在互联网的做法有可能一天会重跑好几次数据。
所以曲线救国的病态的产生出了一种通过元数据驱动的数据模型。
这种元数据驱动工具型数据产品我会在未来数据产品系列中做详细介绍的。

3****，互联网企业大数据平台的发展历程是怎样的？
松子老师：这个我相信应该是传统数据平台朋友提到的。传统行业数据平台架构演进我总结简单一句话说“基本上可以分为五个时代、四种架构”，但是到了互联网时代因为大数据快速膨胀与类型暴增的特点，从高阶架构上来看大约从第三代架构开始延续的，但是从我自己的知识上很难对互联网的数据平台做架构归类。所以我从互联网数据平台的建设、用户使用变化特征去做了总结。话说互联网数据平台基本是从传统数据平台的第三代开始的。那是我们总结下来用户特点：
(点击放大图像)

4****，有没有好的元数据管理工具推荐？主要偏向数据字典与血统等。
松子老师：元数据以前目前没有太多的好管理工具。以前是在支付宝是我自己设计的一个数据产品。第一版自己用Delphi 开发的。
（图很多：）
(点击放大图像)
[图片上传中。。。（15）]
(点击放大图像)
[图片上传中。。。（16）]
(点击放大图像)
[图片上传中。。。（17）]
(点击放大图像)
[图片上传中。。。（18）]
(点击放大图像)
[图片上传中。。。（19）]
以前被逼的自己写了一个，通过解析，实现了字段级的血缘影响分析。这只是第二步，后来又把running 信息给搞了进来。还有分享时提到的模型信息、整个闭环的分类信息。
这是一个分支：
(点击放大图像)
[图片上传中。。。（20）]
但是我们实现了字段级解析准确率达到了94%左右。有细微的错误就人工revew一遍。

5. ****松子老师，数据管控的数据质量部分是怎么处理的呢？

松子老师： 数据管控， 这方面我不太懂的，但是数据质量，这玩意可大可小的。比如像在分享时说过的，在移动互联网的数据质量处理方式可以由原有的ETL(ELT)阶段前置到业务系统去解决，比如移动互联网的App log 日志，日志标准化后事件模型”存储来解决。那非app 日志类如何解决呢比如Payment、order等，数据质量比较考虑的可以只做到监控。
我来分享个图。刚好是我设计数据质量产品时搞的，理清数据质量的问题：
(点击放大图像)
[图片上传中。。。（21）]
(点击放大图像)
[图片上传中。。。（22）]
(点击放大图像)
[图片上传中。。。（23）]
只要数据进入仓库与应用体系，处理起来就比较困难了，所以在数据平台阶段最好是通过监控、前置去解决。目前数据质量确实难以100%由事后搞到事前去处理。我对数据平台与数据产品的建设就是实用为主。怎么实用怎么来。我是比较现实的实用主义者。

6. ****能否分享一些数据产品种类及实例：

松子老师：在前边五个问题、以及文章中又都涉及数据产品实力的一些分享。
提到数据产品的分类我就想把这个图发出来。
自己认为没有特别明确的划分线，但是数据产品从三个维度划分，面向业务、功能、用户可以划分出三个方向的数据产品来。
比如面向数据平台工具型数据产品:调度、数据质量、元数据、数据建模、ETL工具、资源管控等等。
面向用户功能有报表型、多维型数据产品、定制化数据产品、挖掘型数据产品。
面向内部用户、外部个人用户、外部企业用户又有不同的分类。
根据业务又可以划分很多，面向C类用户、面向B类商户、金融风险等等
从近几年的数据产品来看，是更好的辅助用户的做决策的一种产品形态，在用户的决策与行动中充当信息的分析者与价值使用者；数据产品有个自己的共性：由解决的一个实际的业务问题出发，分解出的分析指标，分析模型，分析流程组成，再考虑到功能易用性，未来功能扩展，考虑用户对数据易用性（比如数据的呈现层次，不可能一次把所有数据的呈现给用户）来组成的。
(点击放大图像)
[图片上传中。。。（24）]

7. ****银行业从传统的ods到edw再到大数据平台这块过渡，模型如何建设？平台优势如何发挥？
松子老师：这个问题还是有些难度的，自己回答的可能有些片面。首先我们清醒的清楚“大数据”是什么？再次不同的场景可以采用不同的技术去解决。
“大数据”，拆开来看大、数据，大可以是指的数据源结构简单（ps 如果了解过当代对大数据的定义就知道四个特性）但是量级够大，比如清算、结算、对公、对私、中间业务等等每一个拿出来都是几十T，但是这些业务数据都是保存传统的关系型数据库中如DB2、Oracle、MSsql中，因为在数据平台存储是通过准3范式等等结构去保存。
在存储时可能要比较复杂的SQL 多表关联的，感觉目前传统的数据平台技技术在处理数据很让人着急。想通过互联网的大数据平台hadoop、Hive 、Spark 等技术的去演进解决。（最早时我的是中信银行、光大银行在2011年左右开始考虑Hadoop技术，后来不知道如何了）。
但是互联网的数据平台技术大都是NOSQL模式，牺牲掉了传统数据库的数据一致性、完整性、唯一索引等等，只干性能的事情（当然除了性能、可扩展性也是的）.
原有在传统数据平台模型设计上可以考虑的一些通过主外键、唯一索引做一些业务约束的方法，在nosql上统统的都没有了，这些约束必须放到数据加工阶段去想办法做检查。传统数据平台如果在Insert、update数据时违反了业务约束可以做报警或异常处理，但是在Nosql的平台上要求ETL 去手动遵守这些规则检查。但是有时ETL开发根本不遵守的，仅仅是两个表关联起来，也可能忘记按照某一个业务唯一索引做去重操作。简单说，原有靠关系型数据库本身机制去做检查一些规则变为人工，变为人工就会犯错。
从关系型数据平台往Nosql数据平台迁移时，尤其是对传统行业的业务来说，在模型设计阶段、以及给出的ETL口径要考虑更多的业务规则检查，其次要考虑更多的维度退化、多冗余、表打宽处理。简单说就是发挥数据平台的计算能力同时要更加的各方面确保数据准确安全可靠。
数据模型ODS 到EDW 这块的设计方法百度上留下的文档资料太多的了，请这位提问的老师百度吧。

**8****．大数据****仓库****中如何做快速****维处****理？互****联****网数****仓****数据****质****量不好如何****对****数，如何确立****标****准的****对****数口径？******
松子老师：快速变化维度可以转化为缓慢变化为来出来，我自己理解的快速维度是相对于缓慢维度参照的来说的。
举个例子，年龄-转化为天数可以是定义快速变化维度，因为每天都在变化。我们可以把年龄退化为区间维度来处理，还可以把年龄做成动态维度来处理，事实表中保存的就是实际的出生年月并打宽表，年龄(天)通过计算方式来处理。还有种方法通过对代理键的方式来处理。
我目前也不知道对数据的标准是什么。但是我自己用的方法，把一个指标的整个数据流向切出几个关键点通过SQL去实现对数，看波动振幅，波动曲线。同时还会比如发不通的版本的小流量测试的方式来做数据校对。

9****． 做为数据行业从业者，需要掌握哪些重要的基础知识？另：如果从零开始建立一个数据平台，需要哪些资源配置（人，财，物，技术）？大致总投资额度多少？如果同行产品间多种来源的数据，可有成熟的解决方案？谢谢…

松子老师：这个问题太宏观了。作为数据行业从业者，需要掌握哪些重要基础知识，这个是要看从事具体数据域的垂直行业。
比如说 数据开发、数据模型、数据产品、数据分析师、数据运营、数据架构师这些更加专业领域是需要不同的知识的。大家可以去itongji.cn、百度等去搜索数据架构等文章能得到更加专业的答案。
一家公司建设数据平台是跟公司目前数据量、未来数据增长、技术选型、解决业务问题有很直接的关系的。所以在解决业务目标不太明确下，难以确定方案，人员配置上选用不同技术方案去搭建的配置是不太一样的，比如说传统平台来讲，运维、DBA、数据开发、数据模型、报表人员。
从互联网数据平台基本配置上，数据架构师、运维、底层大数据技术、数据开发兼模型、数据分析师、数据产品等都有可能需要的。
同行产品间度多种数据来源，那就看数据源种类，文本的、日志类、视频影像、爬虫类的、结构化、非结构化的数据源有不同的解决技术。

10. Standalone****模式下，Model.save(Path)怎么一直提示错误，是不是配置Spark时需要将Hdfs的配置引进来啊～？表示初学Spark
松子老师：这个问题有点超出我的能力范围了，所以对不起回答不了。
我本身不是做技术的。仅知道一点技术名词。

11. ****传统银行业数据模型什么时候会走向互联网模式呢？目前在传统银行数据平台的产品是不是特别多？
松子老师：这个问题我自己就不知道了，或许是传统银行在数据平台的实施上全面用互联网的Nosql大数据处理技术吧。至于说传统银行数据模型用现有的互联网数据模型理念去设计是否完全可行，数据一致性、高准确性通过更多的方案去保证。
首先我需要确定一下这个产品是否指的“数据产品”。
如果是数据产品，那其实传统行业数据平台本身就有一些数据产品了，而且也都是存在的。数据产品自从数据仓库出现以来它其实一直都存在的，只不过是近几年因为互联网特别爱制造“流行词“把数据产品这个词给放大了。互联网是得数据产品从早期的重量级逐渐进化为轻量级、从大而全的解决方案逐渐演进为因小而美。
我来给出几组例子，大约从2004年到现在的几组数据产品的例子
(点击放大图像)
[图片上传中。。。（25）]
(点击放大图像)
[图片上传中。。。（26）]
(点击放大图像)
[图片上传中。。。（27）]
(点击放大图像)
[图片上传中。。。（28）]
(点击放大图像)
[图片上传中。。。（29）]
(点击放大图像)
[图片上传中。。。（30）]
(点击放大图像)
[图片上传中。。。（31）]
你可以分类一下，这些数据产品的特点是什么？满足了用户怎么样的痛点需求？满足了用户怎么样的使用流程。

12 ****。传统行业的数据仓库从业人员，如果转到互联网行业，应该学习哪些技能？
松子老师：这个问题你可以百度搜索“大数据职位所需要的数据技能” http://blog.jobbole.com/99039/ 这篇文章。自己觉得人家回答的比我专业。//
我所经历的大数据平台发展史（四）：互联网时代 • 下篇
http://www.infoq.com/cn/articles/the-development-history-of-big-data-platform-internet-age

编者按：本文是松子（李博源）的大数据平台发展史系列文章的第四篇（共四篇），本系列以独特的视角，比较了非互联网和互联网两个时代以及传统行业与非传统行业。是对数据平台发展的一个回忆，对非互联网、互联网，从数据平台的用户角度、数据架构演进、模型等进行了阐述。
在互联网时代被弱化的数据模型
谈起数据模型就不得不提传统数据平台架构发展，我相信很多朋友都晓得传统数据平台的知识，其架构演进简单一句话说“基本上可以分为五个时代、四种架构”，但是到了互联网时代因为大数据快速膨胀与数据源类型多样化特点，从高阶架构上来看大约从传统数据平台第三代架构开始延续的，但是往后的发展从我自己的这一点知识上很难对互联网的数据平台做架构归类。
但是从数据平台建设与服务角色上还是有章可循的。就像上篇分享到那样，类比两个行业，互联网企业中员工年龄比非互联网企业的要年轻、受教育程度、对计算机的焦虑程度明显比传统企业要低、还偶遇其它各方面的缘故，导致了数据平台所面对用户群体与非互联网数据平台有所差异化。
传统行业与互联网行业数据平台用户特性我只选择前文章的两张图来表示
(点击放大图像)

2****，互联网财经类公司，业务包括财经网站、基金、股票、金融等，这类公司的数据仓库模型应该如何设计？特点和注意事项是什么？案例介绍？十分感谢。
松子老师：我自己经历过的是互联网金融以及移动互联网行。对这两块比较清楚。互联网金融起因为业务的特性是类金融类的，与银行有些地方是相似的。
比如大约在2012年前支付宝业务特点涉及类金融交易：充值、提现、账务管理类电子商务：购物交易过程变更、实际交易（对B机票、对C水电等） 非纯电子商务；纯金融；个人信用，理财类。系统之间依赖度较为复杂，垂直依赖（业务与核心）跨层依赖（跨过交易到账务）。
在设计方法上还是采用维度模型设计方式。底层是数据驱动为向导，结合业务需求驱动，通过简单、退化维度的方式拉宽表结构。
底层采用松耦合设计。主题之间是松耦合方式。至体内采用细粒度退化维度。
在主题域上的的设计基本参考了OMG的数据仓库元数据设计CWM模型、IBM 的fsdm金融模型、还有新巴塞尔资本协议（Basel II Capital Accord）需提供数据规范去的设计。所以数据模型是五层的结构。
在细节处理上，增量ODS层数据和前一天DWD相关表进行 merge处理。
在一些层次上，基本聚合、汇总增加派生事实表（简单一句话退化为度打宽）。然后按照业务主体合并信息等。
比如开始给大家分享的那张图：
(点击放大图像)
[图片上传中。。。（13）]
在维度模型退化处理时，要注意最细粒度数据保留、不同层次的数据支持数据重新生成。同时一定要注意互联网数据业务特性，数据质量是大心病。有可能一天某些表会重跑很多遍。在互联网的做法有可能一天会重跑好几次数据。
所以曲线救国的病态的产生出了一种通过元数据驱动的数据模型。
这种元数据驱动工具型数据产品我会在未来数据产品系列中做详细介绍的。

3****，互联网企业大数据平台的发展历程是怎样的？
松子老师：这个我相信应该是传统数据平台朋友提到的。传统行业数据平台架构演进我总结简单一句话说“基本上可以分为五个时代、四种架构”，但是到了互联网时代因为大数据快速膨胀与类型暴增的特点，从高阶架构上来看大约从第三代架构开始延续的，但是从我自己的知识上很难对互联网的数据平台做架构归类。所以我从互联网数据平台的建设、用户使用变化特征去做了总结。话说互联网数据平台基本是从传统数据平台的第三代开始的。那是我们总结下来用户特点：
(点击放大图像)
[图片上传中。。。（14）]
更加详细的每一代数据平台建设、服务角色特点您可以看我这个系列文章的第三篇，http://www.infoq.com/cn/articles/the-development-history-of-big-data-platform-paet02

4****，有没有好的元数据管理工具推荐？主要偏向数据字典与血统等。
松子老师：元数据以前目前没有太多的好管理工具。以前是在支付宝是我自己设计的一个数据产品。第一版自己用Delphi 开发的。
（图很多：）
(点击放大图像)
[图片上传中。。。（15）]
(点击放大图像)
[图片上传中。。。（16）]
(点击放大图像)
[图片上传中。。。（17）]
(点击放大图像)
[图片上传中。。。（18）]
(点击放大图像)
[图片上传中。。。（19）]
以前被逼的自己写了一个，通过解析，实现了字段级的血缘影响分析。这只是第二步，后来又把running 信息给搞了进来。还有分享时提到的模型信息、整个闭环的分类信息。
这是一个分支：
(点击放大图像)
[图片上传中。。。（20）]
但是我们实现了字段级解析准确率达到了94%左右。有细微的错误就人工revew一遍。

5. ****松子老师，数据管控的数据质量部分是怎么处理的呢？

松子老师： 数据管控， 这方面我不太懂的，但是数据质量，这玩意可大可小的。比如像在分享时说过的，在移动互联网的数据质量处理方式可以由原有的ETL(ELT)阶段前置到业务系统去解决，比如移动互联网的App log 日志，日志标准化后事件模型”存储来解决。那非app 日志类如何解决呢比如Payment、order等，数据质量比较考虑的可以只做到监控。
我来分享个图。刚好是我设计数据质量产品时搞的，理清数据质量的问题：
(点击放大图像)
[图片上传中。。。（21）]
(点击放大图像)
[图片上传中。。。（22）]
(点击放大图像)

6. ****能否分享一些数据产品种类及实例：

松子老师：在前边五个问题、以及文章中又都涉及数据产品实力的一些分享。
提到数据产品的分类我就想把这个图发出来。
自己认为没有特别明确的划分线，但是数据产品从三个维度划分，面向业务、功能、用户可以划分出三个方向的数据产品来。
比如面向数据平台工具型数据产品:调度、数据质量、元数据、数据建模、ETL工具、资源管控等等。
面向用户功能有报表型、多维型数据产品、定制化数据产品、挖掘型数据产品。
面向内部用户、外部个人用户、外部企业用户又有不同的分类。
根据业务又可以划分很多，面向C类用户、面向B类商户、金融风险等等
从近几年的数据产品来看，是更好的辅助用户的做决策的一种产品形态，在用户的决策与行动中充当信息的分析者与价值使用者；数据产品有个自己的共性：由解决的一个实际的业务问题出发，分解出的分析指标，分析模型，分析流程组成，再考虑到功能易用性，未来功能扩展，考虑用户对数据易用性（比如数据的呈现层次，不可能一次把所有数据的呈现给用户）来组成的。
(点击放大图像)
[图片上传中。。。（24）]

7. ****银行业从传统的ods到edw再到大数据平台这块过渡，模型如何建设？平台优势如何发挥？
松子老师：这个问题还是有些难度的，自己回答的可能有些片面。首先我们清醒的清楚“大数据”是什么？再次不同的场景可以采用不同的技术去解决。
“大数据”，拆开来看大、数据，大可以是指的数据源结构简单（ps 如果了解过当代对大数据的定义就知道四个特性）但是量级够大，比如清算、结算、对公、对私、中间业务等等每一个拿出来都是几十T，但是这些业务数据都是保存传统的关系型数据库中如DB2、Oracle、MSsql中，因为在数据平台存储是通过准3范式等等结构去保存。
在存储时可能要比较复杂的SQL 多表关联的，感觉目前传统的数据平台技技术在处理数据很让人着急。想通过互联网的大数据平台hadoop、Hive 、Spark 等技术的去演进解决。（最早时我的是中信银行、光大银行在2011年左右开始考虑Hadoop技术，后来不知道如何了）。
但是互联网的数据平台技术大都是NOSQL模式，牺牲掉了传统数据库的数据一致性、完整性、唯一索引等等，只干性能的事情（当然除了性能、可扩展性也是的）.
原有在传统数据平台模型设计上可以考虑的一些通过主外键、唯一索引做一些业务约束的方法，在nosql上统统的都没有了，这些约束必须放到数据加工阶段去想办法做检查。传统数据平台如果在Insert、update数据时违反了业务约束可以做报警或异常处理，但是在Nosql的平台上要求ETL 去手动遵守这些规则检查。但是有时ETL开发根本不遵守的，仅仅是两个表关联起来，也可能忘记按照某一个业务唯一索引做去重操作。简单说，原有靠关系型数据库本身机制去做检查一些规则变为人工，变为人工就会犯错。
从关系型数据平台往Nosql数据平台迁移时，尤其是对传统行业的业务来说，在模型设计阶段、以及给出的ETL口径要考虑更多的业务规则检查，其次要考虑更多的维度退化、多冗余、表打宽处理。简单说就是发挥数据平台的计算能力同时要更加的各方面确保数据准确安全可靠。
数据模型ODS 到EDW 这块的设计方法百度上留下的文档资料太多的了，请这位提问的老师百度吧。

**8****．大数据****仓库****中如何做快速****维处****理？互****联****网数****仓****数据****质****量不好如何****对****数，如何确立****标****准的****对****数口径？******
松子老师：快速变化维度可以转化为缓慢变化为来出来，我自己理解的快速维度是相对于缓慢维度参照的来说的。
举个例子，年龄-转化为天数可以是定义快速变化维度，因为每天都在变化。我们可以把年龄退化为区间维度来处理，还可以把年龄做成动态维度来处理，事实表中保存的就是实际的出生年月并打宽表，年龄(天)通过计算方式来处理。还有种方法通过对代理键的方式来处理。
我目前也不知道对数据的标准是什么。但是我自己用的方法，把一个指标的整个数据流向切出几个关键点通过SQL去实现对数，看波动振幅，波动曲线。同时还会比如发不通的版本的小流量测试的方式来做数据校对。

9****． 做为数据行业从业者，需要掌握哪些重要的基础知识？另：如果从零开始建立一个数据平台，需要哪些资源配置（人，财，物，技术）？大致总投资额度多少？如果同行产品间多种来源的数据，可有成熟的解决方案？谢谢…

松子老师：这个问题太宏观了。作为数据行业从业者，需要掌握哪些重要基础知识，这个是要看从事具体数据域的垂直行业。
比如说 数据开发、数据模型、数据产品、数据分析师、数据运营、数据架构师这些更加专业领域是需要不同的知识的。大家可以去itongji.cn、百度等去搜索数据架构等文章能得到更加专业的答案。
一家公司建设数据平台是跟公司目前数据量、未来数据增长、技术选型、解决业务问题有很直接的关系的。所以在解决业务目标不太明确下，难以确定方案，人员配置上选用不同技术方案去搭建的配置是不太一样的，比如说传统平台来讲，运维、DBA、数据开发、数据模型、报表人员。
从互联网数据平台基本配置上，数据架构师、运维、底层大数据技术、数据开发兼模型、数据分析师、数据产品等都有可能需要的。
同行产品间度多种数据来源，那就看数据源种类，文本的、日志类、视频影像、爬虫类的、结构化、非结构化的数据源有不同的解决技术。

10. Standalone****模式下，Model.save(Path)怎么一直提示错误，是不是配置Spark时需要将Hdfs的配置引进来啊～？表示初学Spark
松子老师：这个问题有点超出我的能力范围了，所以对不起回答不了。
我本身不是做技术的。仅知道一点技术名词。

11. ****传统银行业数据模型什么时候会走向互联网模式呢？目前在传统银行数据平台的产品是不是特别多？
松子老师：这个问题我自己就不知道了，或许是传统银行在数据平台的实施上全面用互联网的Nosql大数据处理技术吧。至于说传统银行数据模型用现有的互联网数据模型理念去设计是否完全可行，数据一致性、高准确性通过更多的方案去保证。
首先我需要确定一下这个产品是否指的“数据产品”。
如果是数据产品，那其实传统行业数据平台本身就有一些数据产品了，而且也都是存在的。数据产品自从数据仓库出现以来它其实一直都存在的，只不过是近几年因为互联网特别爱制造“流行词“把数据产品这个词给放大了。互联网是得数据产品从早期的重量级逐渐进化为轻量级、从大而全的解决方案逐渐演进为因小而美。
我来给出几组例子，大约从2004年到现在的几组数据产品的例子
(点击放大图像)
[图片上传中。。。（25）]
(点击放大图像)
[图片上传中。。。（26）]
(点击放大图像)
[图片上传中。。。（27）]
(点击放大图像)
[图片上传中。。。（28）]
(点击放大图像)
[图片上传中。。。（29）]
(点击放大图像)
[图片上传中。。。（30）]
(点击放大图像)
[图片上传中。。。（31）]
你可以分类一下，这些数据产品的特点是什么？满足了用户怎么样的痛点需求？满足了用户怎么样的使用流程。

12 ****。传统行业的数据仓库从业人员，如果转到互联网行业，应该学习哪些技能？
松子老师：这个问题你可以百度搜索“大数据职位所需要的数据技能” http://blog.jobbole.com/99039/ 这篇文章。自己觉得人家回答的比我专业。//
我所经历的大数据平台发展史（四）：互联网时代 • 下篇
http://www.infoq.com/cn/articles/the-development-history-of-big-data-platform-internet-age

编者按：本文是松子（李博源）的大数据平台发展史系列文章的第四篇（共四篇），本系列以独特的视角，比较了非互联网和互联网两个时代以及传统行业与非传统行业。是对数据平台发展的一个回忆，对非互联网、互联网，从数据平台的用户角度、数据架构演进、模型等进行了阐述。
在互联网时代被弱化的数据模型
谈起数据模型就不得不提传统数据平台架构发展，我相信很多朋友都晓得传统数据平台的知识，其架构演进简单一句话说“基本上可以分为五个时代、四种架构”，但是到了互联网时代因为大数据快速膨胀与数据源类型多样化特点，从高阶架构上来看大约从传统数据平台第三代架构开始延续的，但是往后的发展从我自己的这一点知识上很难对互联网的数据平台做架构归类。
但是从数据平台建设与服务角色上还是有章可循的。就像上篇分享到那样，类比两个行业，互联网企业中员工年龄比非互联网企业的要年轻、受教育程度、对计算机的焦虑程度明显比传统企业要低、还偶遇其它各方面的缘故，导致了数据平台所面对用户群体与非互联网数据平台有所差异化。
传统行业与互联网行业数据平台用户特性我只选择前文章的两张图来表示
(点击放大图像)

2****，互联网财经类公司，业务包括财经网站、基金、股票、金融等，这类公司的数据仓库模型应该如何设计？特点和注意事项是什么？案例介绍？十分感谢。
松子老师：我自己经历过的是互联网金融以及移动互联网行。对这两块比较清楚。互联网金融起因为业务的特性是类金融类的，与银行有些地方是相似的。
比如大约在2012年前支付宝业务特点涉及类金融交易：充值、提现、账务管理类电子商务：购物交易过程变更、实际交易（对B机票、对C水电等） 非纯电子商务；纯金融；个人信用，理财类。系统之间依赖度较为复杂，垂直依赖（业务与核心）跨层依赖（跨过交易到账务）。
在设计方法上还是采用维度模型设计方式。底层是数据驱动为向导，结合业务需求驱动，通过简单、退化维度的方式拉宽表结构。
底层采用松耦合设计。主题之间是松耦合方式。至体内采用细粒度退化维度。
在主题域上的的设计基本参考了OMG的数据仓库元数据设计CWM模型、IBM 的fsdm金融模型、还有新巴塞尔资本协议（Basel II Capital Accord）需提供数据规范去的设计。所以数据模型是五层的结构。
在细节处理上，增量ODS层数据和前一天DWD相关表进行 merge处理。
在一些层次上，基本聚合、汇总增加派生事实表（简单一句话退化为度打宽）。然后按照业务主体合并信息等。
比如开始给大家分享的那张图：
(点击放大图像)
[图片上传中。。。（13）]
在维度模型退化处理时，要注意最细粒度数据保留、不同层次的数据支持数据重新生成。同时一定要注意互联网数据业务特性，数据质量是大心病。有可能一天某些表会重跑很多遍。在互联网的做法有可能一天会重跑好几次数据。
所以曲线救国的病态的产生出了一种通过元数据驱动的数据模型。
这种元数据驱动工具型数据产品我会在未来数据产品系列中做详细介绍的。

3****，互联网企业大数据平台的发展历程是怎样的？
松子老师：这个我相信应该是传统数据平台朋友提到的。传统行业数据平台架构演进我总结简单一句话说“基本上可以分为五个时代、四种架构”，但是到了互联网时代因为大数据快速膨胀与类型暴增的特点，从高阶架构上来看大约从第三代架构开始延续的，但是从我自己的知识上很难对互联网的数据平台做架构归类。所以我从互联网数据平台的建设、用户使用变化特征去做了总结。话说互联网数据平台基本是从传统数据平台的第三代开始的。那是我们总结下来用户特点：
(点击放大图像)
[图片上传中。。。（14）]
更加详细的每一代数据平台建设、服务角色特点您可以看我这个系列文章的第三篇，http://www.infoq.com/cn/articles/the-development-history-of-big-data-platform-paet02

4****，有没有好的元数据管理工具推荐？主要偏向数据字典与血统等。
松子老师：元数据以前目前没有太多的好管理工具。以前是在支付宝是我自己设计的一个数据产品。第一版自己用Delphi 开发的。
（图很多：）
(点击放大图像)
[图片上传中。。。（15）]
(点击放大图像)
[图片上传中。。。（16）]
(点击放大图像)
[图片上传中。。。（17）]
(点击放大图像)
[图片上传中。。。（18）]
(点击放大图像)
[图片上传中。。。（19）]
以前被逼的自己写了一个，通过解析，实现了字段级的血缘影响分析。这只是第二步，后来又把running 信息给搞了进来。还有分享时提到的模型信息、整个闭环的分类信息。
这是一个分支：
(点击放大图像)

5. ****松子老师，数据管控的数据质量部分是怎么处理的呢？

松子老师： 数据管控， 这方面我不太懂的，但是数据质量，这玩意可大可小的。比如像在分享时说过的，在移动互联网的数据质量处理方式可以由原有的ETL(ELT)阶段前置到业务系统去解决，比如移动互联网的App log 日志，日志标准化后事件模型”存储来解决。那非app 日志类如何解决呢比如Payment、order等，数据质量比较考虑的可以只做到监控。
我来分享个图。刚好是我设计数据质量产品时搞的，理清数据质量的问题：
(点击放大图像)
[图片上传中。。。（21）]
(点击放大图像)
[图片上传中。。。（22）]
(点击放大图像)
[图片上传中。。。（23）]
只要数据进入仓库与应用体系，处理起来就比较困难了，所以在数据平台阶段最好是通过监控、前置去解决。目前数据质量确实难以100%由事后搞到事前去处理。我对数据平台与数据产品的建设就是实用为主。怎么实用怎么来。我是比较现实的实用主义者。

6. ****能否分享一些数据产品种类及实例：

松子老师：在前边五个问题、以及文章中又都涉及数据产品实力的一些分享。
提到数据产品的分类我就想把这个图发出来。
自己认为没有特别明确的划分线，但是数据产品从三个维度划分，面向业务、功能、用户可以划分出三个方向的数据产品来。
比如面向数据平台工具型数据产品:调度、数据质量、元数据、数据建模、ETL工具、资源管控等等。
面向用户功能有报表型、多维型数据产品、定制化数据产品、挖掘型数据产品。
面向内部用户、外部个人用户、外部企业用户又有不同的分类。
根据业务又可以划分很多，面向C类用户、面向B类商户、金融风险等等
从近几年的数据产品来看，是更好的辅助用户的做决策的一种产品形态，在用户的决策与行动中充当信息的分析者与价值使用者；数据产品有个自己的共性：由解决的一个实际的业务问题出发，分解出的分析指标，分析模型，分析流程组成，再考虑到功能易用性，未来功能扩展，考虑用户对数据易用性（比如数据的呈现层次，不可能一次把所有数据的呈现给用户）来组成的。
(点击放大图像)
[图片上传中。。。（24）]

7. ****银行业从传统的ods到edw再到大数据平台这块过渡，模型如何建设？平台优势如何发挥？
松子老师：这个问题还是有些难度的，自己回答的可能有些片面。首先我们清醒的清楚“大数据”是什么？再次不同的场景可以采用不同的技术去解决。
“大数据”，拆开来看大、数据，大可以是指的数据源结构简单（ps 如果了解过当代对大数据的定义就知道四个特性）但是量级够大，比如清算、结算、对公、对私、中间业务等等每一个拿出来都是几十T，但是这些业务数据都是保存传统的关系型数据库中如DB2、Oracle、MSsql中，因为在数据平台存储是通过准3范式等等结构去保存。
在存储时可能要比较复杂的SQL 多表关联的，感觉目前传统的数据平台技技术在处理数据很让人着急。想通过互联网的大数据平台hadoop、Hive 、Spark 等技术的去演进解决。（最早时我的是中信银行、光大银行在2011年左右开始考虑Hadoop技术，后来不知道如何了）。
但是互联网的数据平台技术大都是NOSQL模式，牺牲掉了传统数据库的数据一致性、完整性、唯一索引等等，只干性能的事情（当然除了性能、可扩展性也是的）.
原有在传统数据平台模型设计上可以考虑的一些通过主外键、唯一索引做一些业务约束的方法，在nosql上统统的都没有了，这些约束必须放到数据加工阶段去想办法做检查。传统数据平台如果在Insert、update数据时违反了业务约束可以做报警或异常处理，但是在Nosql的平台上要求ETL 去手动遵守这些规则检查。但是有时ETL开发根本不遵守的，仅仅是两个表关联起来，也可能忘记按照某一个业务唯一索引做去重操作。简单说，原有靠关系型数据库本身机制去做检查一些规则变为人工，变为人工就会犯错。
从关系型数据平台往Nosql数据平台迁移时，尤其是对传统行业的业务来说，在模型设计阶段、以及给出的ETL口径要考虑更多的业务规则检查，其次要考虑更多的维度退化、多冗余、表打宽处理。简单说就是发挥数据平台的计算能力同时要更加的各方面确保数据准确安全可靠。
数据模型ODS 到EDW 这块的设计方法百度上留下的文档资料太多的了，请这位提问的老师百度吧。

**8****．大数据****仓库****中如何做快速****维处****理？互****联****网数****仓****数据****质****量不好如何****对****数，如何确立****标****准的****对****数口径？******
松子老师：快速变化维度可以转化为缓慢变化为来出来，我自己理解的快速维度是相对于缓慢维度参照的来说的。
举个例子，年龄-转化为天数可以是定义快速变化维度，因为每天都在变化。我们可以把年龄退化为区间维度来处理，还可以把年龄做成动态维度来处理，事实表中保存的就是实际的出生年月并打宽表，年龄(天)通过计算方式来处理。还有种方法通过对代理键的方式来处理。
我目前也不知道对数据的标准是什么。但是我自己用的方法，把一个指标的整个数据流向切出几个关键点通过SQL去实现对数，看波动振幅，波动曲线。同时还会比如发不通的版本的小流量测试的方式来做数据校对。

9****． 做为数据行业从业者，需要掌握哪些重要的基础知识？另：如果从零开始建立一个数据平台，需要哪些资源配置（人，财，物，技术）？大致总投资额度多少？如果同行产品间多种来源的数据，可有成熟的解决方案？谢谢…

松子老师：这个问题太宏观了。作为数据行业从业者，需要掌握哪些重要基础知识，这个是要看从事具体数据域的垂直行业。
比如说 数据开发、数据模型、数据产品、数据分析师、数据运营、数据架构师这些更加专业领域是需要不同的知识的。大家可以去itongji.cn、百度等去搜索数据架构等文章能得到更加专业的答案。
一家公司建设数据平台是跟公司目前数据量、未来数据增长、技术选型、解决业务问题有很直接的关系的。所以在解决业务目标不太明确下，难以确定方案，人员配置上选用不同技术方案去搭建的配置是不太一样的，比如说传统平台来讲，运维、DBA、数据开发、数据模型、报表人员。
从互联网数据平台基本配置上，数据架构师、运维、底层大数据技术、数据开发兼模型、数据分析师、数据产品等都有可能需要的。
同行产品间度多种数据来源，那就看数据源种类，文本的、日志类、视频影像、爬虫类的、结构化、非结构化的数据源有不同的解决技术。

10. Standalone****模式下，Model.save(Path)怎么一直提示错误，是不是配置Spark时需要将Hdfs的配置引进来啊～？表示初学Spark
松子老师：这个问题有点超出我的能力范围了，所以对不起回答不了。
我本身不是做技术的。仅知道一点技术名词。

11. ****传统银行业数据模型什么时候会走向互联网模式呢？目前在传统银行数据平台的产品是不是特别多？
松子老师：这个问题我自己就不知道了，或许是传统银行在数据平台的实施上全面用互联网的Nosql大数据处理技术吧。至于说传统银行数据模型用现有的互联网数据模型理念去设计是否完全可行，数据一致性、高准确性通过更多的方案去保证。
首先我需要确定一下这个产品是否指的“数据产品”。
如果是数据产品，那其实传统行业数据平台本身就有一些数据产品了，而且也都是存在的。数据产品自从数据仓库出现以来它其实一直都存在的，只不过是近几年因为互联网特别爱制造“流行词“把数据产品这个词给放大了。互联网是得数据产品从早期的重量级逐渐进化为轻量级、从大而全的解决方案逐渐演进为因小而美。
我来给出几组例子，大约从2004年到现在的几组数据产品的例子
(点击放大图像)
[图片上传中。。。（25）]
(点击放大图像)
[图片上传中。。。（26）]
(点击放大图像)
[图片上传中。。。（27）]
(点击放大图像)
[图片上传中。。。（28）]
(点击放大图像)
[图片上传中。。。（29）]
(点击放大图像)
[图片上传中。。。（30）]
(点击放大图像)
[图片上传中。。。（31）]
你可以分类一下，这些数据产品的特点是什么？满足了用户怎么样的痛点需求？满足了用户怎么样的使用流程。

12 ****。传统行业的数据仓库从业人员，如果转到互联网行业，应该学习哪些技能？
松子老师：这个问题你可以百度搜索“大数据职位所需要的数据技能” http://blog.jobbole.com/99039/ 这篇文章。自己觉得人家回答的比我专业。//
我所经历的大数据平台发展史（四）：互联网时代 • 下篇
http://www.infoq.com/cn/articles/the-development-history-of-big-data-platform-internet-age

编者按：本文是松子（李博源）的大数据平台发展史系列文章的第四篇（共四篇），本系列以独特的视角，比较了非互联网和互联网两个时代以及传统行业与非传统行业。是对数据平台发展的一个回忆，对非互联网、互联网，从数据平台的用户角度、数据架构演进、模型等进行了阐述。
在互联网时代被弱化的数据模型
谈起数据模型就不得不提传统数据平台架构发展，我相信很多朋友都晓得传统数据平台的知识，其架构演进简单一句话说“基本上可以分为五个时代、四种架构”，但是到了互联网时代因为大数据快速膨胀与数据源类型多样化特点，从高阶架构上来看大约从传统数据平台第三代架构开始延续的，但是往后的发展从我自己的这一点知识上很难对互联网的数据平台做架构归类。
但是从数据平台建设与服务角色上还是有章可循的。就像上篇分享到那样，类比两个行业，互联网企业中员工年龄比非互联网企业的要年轻、受教育程度、对计算机的焦虑程度明显比传统企业要低、还偶遇其它各方面的缘故，导致了数据平台所面对用户群体与非互联网数据平台有所差异化。
传统行业与互联网行业数据平台用户特性我只选择前文章的两张图来表示
(点击放大图像)

2****，互联网财经类公司，业务包括财经网站、基金、股票、金融等，这类公司的数据仓库模型应该如何设计？特点和注意事项是什么？案例介绍？十分感谢。
松子老师：我自己经历过的是互联网金融以及移动互联网行。对这两块比较清楚。互联网金融起因为业务的特性是类金融类的，与银行有些地方是相似的。
比如大约在2012年前支付宝业务特点涉及类金融交易：充值、提现、账务管理类电子商务：购物交易过程变更、实际交易（对B机票、对C水电等） 非纯电子商务；纯金融；个人信用，理财类。系统之间依赖度较为复杂，垂直依赖（业务与核心）跨层依赖（跨过交易到账务）。
在设计方法上还是采用维度模型设计方式。底层是数据驱动为向导，结合业务需求驱动，通过简单、退化维度的方式拉宽表结构。
底层采用松耦合设计。主题之间是松耦合方式。至体内采用细粒度退化维度。
在主题域上的的设计基本参考了OMG的数据仓库元数据设计CWM模型、IBM 的fsdm金融模型、还有新巴塞尔资本协议（Basel II Capital Accord）需提供数据规范去的设计。所以数据模型是五层的结构。
在细节处理上，增量ODS层数据和前一天DWD相关表进行 merge处理。
在一些层次上，基本聚合、汇总增加派生事实表（简单一句话退化为度打宽）。然后按照业务主体合并信息等。
比如开始给大家分享的那张图：
(点击放大图像)
[图片上传中。。。（13）]
在维度模型退化处理时，要注意最细粒度数据保留、不同层次的数据支持数据重新生成。同时一定要注意互联网数据业务特性，数据质量是大心病。有可能一天某些表会重跑很多遍。在互联网的做法有可能一天会重跑好几次数据。
所以曲线救国的病态的产生出了一种通过元数据驱动的数据模型。
这种元数据驱动工具型数据产品我会在未来数据产品系列中做详细介绍的。

3****，互联网企业大数据平台的发展历程是怎样的？
松子老师：这个我相信应该是传统数据平台朋友提到的。传统行业数据平台架构演进我总结简单一句话说“基本上可以分为五个时代、四种架构”，但是到了互联网时代因为大数据快速膨胀与类型暴增的特点，从高阶架构上来看大约从第三代架构开始延续的，但是从我自己的知识上很难对互联网的数据平台做架构归类。所以我从互联网数据平台的建设、用户使用变化特征去做了总结。话说互联网数据平台基本是从传统数据平台的第三代开始的。那是我们总结下来用户特点：
(点击放大图像)
[图片上传中。。。（14）]
更加详细的每一代数据平台建设、服务角色特点您可以看我这个系列文章的第三篇，http://www.infoq.com/cn/articles/the-development-history-of-big-data-platform-paet02

4****，有没有好的元数据管理工具推荐？主要偏向数据字典与血统等。
松子老师：元数据以前目前没有太多的好管理工具。以前是在支付宝是我自己设计的一个数据产品。第一版自己用Delphi 开发的。
（图很多：）
(点击放大图像)
[图片上传中。。。（15）]
(点击放大图像)
[图片上传中。。。（16）]
(点击放大图像)
[图片上传中。。。（17）]
(点击放大图像)
[图片上传中。。。（18）]
(点击放大图像)
[图片上传中。。。（19）]
以前被逼的自己写了一个，通过解析，实现了字段级的血缘影响分析。这只是第二步，后来又把running 信息给搞了进来。还有分享时提到的模型信息、整个闭环的分类信息。
这是一个分支：
(点击放大图像)
[图片上传中。。。（20）]
但是我们实现了字段级解析准确率达到了94%左右。有细微的错误就人工revew一遍。

5. ****松子老师，数据管控的数据质量部分是怎么处理的呢？

松子老师： 数据管控， 这方面我不太懂的，但是数据质量，这玩意可大可小的。比如像在分享时说过的，在移动互联网的数据质量处理方式可以由原有的ETL(ELT)阶段前置到业务系统去解决，比如移动互联网的App log 日志，日志标准化后事件模型”存储来解决。那非app 日志类如何解决呢比如Payment、order等，数据质量比较考虑的可以只做到监控。
我来分享个图。刚好是我设计数据质量产品时搞的，理清数据质量的问题：
(点击放大图像)
[图片上传中。。。（21）]
(点击放大图像)
[图片上传中。。。（22）]
(点击放大图像)
[图片上传中。。。（23）]
只要数据进入仓库与应用体系，处理起来就比较困难了，所以在数据平台阶段最好是通过监控、前置去解决。目前数据质量确实难以100%由事后搞到事前去处理。我对数据平台与数据产品的建设就是实用为主。怎么实用怎么来。我是比较现实的实用主义者。

6. ****能否分享一些数据产品种类及实例：

松子老师：在前边五个问题、以及文章中又都涉及数据产品实力的一些分享。
提到数据产品的分类我就想把这个图发出来。
自己认为没有特别明确的划分线，但是数据产品从三个维度划分，面向业务、功能、用户可以划分出三个方向的数据产品来。
比如面向数据平台工具型数据产品:调度、数据质量、元数据、数据建模、ETL工具、资源管控等等。
面向用户功能有报表型、多维型数据产品、定制化数据产品、挖掘型数据产品。
面向内部用户、外部个人用户、外部企业用户又有不同的分类。
根据业务又可以划分很多，面向C类用户、面向B类商户、金融风险等等
从近几年的数据产品来看，是更好的辅助用户的做决策的一种产品形态，在用户的决策与行动中充当信息的分析者与价值使用者；数据产品有个自己的共性：由解决的一个实际的业务问题出发，分解出的分析指标，分析模型，分析流程组成，再考虑到功能易用性，未来功能扩展，考虑用户对数据易用性（比如数据的呈现层次，不可能一次把所有数据的呈现给用户）来组成的。
(点击放大图像)
[图片上传中。。。（24）]

7. ****银行业从传统的ods到edw再到大数据平台这块过渡，模型如何建设？平台优势如何发挥？
松子老师：这个问题还是有些难度的，自己回答的可能有些片面。首先我们清醒的清楚“大数据”是什么？再次不同的场景可以采用不同的技术去解决。
“大数据”，拆开来看大、数据，大可以是指的数据源结构简单（ps 如果了解过当代对大数据的定义就知道四个特性）但是量级够大，比如清算、结算、对公、对私、中间业务等等每一个拿出来都是几十T，但是这些业务数据都是保存传统的关系型数据库中如DB2、Oracle、MSsql中，因为在数据平台存储是通过准3范式等等结构去保存。
在存储时可能要比较复杂的SQL 多表关联的，感觉目前传统的数据平台技技术在处理数据很让人着急。想通过互联网的大数据平台hadoop、Hive 、Spark 等技术的去演进解决。（最早时我的是中信银行、光大银行在2011年左右开始考虑Hadoop技术，后来不知道如何了）。
但是互联网的数据平台技术大都是NOSQL模式，牺牲掉了传统数据库的数据一致性、完整性、唯一索引等等，只干性能的事情（当然除了性能、可扩展性也是的）.
原有在传统数据平台模型设计上可以考虑的一些通过主外键、唯一索引做一些业务约束的方法，在nosql上统统的都没有了，这些约束必须放到数据加工阶段去想办法做检查。传统数据平台如果在Insert、update数据时违反了业务约束可以做报警或异常处理，但是在Nosql的平台上要求ETL 去手动遵守这些规则检查。但是有时ETL开发根本不遵守的，仅仅是两个表关联起来，也可能忘记按照某一个业务唯一索引做去重操作。简单说，原有靠关系型数据库本身机制去做检查一些规则变为人工，变为人工就会犯错。
从关系型数据平台往Nosql数据平台迁移时，尤其是对传统行业的业务来说，在模型设计阶段、以及给出的ETL口径要考虑更多的业务规则检查，其次要考虑更多的维度退化、多冗余、表打宽处理。简单说就是发挥数据平台的计算能力同时要更加的各方面确保数据准确安全可靠。
数据模型ODS 到EDW 这块的设计方法百度上留下的文档资料太多的了，请这位提问的老师百度吧。

**8****．大数据****仓库****中如何做快速****维处****理？互****联****网数****仓****数据****质****量不好如何****对****数，如何确立****标****准的****对****数口径？******
松子老师：快速变化维度可以转化为缓慢变化为来出来，我自己理解的快速维度是相对于缓慢维度参照的来说的。
举个例子，年龄-转化为天数可以是定义快速变化维度，因为每天都在变化。我们可以把年龄退化为区间维度来处理，还可以把年龄做成动态维度来处理，事实表中保存的就是实际的出生年月并打宽表，年龄(天)通过计算方式来处理。还有种方法通过对代理键的方式来处理。
我目前也不知道对数据的标准是什么。但是我自己用的方法，把一个指标的整个数据流向切出几个关键点通过SQL去实现对数，看波动振幅，波动曲线。同时还会比如发不通的版本的小流量测试的方式来做数据校对。

9****． 做为数据行业从业者，需要掌握哪些重要的基础知识？另：如果从零开始建立一个数据平台，需要哪些资源配置（人，财，物，技术）？大致总投资额度多少？如果同行产品间多种来源的数据，可有成熟的解决方案？谢谢…

松子老师：这个问题太宏观了。作为数据行业从业者，需要掌握哪些重要基础知识，这个是要看从事具体数据域的垂直行业。
比如说 数据开发、数据模型、数据产品、数据分析师、数据运营、数据架构师这些更加专业领域是需要不同的知识的。大家可以去itongji.cn、百度等去搜索数据架构等文章能得到更加专业的答案。
一家公司建设数据平台是跟公司目前数据量、未来数据增长、技术选型、解决业务问题有很直接的关系的。所以在解决业务目标不太明确下，难以确定方案，人员配置上选用不同技术方案去搭建的配置是不太一样的，比如说传统平台来讲，运维、DBA、数据开发、数据模型、报表人员。
从互联网数据平台基本配置上，数据架构师、运维、底层大数据技术、数据开发兼模型、数据分析师、数据产品等都有可能需要的。
同行产品间度多种数据来源，那就看数据源种类，文本的、日志类、视频影像、爬虫类的、结构化、非结构化的数据源有不同的解决技术。

10. Standalone****模式下，Model.save(Path)怎么一直提示错误，是不是配置Spark时需要将Hdfs的配置引进来啊～？表示初学Spark
松子老师：这个问题有点超出我的能力范围了，所以对不起回答不了。
我本身不是做技术的。仅知道一点技术名词。

11. ****传统银行业数据模型什么时候会走向互联网模式呢？目前在传统银行数据平台的产品是不是特别多？
松子老师：这个问题我自己就不知道了，或许是传统银行在数据平台的实施上全面用互联网的Nosql大数据处理技术吧。至于说传统银行数据模型用现有的互联网数据模型理念去设计是否完全可行，数据一致性、高准确性通过更多的方案去保证。
首先我需要确定一下这个产品是否指的“数据产品”。
如果是数据产品，那其实传统行业数据平台本身就有一些数据产品了，而且也都是存在的。数据产品自从数据仓库出现以来它其实一直都存在的，只不过是近几年因为互联网特别爱制造“流行词“把数据产品这个词给放大了。互联网是得数据产品从早期的重量级逐渐进化为轻量级、从大而全的解决方案逐渐演进为因小而美。
我来给出几组例子，大约从2004年到现在的几组数据产品的例子
(点击放大图像)

12 ****。传统行业的数据仓库从业人员，如果转到互联网行业，应该学习哪些技能？
松子老师：这个问题你可以百度搜索“大数据职位所需要的数据技能” http://blog.jobbole.com/99039/ 这篇文章。自己觉得人家回答的比我专业。//
我所经历的大数据平台发展史（四）：互联网时代 • 下篇
http://www.infoq.com/cn/articles/the-development-history-of-big-data-platform-internet-age

编者按：本文是松子（李博源）的大数据平台发展史系列文章的第四篇（共四篇），本系列以独特的视角，比较了非互联网和互联网两个时代以及传统行业与非传统行业。是对数据平台发展的一个回忆，对非互联网、互联网，从数据平台的用户角度、数据架构演进、模型等进行了阐述。
在互联网时代被弱化的数据模型
谈起数据模型就不得不提传统数据平台架构发展，我相信很多朋友都晓得传统数据平台的知识，其架构演进简单一句话说“基本上可以分为五个时代、四种架构”，但是到了互联网时代因为大数据快速膨胀与数据源类型多样化特点，从高阶架构上来看大约从传统数据平台第三代架构开始延续的，但是往后的发展从我自己的这一点知识上很难对互联网的数据平台做架构归类。
但是从数据平台建设与服务角色上还是有章可循的。就像上篇分享到那样，类比两个行业，互联网企业中员工年龄比非互联网企业的要年轻、受教育程度、对计算机的焦虑程度明显比传统企业要低、还偶遇其它各方面的缘故，导致了数据平台所面对用户群体与非互联网数据平台有所差异化。
传统行业与互联网行业数据平台用户特性我只选择前文章的两张图来表示
(点击放大图像)

2****，互联网财经类公司，业务包括财经网站、基金、股票、金融等，这类公司的数据仓库模型应该如何设计？特点和注意事项是什么？案例介绍？十分感谢。
松子老师：我自己经历过的是互联网金融以及移动互联网行。对这两块比较清楚。互联网金融起因为业务的特性是类金融类的，与银行有些地方是相似的。
比如大约在2012年前支付宝业务特点涉及类金融交易：充值、提现、账务管理类电子商务：购物交易过程变更、实际交易（对B机票、对C水电等） 非纯电子商务；纯金融；个人信用，理财类。系统之间依赖度较为复杂，垂直依赖（业务与核心）跨层依赖（跨过交易到账务）。
在设计方法上还是采用维度模型设计方式。底层是数据驱动为向导，结合业务需求驱动，通过简单、退化维度的方式拉宽表结构。
底层采用松耦合设计。主题之间是松耦合方式。至体内采用细粒度退化维度。
在主题域上的的设计基本参考了OMG的数据仓库元数据设计CWM模型、IBM 的fsdm金融模型、还有新巴塞尔资本协议（Basel II Capital Accord）需提供数据规范去的设计。所以数据模型是五层的结构。
在细节处理上，增量ODS层数据和前一天DWD相关表进行 merge处理。
在一些层次上，基本聚合、汇总增加派生事实表（简单一句话退化为度打宽）。然后按照业务主体合并信息等。
比如开始给大家分享的那张图：
(点击放大图像)
[图片上传中。。。（13）]
在维度模型退化处理时，要注意最细粒度数据保留、不同层次的数据支持数据重新生成。同时一定要注意互联网数据业务特性，数据质量是大心病。有可能一天某些表会重跑很多遍。在互联网的做法有可能一天会重跑好几次数据。
所以曲线救国的病态的产生出了一种通过元数据驱动的数据模型。
这种元数据驱动工具型数据产品我会在未来数据产品系列中做详细介绍的。

3****，互联网企业大数据平台的发展历程是怎样的？
松子老师：这个我相信应该是传统数据平台朋友提到的。传统行业数据平台架构演进我总结简单一句话说“基本上可以分为五个时代、四种架构”，但是到了互联网时代因为大数据快速膨胀与类型暴增的特点，从高阶架构上来看大约从第三代架构开始延续的，但是从我自己的知识上很难对互联网的数据平台做架构归类。所以我从互联网数据平台的建设、用户使用变化特征去做了总结。话说互联网数据平台基本是从传统数据平台的第三代开始的。那是我们总结下来用户特点：
(点击放大图像)
[图片上传中。。。（14）]
更加详细的每一代数据平台建设、服务角色特点您可以看我这个系列文章的第三篇，http://www.infoq.com/cn/articles/the-development-history-of-big-data-platform-paet02

4****，有没有好的元数据管理工具推荐？主要偏向数据字典与血统等。
松子老师：元数据以前目前没有太多的好管理工具。以前是在支付宝是我自己设计的一个数据产品。第一版自己用Delphi 开发的。
（图很多：）
(点击放大图像)
[图片上传中。。。（15）]
(点击放大图像)
[图片上传中。。。（16）]
(点击放大图像)

5. ****松子老师，数据管控的数据质量部分是怎么处理的呢？

松子老师： 数据管控， 这方面我不太懂的，但是数据质量，这玩意可大可小的。比如像在分享时说过的，在移动互联网的数据质量处理方式可以由原有的ETL(ELT)阶段前置到业务系统去解决，比如移动互联网的App log 日志，日志标准化后事件模型”存储来解决。那非app 日志类如何解决呢比如Payment、order等，数据质量比较考虑的可以只做到监控。
我来分享个图。刚好是我设计数据质量产品时搞的，理清数据质量的问题：
(点击放大图像)
[图片上传中。。。（21）]
(点击放大图像)
[图片上传中。。。（22）]
(点击放大图像)
[图片上传中。。。（23）]
只要数据进入仓库与应用体系，处理起来就比较困难了，所以在数据平台阶段最好是通过监控、前置去解决。目前数据质量确实难以100%由事后搞到事前去处理。我对数据平台与数据产品的建设就是实用为主。怎么实用怎么来。我是比较现实的实用主义者。

6. ****能否分享一些数据产品种类及实例：

松子老师：在前边五个问题、以及文章中又都涉及数据产品实力的一些分享。
提到数据产品的分类我就想把这个图发出来。
自己认为没有特别明确的划分线，但是数据产品从三个维度划分，面向业务、功能、用户可以划分出三个方向的数据产品来。
比如面向数据平台工具型数据产品:调度、数据质量、元数据、数据建模、ETL工具、资源管控等等。
面向用户功能有报表型、多维型数据产品、定制化数据产品、挖掘型数据产品。
面向内部用户、外部个人用户、外部企业用户又有不同的分类。
根据业务又可以划分很多，面向C类用户、面向B类商户、金融风险等等
从近几年的数据产品来看，是更好的辅助用户的做决策的一种产品形态，在用户的决策与行动中充当信息的分析者与价值使用者；数据产品有个自己的共性：由解决的一个实际的业务问题出发，分解出的分析指标，分析模型，分析流程组成，再考虑到功能易用性，未来功能扩展，考虑用户对数据易用性（比如数据的呈现层次，不可能一次把所有数据的呈现给用户）来组成的。
(点击放大图像)
[图片上传中。。。（24）]

7. ****银行业从传统的ods到edw再到大数据平台这块过渡，模型如何建设？平台优势如何发挥？
松子老师：这个问题还是有些难度的，自己回答的可能有些片面。首先我们清醒的清楚“大数据”是什么？再次不同的场景可以采用不同的技术去解决。
“大数据”，拆开来看大、数据，大可以是指的数据源结构简单（ps 如果了解过当代对大数据的定义就知道四个特性）但是量级够大，比如清算、结算、对公、对私、中间业务等等每一个拿出来都是几十T，但是这些业务数据都是保存传统的关系型数据库中如DB2、Oracle、MSsql中，因为在数据平台存储是通过准3范式等等结构去保存。
在存储时可能要比较复杂的SQL 多表关联的，感觉目前传统的数据平台技技术在处理数据很让人着急。想通过互联网的大数据平台hadoop、Hive 、Spark 等技术的去演进解决。（最早时我的是中信银行、光大银行在2011年左右开始考虑Hadoop技术，后来不知道如何了）。
但是互联网的数据平台技术大都是NOSQL模式，牺牲掉了传统数据库的数据一致性、完整性、唯一索引等等，只干性能的事情（当然除了性能、可扩展性也是的）.
原有在传统数据平台模型设计上可以考虑的一些通过主外键、唯一索引做一些业务约束的方法，在nosql上统统的都没有了，这些约束必须放到数据加工阶段去想办法做检查。传统数据平台如果在Insert、update数据时违反了业务约束可以做报警或异常处理，但是在Nosql的平台上要求ETL 去手动遵守这些规则检查。但是有时ETL开发根本不遵守的，仅仅是两个表关联起来，也可能忘记按照某一个业务唯一索引做去重操作。简单说，原有靠关系型数据库本身机制去做检查一些规则变为人工，变为人工就会犯错。
从关系型数据平台往Nosql数据平台迁移时，尤其是对传统行业的业务来说，在模型设计阶段、以及给出的ETL口径要考虑更多的业务规则检查，其次要考虑更多的维度退化、多冗余、表打宽处理。简单说就是发挥数据平台的计算能力同时要更加的各方面确保数据准确安全可靠。
数据模型ODS 到EDW 这块的设计方法百度上留下的文档资料太多的了，请这位提问的老师百度吧。

**8****．大数据****仓库****中如何做快速****维处****理？互****联****网数****仓****数据****质****量不好如何****对****数，如何确立****标****准的****对****数口径？******
松子老师：快速变化维度可以转化为缓慢变化为来出来，我自己理解的快速维度是相对于缓慢维度参照的来说的。
举个例子，年龄-转化为天数可以是定义快速变化维度，因为每天都在变化。我们可以把年龄退化为区间维度来处理，还可以把年龄做成动态维度来处理，事实表中保存的就是实际的出生年月并打宽表，年龄(天)通过计算方式来处理。还有种方法通过对代理键的方式来处理。
我目前也不知道对数据的标准是什么。但是我自己用的方法，把一个指标的整个数据流向切出几个关键点通过SQL去实现对数，看波动振幅，波动曲线。同时还会比如发不通的版本的小流量测试的方式来做数据校对。

9****． 做为数据行业从业者，需要掌握哪些重要的基础知识？另：如果从零开始建立一个数据平台，需要哪些资源配置（人，财，物，技术）？大致总投资额度多少？如果同行产品间多种来源的数据，可有成熟的解决方案？谢谢…

松子老师：这个问题太宏观了。作为数据行业从业者，需要掌握哪些重要基础知识，这个是要看从事具体数据域的垂直行业。
比如说 数据开发、数据模型、数据产品、数据分析师、数据运营、数据架构师这些更加专业领域是需要不同的知识的。大家可以去itongji.cn、百度等去搜索数据架构等文章能得到更加专业的答案。
一家公司建设数据平台是跟公司目前数据量、未来数据增长、技术选型、解决业务问题有很直接的关系的。所以在解决业务目标不太明确下，难以确定方案，人员配置上选用不同技术方案去搭建的配置是不太一样的，比如说传统平台来讲，运维、DBA、数据开发、数据模型、报表人员。
从互联网数据平台基本配置上，数据架构师、运维、底层大数据技术、数据开发兼模型、数据分析师、数据产品等都有可能需要的。
同行产品间度多种数据来源，那就看数据源种类，文本的、日志类、视频影像、爬虫类的、结构化、非结构化的数据源有不同的解决技术。

10. Standalone****模式下，Model.save(Path)怎么一直提示错误，是不是配置Spark时需要将Hdfs的配置引进来啊～？表示初学Spark
松子老师：这个问题有点超出我的能力范围了，所以对不起回答不了。
我本身不是做技术的。仅知道一点技术名词。

11. ****传统银行业数据模型什么时候会走向互联网模式呢？目前在传统银行数据平台的产品是不是特别多？
松子老师：这个问题我自己就不知道了，或许是传统银行在数据平台的实施上全面用互联网的Nosql大数据处理技术吧。至于说传统银行数据模型用现有的互联网数据模型理念去设计是否完全可行，数据一致性、高准确性通过更多的方案去保证。
首先我需要确定一下这个产品是否指的“数据产品”。
如果是数据产品，那其实传统行业数据平台本身就有一些数据产品了，而且也都是存在的。数据产品自从数据仓库出现以来它其实一直都存在的，只不过是近几年因为互联网特别爱制造“流行词“把数据产品这个词给放大了。互联网是得数据产品从早期的重量级逐渐进化为轻量级、从大而全的解决方案逐渐演进为因小而美。
我来给出几组例子，大约从2004年到现在的几组数据产品的例子
(点击放大图像)
[图片上传中。。。（25）]
(点击放大图像)
[图片上传中。。。（26）]
(点击放大图像)
[图片上传中。。。（27）]
(点击放大图像)
[图片上传中。。。（28）]
(点击放大图像)
[图片上传中。。。（29）]
(点击放大图像)
[图片上传中。。。（30）]
(点击放大图像)
[图片上传中。。。（31）]
你可以分类一下，这些数据产品的特点是什么？满足了用户怎么样的痛点需求？满足了用户怎么样的使用流程。

12 ****。传统行业的数据仓库从业人员，如果转到互联网行业，应该学习哪些技能？
松子老师：这个问题你可以百度搜索“大数据职位所需要的数据技能” http://blog.jobbole.com/99039/ 这篇文章。自己觉得人家回答的比我专业。//
我所经历的大数据平台发展史（四）：互联网时代 • 下篇
http://www.infoq.com/cn/articles/the-development-history-of-big-data-platform-internet-age

编者按：本文是松子（李博源）的大数据平台发展史系列文章的第四篇（共四篇），本系列以独特的视角，比较了非互联网和互联网两个时代以及传统行业与非传统行业。是对数据平台发展的一个回忆，对非互联网、互联网，从数据平台的用户角度、数据架构演进、模型等进行了阐述。
在互联网时代被弱化的数据模型
谈起数据模型就不得不提传统数据平台架构发展，我相信很多朋友都晓得传统数据平台的知识，其架构演进简单一句话说“基本上可以分为五个时代、四种架构”，但是到了互联网时代因为大数据快速膨胀与数据源类型多样化特点，从高阶架构上来看大约从传统数据平台第三代架构开始延续的，但是往后的发展从我自己的这一点知识上很难对互联网的数据平台做架构归类。
但是从数据平台建设与服务角色上还是有章可循的。就像上篇分享到那样，类比两个行业，互联网企业中员工年龄比非互联网企业的要年轻、受教育程度、对计算机的焦虑程度明显比传统企业要低、还偶遇其它各方面的缘故，导致了数据平台所面对用户群体与非互联网数据平台有所差异化。
传统行业与互联网行业数据平台用户特性我只选择前文章的两张图来表示
(点击放大图像)

2****，互联网财经类公司，业务包括财经网站、基金、股票、金融等，这类公司的数据仓库模型应该如何设计？特点和注意事项是什么？案例介绍？十分感谢。
松子老师：我自己经历过的是互联网金融以及移动互联网行。对这两块比较清楚。互联网金融起因为业务的特性是类金融类的，与银行有些地方是相似的。
比如大约在2012年前支付宝业务特点涉及类金融交易：充值、提现、账务管理类电子商务：购物交易过程变更、实际交易（对B机票、对C水电等） 非纯电子商务；纯金融；个人信用，理财类。系统之间依赖度较为复杂，垂直依赖（业务与核心）跨层依赖（跨过交易到账务）。
在设计方法上还是采用维度模型设计方式。底层是数据驱动为向导，结合业务需求驱动，通过简单、退化维度的方式拉宽表结构。
底层采用松耦合设计。主题之间是松耦合方式。至体内采用细粒度退化维度。
在主题域上的的设计基本参考了OMG的数据仓库元数据设计CWM模型、IBM 的fsdm金融模型、还有新巴塞尔资本协议（Basel II Capital Accord）需提供数据规范去的设计。所以数据模型是五层的结构。
在细节处理上，增量ODS层数据和前一天DWD相关表进行 merge处理。
在一些层次上，基本聚合、汇总增加派生事实表（简单一句话退化为度打宽）。然后按照业务主体合并信息等。
比如开始给大家分享的那张图：
(点击放大图像)
[图片上传中。。。（13）]
在维度模型退化处理时，要注意最细粒度数据保留、不同层次的数据支持数据重新生成。同时一定要注意互联网数据业务特性，数据质量是大心病。有可能一天某些表会重跑很多遍。在互联网的做法有可能一天会重跑好几次数据。
所以曲线救国的病态的产生出了一种通过元数据驱动的数据模型。
这种元数据驱动工具型数据产品我会在未来数据产品系列中做详细介绍的。

3****，互联网企业大数据平台的发展历程是怎样的？
松子老师：这个我相信应该是传统数据平台朋友提到的。传统行业数据平台架构演进我总结简单一句话说“基本上可以分为五个时代、四种架构”，但是到了互联网时代因为大数据快速膨胀与类型暴增的特点，从高阶架构上来看大约从第三代架构开始延续的，但是从我自己的知识上很难对互联网的数据平台做架构归类。所以我从互联网数据平台的建设、用户使用变化特征去做了总结。话说互联网数据平台基本是从传统数据平台的第三代开始的。那是我们总结下来用户特点：
(点击放大图像)
[图片上传中。。。（14）]
更加详细的每一代数据平台建设、服务角色特点您可以看我这个系列文章的第三篇，http://www.infoq.com/cn/articles/the-development-history-of-big-data-platform-paet02

4****，有没有好的元数据管理工具推荐？主要偏向数据字典与血统等。
松子老师：元数据以前目前没有太多的好管理工具。以前是在支付宝是我自己设计的一个数据产品。第一版自己用Delphi 开发的。
（图很多：）
(点击放大图像)
[图片上传中。。。（15）]
(点击放大图像)
[图片上传中。。。（16）]
(点击放大图像)
[图片上传中。。。（17）]
(点击放大图像)
[图片上传中。。。（18）]
(点击放大图像)
[图片上传中。。。（19）]
以前被逼的自己写了一个，通过解析，实现了字段级的血缘影响分析。这只是第二步，后来又把running 信息给搞了进来。还有分享时提到的模型信息、整个闭环的分类信息。
这是一个分支：
(点击放大图像)
[图片上传中。。。（20）]
但是我们实现了字段级解析准确率达到了94%左右。有细微的错误就人工revew一遍。

5. ****松子老师，数据管控的数据质量部分是怎么处理的呢？

松子老师： 数据管控， 这方面我不太懂的，但是数据质量，这玩意可大可小的。比如像在分享时说过的，在移动互联网的数据质量处理方式可以由原有的ETL(ELT)阶段前置到业务系统去解决，比如移动互联网的App log 日志，日志标准化后事件模型”存储来解决。那非app 日志类如何解决呢比如Payment、order等，数据质量比较考虑的可以只做到监控。
我来分享个图。刚好是我设计数据质量产品时搞的，理清数据质量的问题：
(点击放大图像)
[图片上传中。。。（21）]
(点击放大图像)
[图片上传中。。。（22）]
(点击放大图像)
[图片上传中。。。（23）]
只要数据进入仓库与应用体系，处理起来就比较困难了，所以在数据平台阶段最好是通过监控、前置去解决。目前数据质量确实难以100%由事后搞到事前去处理。我对数据平台与数据产品的建设就是实用为主。怎么实用怎么来。我是比较现实的实用主义者。

6. ****能否分享一些数据产品种类及实例：

松子老师：在前边五个问题、以及文章中又都涉及数据产品实力的一些分享。
提到数据产品的分类我就想把这个图发出来。
自己认为没有特别明确的划分线，但是数据产品从三个维度划分，面向业务、功能、用户可以划分出三个方向的数据产品来。
比如面向数据平台工具型数据产品:调度、数据质量、元数据、数据建模、ETL工具、资源管控等等。
面向用户功能有报表型、多维型数据产品、定制化数据产品、挖掘型数据产品。
面向内部用户、外部个人用户、外部企业用户又有不同的分类。
根据业务又可以划分很多，面向C类用户、面向B类商户、金融风险等等
从近几年的数据产品来看，是更好的辅助用户的做决策的一种产品形态，在用户的决策与行动中充当信息的分析者与价值使用者；数据产品有个自己的共性：由解决的一个实际的业务问题出发，分解出的分析指标，分析模型，分析流程组成，再考虑到功能易用性，未来功能扩展，考虑用户对数据易用性（比如数据的呈现层次，不可能一次把所有数据的呈现给用户）来组成的。
(点击放大图像)
[图片上传中。。。（24）]

7. ****银行业从传统的ods到edw再到大数据平台这块过渡，模型如何建设？平台优势如何发挥？
松子老师：这个问题还是有些难度的，自己回答的可能有些片面。首先我们清醒的清楚“大数据”是什么？再次不同的场景可以采用不同的技术去解决。
“大数据”，拆开来看大、数据，大可以是指的数据源结构简单（ps 如果了解过当代对大数据的定义就知道四个特性）但是量级够大，比如清算、结算、对公、对私、中间业务等等每一个拿出来都是几十T，但是这些业务数据都是保存传统的关系型数据库中如DB2、Oracle、MSsql中，因为在数据平台存储是通过准3范式等等结构去保存。
在存储时可能要比较复杂的SQL 多表关联的，感觉目前传统的数据平台技技术在处理数据很让人着急。想通过互联网的大数据平台hadoop、Hive 、Spark 等技术的去演进解决。（最早时我的是中信银行、光大银行在2011年左右开始考虑Hadoop技术，后来不知道如何了）。
但是互联网的数据平台技术大都是NOSQL模式，牺牲掉了传统数据库的数据一致性、完整性、唯一索引等等，只干性能的事情（当然除了性能、可扩展性也是的）.
原有在传统数据平台模型设计上可以考虑的一些通过主外键、唯一索引做一些业务约束的方法，在nosql上统统的都没有了，这些约束必须放到数据加工阶段去想办法做检查。传统数据平台如果在Insert、update数据时违反了业务约束可以做报警或异常处理，但是在Nosql的平台上要求ETL 去手动遵守这些规则检查。但是有时ETL开发根本不遵守的，仅仅是两个表关联起来，也可能忘记按照某一个业务唯一索引做去重操作。简单说，原有靠关系型数据库本身机制去做检查一些规则变为人工，变为人工就会犯错。
从关系型数据平台往Nosql数据平台迁移时，尤其是对传统行业的业务来说，在模型设计阶段、以及给出的ETL口径要考虑更多的业务规则检查，其次要考虑更多的维度退化、多冗余、表打宽处理。简单说就是发挥数据平台的计算能力同时要更加的各方面确保数据准确安全可靠。
数据模型ODS 到EDW 这块的设计方法百度上留下的文档资料太多的了，请这位提问的老师百度吧。

**8****．大数据****仓库****中如何做快速****维处****理？互****联****网数****仓****数据****质****量不好如何****对****数，如何确立****标****准的****对****数口径？******
松子老师：快速变化维度可以转化为缓慢变化为来出来，我自己理解的快速维度是相对于缓慢维度参照的来说的。
举个例子，年龄-转化为天数可以是定义快速变化维度，因为每天都在变化。我们可以把年龄退化为区间维度来处理，还可以把年龄做成动态维度来处理，事实表中保存的就是实际的出生年月并打宽表，年龄(天)通过计算方式来处理。还有种方法通过对代理键的方式来处理。
我目前也不知道对数据的标准是什么。但是我自己用的方法，把一个指标的整个数据流向切出几个关键点通过SQL去实现对数，看波动振幅，波动曲线。同时还会比如发不通的版本的小流量测试的方式来做数据校对。

9****． 做为数据行业从业者，需要掌握哪些重要的基础知识？另：如果从零开始建立一个数据平台，需要哪些资源配置（人，财，物，技术）？大致总投资额度多少？如果同行产品间多种来源的数据，可有成熟的解决方案？谢谢…

松子老师：这个问题太宏观了。作为数据行业从业者，需要掌握哪些重要基础知识，这个是要看从事具体数据域的垂直行业。
比如说 数据开发、数据模型、数据产品、数据分析师、数据运营、数据架构师这些更加专业领域是需要不同的知识的。大家可以去itongji.cn、百度等去搜索数据架构等文章能得到更加专业的答案。
一家公司建设数据平台是跟公司目前数据量、未来数据增长、技术选型、解决业务问题有很直接的关系的。所以在解决业务目标不太明确下，难以确定方案，人员配置上选用不同技术方案去搭建的配置是不太一样的，比如说传统平台来讲，运维、DBA、数据开发、数据模型、报表人员。
从互联网数据平台基本配置上，数据架构师、运维、底层大数据技术、数据开发兼模型、数据分析师、数据产品等都有可能需要的。
同行产品间度多种数据来源，那就看数据源种类，文本的、日志类、视频影像、爬虫类的、结构化、非结构化的数据源有不同的解决技术。

10. Standalone****模式下，Model.save(Path)怎么一直提示错误，是不是配置Spark时需要将Hdfs的配置引进来啊～？表示初学Spark
松子老师：这个问题有点超出我的能力范围了，所以对不起回答不了。
我本身不是做技术的。仅知道一点技术名词。

11. ****传统银行业数据模型什么时候会走向互联网模式呢？目前在传统银行数据平台的产品是不是特别多？
松子老师：这个问题我自己就不知道了，或许是传统银行在数据平台的实施上全面用互联网的Nosql大数据处理技术吧。至于说传统银行数据模型用现有的互联网数据模型理念去设计是否完全可行，数据一致性、高准确性通过更多的方案去保证。
首先我需要确定一下这个产品是否指的“数据产品”。
如果是数据产品，那其实传统行业数据平台本身就有一些数据产品了，而且也都是存在的。数据产品自从数据仓库出现以来它其实一直都存在的，只不过是近几年因为互联网特别爱制造“流行词“把数据产品这个词给放大了。互联网是得数据产品从早期的重量级逐渐进化为轻量级、从大而全的解决方案逐渐演进为因小而美。
我来给出几组例子，大约从2004年到现在的几组数据产品的例子
(点击放大图像)
[图片上传中。。。（25）]
(点击放大图像)

12 ****。传统行业的数据仓库从业人员，如果转到互联网行业，应该学习哪些技能？
松子老师：这个问题你可以百度搜索“大数据职位所需要的数据技能” http://blog.jobbole.com/99039/ 这篇文章。自己觉得人家回答的比我专业。//
我所经历的大数据平台发展史（四）：互联网时代 • 下篇
http://www.infoq.com/cn/articles/the-development-history-of-big-data-platform-internet-age

编者按：本文是松子（李博源）的大数据平台发展史系列文章的第四篇（共四篇），本系列以独特的视角，比较了非互联网和互联网两个时代以及传统行业与非传统行业。是对数据平台发展的一个回忆，对非互联网、互联网，从数据平台的用户角度、数据架构演进、模型等进行了阐述。
在互联网时代被弱化的数据模型
谈起数据模型就不得不提传统数据平台架构发展，我相信很多朋友都晓得传统数据平台的知识，其架构演进简单一句话说“基本上可以分为五个时代、四种架构”，但是到了互联网时代因为大数据快速膨胀与数据源类型多样化特点，从高阶架构上来看大约从传统数据平台第三代架构开始延续的，但是往后的发展从我自己的这一点知识上很难对互联网的数据平台做架构归类。
但是从数据平台建设与服务角色上还是有章可循的。就像上篇分享到那样，类比两个行业，互联网企业中员工年龄比非互联网企业的要年轻、受教育程度、对计算机的焦虑程度明显比传统企业要低、还偶遇其它各方面的缘故，导致了数据平台所面对用户群体与非互联网数据平台有所差异化。
传统行业与互联网行业数据平台用户特性我只选择前文章的两张图来表示
(点击放大图像)

2****，互联网财经类公司，业务包括财经网站、基金、股票、金融等，这类公司的数据仓库模型应该如何设计？特点和注意事项是什么？案例介绍？十分感谢。
松子老师：我自己经历过的是互联网金融以及移动互联网行。对这两块比较清楚。互联网金融起因为业务的特性是类金融类的，与银行有些地方是相似的。
比如大约在2012年前支付宝业务特点涉及类金融交易：充值、提现、账务管理类电子商务：购物交易过程变更、实际交易（对B机票、对C水电等） 非纯电子商务；纯金融；个人信用，理财类。系统之间依赖度较为复杂，垂直依赖（业务与核心）跨层依赖（跨过交易到账务）。
在设计方法上还是采用维度模型设计方式。底层是数据驱动为向导，结合业务需求驱动，通过简单、退化维度的方式拉宽表结构。
底层采用松耦合设计。主题之间是松耦合方式。至体内采用细粒度退化维度。
在主题域上的的设计基本参考了OMG的数据仓库元数据设计CWM模型、IBM 的fsdm金融模型、还有新巴塞尔资本协议（Basel II Capital Accord）需提供数据规范去的设计。所以数据模型是五层的结构。
在细节处理上，增量ODS层数据和前一天DWD相关表进行 merge处理。
在一些层次上，基本聚合、汇总增加派生事实表（简单一句话退化为度打宽）。然后按照业务主体合并信息等。
比如开始给大家分享的那张图：
(点击放大图像)
[图片上传中。。。（13）]
在维度模型退化处理时，要注意最细粒度数据保留、不同层次的数据支持数据重新生成。同时一定要注意互联网数据业务特性，数据质量是大心病。有可能一天某些表会重跑很多遍。在互联网的做法有可能一天会重跑好几次数据。
所以曲线救国的病态的产生出了一种通过元数据驱动的数据模型。
这种元数据驱动工具型数据产品我会在未来数据产品系列中做详细介绍的。

3****，互联网企业大数据平台的发展历程是怎样的？
松子老师：这个我相信应该是传统数据平台朋友提到的。传统行业数据平台架构演进我总结简单一句话说“基本上可以分为五个时代、四种架构”，但是到了互联网时代因为大数据快速膨胀与类型暴增的特点，从高阶架构上来看大约从第三代架构开始延续的，但是从我自己的知识上很难对互联网的数据平台做架构归类。所以我从互联网数据平台的建设、用户使用变化特征去做了总结。话说互联网数据平台基本是从传统数据平台的第三代开始的。那是我们总结下来用户特点：
(点击放大图像)
[图片上传中。。。（14）]
更加详细的每一代数据平台建设、服务角色特点您可以看我这个系列文章的第三篇，http://www.infoq.com/cn/articles/the-development-history-of-big-data-platform-paet02

4****，有没有好的元数据管理工具推荐？主要偏向数据字典与血统等。
松子老师：元数据以前目前没有太多的好管理工具。以前是在支付宝是我自己设计的一个数据产品。第一版自己用Delphi 开发的。
（图很多：）
(点击放大图像)
[图片上传中。。。（15）]
(点击放大图像)
[图片上传中。。。（16）]
(点击放大图像)
[图片上传中。。。（17）]
(点击放大图像)
[图片上传中。。。（18）]
(点击放大图像)
[图片上传中。。。（19）]
以前被逼的自己写了一个，通过解析，实现了字段级的血缘影响分析。这只是第二步，后来又把running 信息给搞了进来。还有分享时提到的模型信息、整个闭环的分类信息。
这是一个分支：
(点击放大图像)
[图片上传中。。。（20）]
但是我们实现了字段级解析准确率达到了94%左右。有细微的错误就人工revew一遍。

5. ****松子老师，数据管控的数据质量部分是怎么处理的呢？

松子老师： 数据管控， 这方面我不太懂的，但是数据质量，这玩意可大可小的。比如像在分享时说过的，在移动互联网的数据质量处理方式可以由原有的ETL(ELT)阶段前置到业务系统去解决，比如移动互联网的App log 日志，日志标准化后事件模型”存储来解决。那非app 日志类如何解决呢比如Payment、order等，数据质量比较考虑的可以只做到监控。
我来分享个图。刚好是我设计数据质量产品时搞的，理清数据质量的问题：
(点击放大图像)
[图片上传中。。。（21）]
(点击放大图像)

6. ****能否分享一些数据产品种类及实例：

松子老师：在前边五个问题、以及文章中又都涉及数据产品实力的一些分享。
提到数据产品的分类我就想把这个图发出来。
自己认为没有特别明确的划分线，但是数据产品从三个维度划分，面向业务、功能、用户可以划分出三个方向的数据产品来。
比如面向数据平台工具型数据产品:调度、数据质量、元数据、数据建模、ETL工具、资源管控等等。
面向用户功能有报表型、多维型数据产品、定制化数据产品、挖掘型数据产品。
面向内部用户、外部个人用户、外部企业用户又有不同的分类。
根据业务又可以划分很多，面向C类用户、面向B类商户、金融风险等等
从近几年的数据产品来看，是更好的辅助用户的做决策的一种产品形态，在用户的决策与行动中充当信息的分析者与价值使用者；数据产品有个自己的共性：由解决的一个实际的业务问题出发，分解出的分析指标，分析模型，分析流程组成，再考虑到功能易用性，未来功能扩展，考虑用户对数据易用性（比如数据的呈现层次，不可能一次把所有数据的呈现给用户）来组成的。
(点击放大图像)
[图片上传中。。。（24）]

7. ****银行业从传统的ods到edw再到大数据平台这块过渡，模型如何建设？平台优势如何发挥？
松子老师：这个问题还是有些难度的，自己回答的可能有些片面。首先我们清醒的清楚“大数据”是什么？再次不同的场景可以采用不同的技术去解决。
“大数据”，拆开来看大、数据，大可以是指的数据源结构简单（ps 如果了解过当代对大数据的定义就知道四个特性）但是量级够大，比如清算、结算、对公、对私、中间业务等等每一个拿出来都是几十T，但是这些业务数据都是保存传统的关系型数据库中如DB2、Oracle、MSsql中，因为在数据平台存储是通过准3范式等等结构去保存。
在存储时可能要比较复杂的SQL 多表关联的，感觉目前传统的数据平台技技术在处理数据很让人着急。想通过互联网的大数据平台hadoop、Hive 、Spark 等技术的去演进解决。（最早时我的是中信银行、光大银行在2011年左右开始考虑Hadoop技术，后来不知道如何了）。
但是互联网的数据平台技术大都是NOSQL模式，牺牲掉了传统数据库的数据一致性、完整性、唯一索引等等，只干性能的事情（当然除了性能、可扩展性也是的）.
原有在传统数据平台模型设计上可以考虑的一些通过主外键、唯一索引做一些业务约束的方法，在nosql上统统的都没有了，这些约束必须放到数据加工阶段去想办法做检查。传统数据平台如果在Insert、update数据时违反了业务约束可以做报警或异常处理，但是在Nosql的平台上要求ETL 去手动遵守这些规则检查。但是有时ETL开发根本不遵守的，仅仅是两个表关联起来，也可能忘记按照某一个业务唯一索引做去重操作。简单说，原有靠关系型数据库本身机制去做检查一些规则变为人工，变为人工就会犯错。
从关系型数据平台往Nosql数据平台迁移时，尤其是对传统行业的业务来说，在模型设计阶段、以及给出的ETL口径要考虑更多的业务规则检查，其次要考虑更多的维度退化、多冗余、表打宽处理。简单说就是发挥数据平台的计算能力同时要更加的各方面确保数据准确安全可靠。
数据模型ODS 到EDW 这块的设计方法百度上留下的文档资料太多的了，请这位提问的老师百度吧。

**8****．大数据****仓库****中如何做快速****维处****理？互****联****网数****仓****数据****质****量不好如何****对****数，如何确立****标****准的****对****数口径？******
松子老师：快速变化维度可以转化为缓慢变化为来出来，我自己理解的快速维度是相对于缓慢维度参照的来说的。
举个例子，年龄-转化为天数可以是定义快速变化维度，因为每天都在变化。我们可以把年龄退化为区间维度来处理，还可以把年龄做成动态维度来处理，事实表中保存的就是实际的出生年月并打宽表，年龄(天)通过计算方式来处理。还有种方法通过对代理键的方式来处理。
我目前也不知道对数据的标准是什么。但是我自己用的方法，把一个指标的整个数据流向切出几个关键点通过SQL去实现对数，看波动振幅，波动曲线。同时还会比如发不通的版本的小流量测试的方式来做数据校对。

9****． 做为数据行业从业者，需要掌握哪些重要的基础知识？另：如果从零开始建立一个数据平台，需要哪些资源配置（人，财，物，技术）？大致总投资额度多少？如果同行产品间多种来源的数据，可有成熟的解决方案？谢谢…

松子老师：这个问题太宏观了。作为数据行业从业者，需要掌握哪些重要基础知识，这个是要看从事具体数据域的垂直行业。
比如说 数据开发、数据模型、数据产品、数据分析师、数据运营、数据架构师这些更加专业领域是需要不同的知识的。大家可以去itongji.cn、百度等去搜索数据架构等文章能得到更加专业的答案。
一家公司建设数据平台是跟公司目前数据量、未来数据增长、技术选型、解决业务问题有很直接的关系的。所以在解决业务目标不太明确下，难以确定方案，人员配置上选用不同技术方案去搭建的配置是不太一样的，比如说传统平台来讲，运维、DBA、数据开发、数据模型、报表人员。
从互联网数据平台基本配置上，数据架构师、运维、底层大数据技术、数据开发兼模型、数据分析师、数据产品等都有可能需要的。
同行产品间度多种数据来源，那就看数据源种类，文本的、日志类、视频影像、爬虫类的、结构化、非结构化的数据源有不同的解决技术。

10. Standalone****模式下，Model.save(Path)怎么一直提示错误，是不是配置Spark时需要将Hdfs的配置引进来啊～？表示初学Spark
松子老师：这个问题有点超出我的能力范围了，所以对不起回答不了。
我本身不是做技术的。仅知道一点技术名词。

11. ****传统银行业数据模型什么时候会走向互联网模式呢？目前在传统银行数据平台的产品是不是特别多？
松子老师：这个问题我自己就不知道了，或许是传统银行在数据平台的实施上全面用互联网的Nosql大数据处理技术吧。至于说传统银行数据模型用现有的互联网数据模型理念去设计是否完全可行，数据一致性、高准确性通过更多的方案去保证。
首先我需要确定一下这个产品是否指的“数据产品”。
如果是数据产品，那其实传统行业数据平台本身就有一些数据产品了，而且也都是存在的。数据产品自从数据仓库出现以来它其实一直都存在的，只不过是近几年因为互联网特别爱制造“流行词“把数据产品这个词给放大了。互联网是得数据产品从早期的重量级逐渐进化为轻量级、从大而全的解决方案逐渐演进为因小而美。
我来给出几组例子，大约从2004年到现在的几组数据产品的例子
(点击放大图像)
[图片上传中。。。（25）]
(点击放大图像)
[图片上传中。。。（26）]
(点击放大图像)
[图片上传中。。。（27）]
(点击放大图像)
[图片上传中。。。（28）]
(点击放大图像)
[图片上传中。。。（29）]
(点击放大图像)
[图片上传中。。。（30）]
(点击放大图像)
[图片上传中。。。（31）]
你可以分类一下，这些数据产品的特点是什么？满足了用户怎么样的痛点需求？满足了用户怎么样的使用流程。

12 ****。传统行业的数据仓库从业人员，如果转到互联网行业，应该学习哪些技能？
松子老师：这个问题你可以百度搜索“大数据职位所需要的数据技能” http://blog.jobbole.com/99039/ 这篇文章。自己觉得人家回答的比我专业。//
我所经历的大数据平台发展史（四）：互联网时代 • 下篇
http://www.infoq.com/cn/articles/the-development-history-of-big-data-platform-internet-age

编者按：本文是松子（李博源）的大数据平台发展史系列文章的第四篇（共四篇），本系列以独特的视角，比较了非互联网和互联网两个时代以及传统行业与非传统行业。是对数据平台发展的一个回忆，对非互联网、互联网，从数据平台的用户角度、数据架构演进、模型等进行了阐述。
在互联网时代被弱化的数据模型
谈起数据模型就不得不提传统数据平台架构发展，我相信很多朋友都晓得传统数据平台的知识，其架构演进简单一句话说“基本上可以分为五个时代、四种架构”，但是到了互联网时代因为大数据快速膨胀与数据源类型多样化特点，从高阶架构上来看大约从传统数据平台第三代架构开始延续的，但是往后的发展从我自己的这一点知识上很难对互联网的数据平台做架构归类。
但是从数据平台建设与服务角色上还是有章可循的。就像上篇分享到那样，类比两个行业，互联网企业中员工年龄比非互联网企业的要年轻、受教育程度、对计算机的焦虑程度明显比传统企业要低、还偶遇其它各方面的缘故，导致了数据平台所面对用户群体与非互联网数据平台有所差异化。
传统行业与互联网行业数据平台用户特性我只选择前文章的两张图来表示
(点击放大图像)

2****，互联网财经类公司，业务包括财经网站、基金、股票、金融等，这类公司的数据仓库模型应该如何设计？特点和注意事项是什么？案例介绍？十分感谢。
松子老师：我自己经历过的是互联网金融以及移动互联网行。对这两块比较清楚。互联网金融起因为业务的特性是类金融类的，与银行有些地方是相似的。
比如大约在2012年前支付宝业务特点涉及类金融交易：充值、提现、账务管理类电子商务：购物交易过程变更、实际交易（对B机票、对C水电等） 非纯电子商务；纯金融；个人信用，理财类。系统之间依赖度较为复杂，垂直依赖（业务与核心）跨层依赖（跨过交易到账务）。
在设计方法上还是采用维度模型设计方式。底层是数据驱动为向导，结合业务需求驱动，通过简单、退化维度的方式拉宽表结构。
底层采用松耦合设计。主题之间是松耦合方式。至体内采用细粒度退化维度。
在主题域上的的设计基本参考了OMG的数据仓库元数据设计CWM模型、IBM 的fsdm金融模型、还有新巴塞尔资本协议（Basel II Capital Accord）需提供数据规范去的设计。所以数据模型是五层的结构。
在细节处理上，增量ODS层数据和前一天DWD相关表进行 merge处理。
在一些层次上，基本聚合、汇总增加派生事实表（简单一句话退化为度打宽）。然后按照业务主体合并信息等。
比如开始给大家分享的那张图：
(点击放大图像)
[图片上传中。。。（13）]
在维度模型退化处理时，要注意最细粒度数据保留、不同层次的数据支持数据重新生成。同时一定要注意互联网数据业务特性，数据质量是大心病。有可能一天某些表会重跑很多遍。在互联网的做法有可能一天会重跑好几次数据。
所以曲线救国的病态的产生出了一种通过元数据驱动的数据模型。
这种元数据驱动工具型数据产品我会在未来数据产品系列中做详细介绍的。

3****，互联网企业大数据平台的发展历程是怎样的？
松子老师：这个我相信应该是传统数据平台朋友提到的。传统行业数据平台架构演进我总结简单一句话说“基本上可以分为五个时代、四种架构”，但是到了互联网时代因为大数据快速膨胀与类型暴增的特点，从高阶架构上来看大约从第三代架构开始延续的，但是从我自己的知识上很难对互联网的数据平台做架构归类。所以我从互联网数据平台的建设、用户使用变化特征去做了总结。话说互联网数据平台基本是从传统数据平台的第三代开始的。那是我们总结下来用户特点：
(点击放大图像)
[图片上传中。。。（14）]
更加详细的每一代数据平台建设、服务角色特点您可以看我这个系列文章的第三篇，http://www.infoq.com/cn/articles/the-development-history-of-big-data-platform-paet02

4****，有没有好的元数据管理工具推荐？主要偏向数据字典与血统等。
松子老师：元数据以前目前没有太多的好管理工具。以前是在支付宝是我自己设计的一个数据产品。第一版自己用Delphi 开发的。
（图很多：）
(点击放大图像)
[图片上传中。。。（15）]
(点击放大图像)
[图片上传中。。。（16）]
(点击放大图像)
[图片上传中。。。（17）]
(点击放大图像)
[图片上传中。。。（18）]
(点击放大图像)
[图片上传中。。。（19）]
以前被逼的自己写了一个，通过解析，实现了字段级的血缘影响分析。这只是第二步，后来又把running 信息给搞了进来。还有分享时提到的模型信息、整个闭环的分类信息。
这是一个分支：
(点击放大图像)
[图片上传中。。。（20）]
但是我们实现了字段级解析准确率达到了94%左右。有细微的错误就人工revew一遍。

5. ****松子老师，数据管控的数据质量部分是怎么处理的呢？

松子老师： 数据管控， 这方面我不太懂的，但是数据质量，这玩意可大可小的。比如像在分享时说过的，在移动互联网的数据质量处理方式可以由原有的ETL(ELT)阶段前置到业务系统去解决，比如移动互联网的App log 日志，日志标准化后事件模型”存储来解决。那非app 日志类如何解决呢比如Payment、order等，数据质量比较考虑的可以只做到监控。
我来分享个图。刚好是我设计数据质量产品时搞的，理清数据质量的问题：
(点击放大图像)

6. ****能否分享一些数据产品种类及实例：

松子老师：在前边五个问题、以及文章中又都涉及数据产品实力的一些分享。
提到数据产品的分类我就想把这个图发出来。
自己认为没有特别明确的划分线，但是数据产品从三个维度划分，面向业务、功能、用户可以划分出三个方向的数据产品来。
比如面向数据平台工具型数据产品:调度、数据质量、元数据、数据建模、ETL工具、资源管控等等。
面向用户功能有报表型、多维型数据产品、定制化数据产品、挖掘型数据产品。
面向内部用户、外部个人用户、外部企业用户又有不同的分类。
根据业务又可以划分很多，面向C类用户、面向B类商户、金融风险等等
从近几年的数据产品来看，是更好的辅助用户的做决策的一种产品形态，在用户的决策与行动中充当信息的分析者与价值使用者；数据产品有个自己的共性：由解决的一个实际的业务问题出发，分解出的分析指标，分析模型，分析流程组成，再考虑到功能易用性，未来功能扩展，考虑用户对数据易用性（比如数据的呈现层次，不可能一次把所有数据的呈现给用户）来组成的。
(点击放大图像)
[图片上传中。。。（24）]

7. ****银行业从传统的ods到edw再到大数据平台这块过渡，模型如何建设？平台优势如何发挥？
松子老师：这个问题还是有些难度的，自己回答的可能有些片面。首先我们清醒的清楚“大数据”是什么？再次不同的场景可以采用不同的技术去解决。
“大数据”，拆开来看大、数据，大可以是指的数据源结构简单（ps 如果了解过当代对大数据的定义就知道四个特性）但是量级够大，比如清算、结算、对公、对私、中间业务等等每一个拿出来都是几十T，但是这些业务数据都是保存传统的关系型数据库中如DB2、Oracle、MSsql中，因为在数据平台存储是通过准3范式等等结构去保存。
在存储时可能要比较复杂的SQL 多表关联的，感觉目前传统的数据平台技技术在处理数据很让人着急。想通过互联网的大数据平台hadoop、Hive 、Spark 等技术的去演进解决。（最早时我的是中信银行、光大银行在2011年左右开始考虑Hadoop技术，后来不知道如何了）。
但是互联网的数据平台技术大都是NOSQL模式，牺牲掉了传统数据库的数据一致性、完整性、唯一索引等等，只干性能的事情（当然除了性能、可扩展性也是的）.
原有在传统数据平台模型设计上可以考虑的一些通过主外键、唯一索引做一些业务约束的方法，在nosql上统统的都没有了，这些约束必须放到数据加工阶段去想办法做检查。传统数据平台如果在Insert、update数据时违反了业务约束可以做报警或异常处理，但是在Nosql的平台上要求ETL 去手动遵守这些规则检查。但是有时ETL开发根本不遵守的，仅仅是两个表关联起来，也可能忘记按照某一个业务唯一索引做去重操作。简单说，原有靠关系型数据库本身机制去做检查一些规则变为人工，变为人工就会犯错。
从关系型数据平台往Nosql数据平台迁移时，尤其是对传统行业的业务来说，在模型设计阶段、以及给出的ETL口径要考虑更多的业务规则检查，其次要考虑更多的维度退化、多冗余、表打宽处理。简单说就是发挥数据平台的计算能力同时要更加的各方面确保数据准确安全可靠。
数据模型ODS 到EDW 这块的设计方法百度上留下的文档资料太多的了，请这位提问的老师百度吧。

**8****．大数据****仓库****中如何做快速****维处****理？互****联****网数****仓****数据****质****量不好如何****对****数，如何确立****标****准的****对****数口径？******
松子老师：快速变化维度可以转化为缓慢变化为来出来，我自己理解的快速维度是相对于缓慢维度参照的来说的。
举个例子，年龄-转化为天数可以是定义快速变化维度，因为每天都在变化。我们可以把年龄退化为区间维度来处理，还可以把年龄做成动态维度来处理，事实表中保存的就是实际的出生年月并打宽表，年龄(天)通过计算方式来处理。还有种方法通过对代理键的方式来处理。
我目前也不知道对数据的标准是什么。但是我自己用的方法，把一个指标的整个数据流向切出几个关键点通过SQL去实现对数，看波动振幅，波动曲线。同时还会比如发不通的版本的小流量测试的方式来做数据校对。

9****． 做为数据行业从业者，需要掌握哪些重要的基础知识？另：如果从零开始建立一个数据平台，需要哪些资源配置（人，财，物，技术）？大致总投资额度多少？如果同行产品间多种来源的数据，可有成熟的解决方案？谢谢…

松子老师：这个问题太宏观了。作为数据行业从业者，需要掌握哪些重要基础知识，这个是要看从事具体数据域的垂直行业。
比如说 数据开发、数据模型、数据产品、数据分析师、数据运营、数据架构师这些更加专业领域是需要不同的知识的。大家可以去itongji.cn、百度等去搜索数据架构等文章能得到更加专业的答案。
一家公司建设数据平台是跟公司目前数据量、未来数据增长、技术选型、解决业务问题有很直接的关系的。所以在解决业务目标不太明确下，难以确定方案，人员配置上选用不同技术方案去搭建的配置是不太一样的，比如说传统平台来讲，运维、DBA、数据开发、数据模型、报表人员。
从互联网数据平台基本配置上，数据架构师、运维、底层大数据技术、数据开发兼模型、数据分析师、数据产品等都有可能需要的。
同行产品间度多种数据来源，那就看数据源种类，文本的、日志类、视频影像、爬虫类的、结构化、非结构化的数据源有不同的解决技术。

10. Standalone****模式下，Model.save(Path)怎么一直提示错误，是不是配置Spark时需要将Hdfs的配置引进来啊～？表示初学Spark
松子老师：这个问题有点超出我的能力范围了，所以对不起回答不了。
我本身不是做技术的。仅知道一点技术名词。

11. ****传统银行业数据模型什么时候会走向互联网模式呢？目前在传统银行数据平台的产品是不是特别多？
松子老师：这个问题我自己就不知道了，或许是传统银行在数据平台的实施上全面用互联网的Nosql大数据处理技术吧。至于说传统银行数据模型用现有的互联网数据模型理念去设计是否完全可行，数据一致性、高准确性通过更多的方案去保证。
首先我需要确定一下这个产品是否指的“数据产品”。
如果是数据产品，那其实传统行业数据平台本身就有一些数据产品了，而且也都是存在的。数据产品自从数据仓库出现以来它其实一直都存在的，只不过是近几年因为互联网特别爱制造“流行词“把数据产品这个词给放大了。互联网是得数据产品从早期的重量级逐渐进化为轻量级、从大而全的解决方案逐渐演进为因小而美。
我来给出几组例子，大约从2004年到现在的几组数据产品的例子
(点击放大图像)
[图片上传中。。。（25）]
(点击放大图像)
[图片上传中。。。（26）]
(点击放大图像)
[图片上传中。。。（27）]
(点击放大图像)
[图片上传中。。。（28）]
(点击放大图像)
[图片上传中。。。（29）]
(点击放大图像)
[图片上传中。。。（30）]
(点击放大图像)
[图片上传中。。。（31）]
你可以分类一下，这些数据产品的特点是什么？满足了用户怎么样的痛点需求？满足了用户怎么样的使用流程。

12 ****。传统行业的数据仓库从业人员，如果转到互联网行业，应该学习哪些技能？
松子老师：这个问题你可以百度搜索“大数据职位所需要的数据技能” http://blog.jobbole.com/99039/ 这篇文章。自己觉得人家回答的比我专业。//
我所经历的大数据平台发展史（四）：互联网时代 • 下篇
http://www.infoq.com/cn/articles/the-development-history-of-big-data-platform-internet-age

编者按：本文是松子（李博源）的大数据平台发展史系列文章的第四篇（共四篇），本系列以独特的视角，比较了非互联网和互联网两个时代以及传统行业与非传统行业。是对数据平台发展的一个回忆，对非互联网、互联网，从数据平台的用户角度、数据架构演进、模型等进行了阐述。
在互联网时代被弱化的数据模型
谈起数据模型就不得不提传统数据平台架构发展，我相信很多朋友都晓得传统数据平台的知识，其架构演进简单一句话说“基本上可以分为五个时代、四种架构”，但是到了互联网时代因为大数据快速膨胀与数据源类型多样化特点，从高阶架构上来看大约从传统数据平台第三代架构开始延续的，但是往后的发展从我自己的这一点知识上很难对互联网的数据平台做架构归类。
但是从数据平台建设与服务角色上还是有章可循的。就像上篇分享到那样，类比两个行业，互联网企业中员工年龄比非互联网企业的要年轻、受教育程度、对计算机的焦虑程度明显比传统企业要低、还偶遇其它各方面的缘故，导致了数据平台所面对用户群体与非互联网数据平台有所差异化。
传统行业与互联网行业数据平台用户特性我只选择前文章的两张图来表示
(点击放大图像)

2****，互联网财经类公司，业务包括财经网站、基金、股票、金融等，这类公司的数据仓库模型应该如何设计？特点和注意事项是什么？案例介绍？十分感谢。
松子老师：我自己经历过的是互联网金融以及移动互联网行。对这两块比较清楚。互联网金融起因为业务的特性是类金融类的，与银行有些地方是相似的。
比如大约在2012年前支付宝业务特点涉及类金融交易：充值、提现、账务管理类电子商务：购物交易过程变更、实际交易（对B机票、对C水电等） 非纯电子商务；纯金融；个人信用，理财类。系统之间依赖度较为复杂，垂直依赖（业务与核心）跨层依赖（跨过交易到账务）。
在设计方法上还是采用维度模型设计方式。底层是数据驱动为向导，结合业务需求驱动，通过简单、退化维度的方式拉宽表结构。
底层采用松耦合设计。主题之间是松耦合方式。至体内采用细粒度退化维度。
在主题域上的的设计基本参考了OMG的数据仓库元数据设计CWM模型、IBM 的fsdm金融模型、还有新巴塞尔资本协议（Basel II Capital Accord）需提供数据规范去的设计。所以数据模型是五层的结构。
在细节处理上，增量ODS层数据和前一天DWD相关表进行 merge处理。
在一些层次上，基本聚合、汇总增加派生事实表（简单一句话退化为度打宽）。然后按照业务主体合并信息等。
比如开始给大家分享的那张图：
(点击放大图像)
[图片上传中。。。（13）]
在维度模型退化处理时，要注意最细粒度数据保留、不同层次的数据支持数据重新生成。同时一定要注意互联网数据业务特性，数据质量是大心病。有可能一天某些表会重跑很多遍。在互联网的做法有可能一天会重跑好几次数据。
所以曲线救国的病态的产生出了一种通过元数据驱动的数据模型。
这种元数据驱动工具型数据产品我会在未来数据产品系列中做详细介绍的。

3****，互联网企业大数据平台的发展历程是怎样的？
松子老师：这个我相信应该是传统数据平台朋友提到的。传统行业数据平台架构演进我总结简单一句话说“基本上可以分为五个时代、四种架构”，但是到了互联网时代因为大数据快速膨胀与类型暴增的特点，从高阶架构上来看大约从第三代架构开始延续的，但是从我自己的知识上很难对互联网的数据平台做架构归类。所以我从互联网数据平台的建设、用户使用变化特征去做了总结。话说互联网数据平台基本是从传统数据平台的第三代开始的。那是我们总结下来用户特点：
(点击放大图像)
[图片上传中。。。（14）]
更加详细的每一代数据平台建设、服务角色特点您可以看我这个系列文章的第三篇，http://www.infoq.com/cn/articles/the-development-history-of-big-data-platform-paet02

4****，有没有好的元数据管理工具推荐？主要偏向数据字典与血统等。
松子老师：元数据以前目前没有太多的好管理工具。以前是在支付宝是我自己设计的一个数据产品。第一版自己用Delphi 开发的。
（图很多：）
(点击放大图像)
[图片上传中。。。（15）]
(点击放大图像)
[图片上传中。。。（16）]
(点击放大图像)
[图片上传中。。。（17）]
(点击放大图像)
[图片上传中。。。（18）]
(点击放大图像)
[图片上传中。。。（19）]
以前被逼的自己写了一个，通过解析，实现了字段级的血缘影响分析。这只是第二步，后来又把running 信息给搞了进来。还有分享时提到的模型信息、整个闭环的分类信息。
这是一个分支：
(点击放大图像)
[图片上传中。。。（20）]
但是我们实现了字段级解析准确率达到了94%左右。有细微的错误就人工revew一遍。

5. ****松子老师，数据管控的数据质量部分是怎么处理的呢？

松子老师： 数据管控， 这方面我不太懂的，但是数据质量，这玩意可大可小的。比如像在分享时说过的，在移动互联网的数据质量处理方式可以由原有的ETL(ELT)阶段前置到业务系统去解决，比如移动互联网的App log 日志，日志标准化后事件模型”存储来解决。那非app 日志类如何解决呢比如Payment、order等，数据质量比较考虑的可以只做到监控。
我来分享个图。刚好是我设计数据质量产品时搞的，理清数据质量的问题：
(点击放大图像)
[图片上传中。。。（21）]
(点击放大图像)
[图片上传中。。。（22）]
(点击放大图像)
[图片上传中。。。（23）]
只要数据进入仓库与应用体系，处理起来就比较困难了，所以在数据平台阶段最好是通过监控、前置去解决。目前数据质量确实难以100%由事后搞到事前去处理。我对数据平台与数据产品的建设就是实用为主。怎么实用怎么来。我是比较现实的实用主义者。

6. ****能否分享一些数据产品种类及实例：

松子老师：在前边五个问题、以及文章中又都涉及数据产品实力的一些分享。
提到数据产品的分类我就想把这个图发出来。
自己认为没有特别明确的划分线，但是数据产品从三个维度划分，面向业务、功能、用户可以划分出三个方向的数据产品来。
比如面向数据平台工具型数据产品:调度、数据质量、元数据、数据建模、ETL工具、资源管控等等。
面向用户功能有报表型、多维型数据产品、定制化数据产品、挖掘型数据产品。
面向内部用户、外部个人用户、外部企业用户又有不同的分类。
根据业务又可以划分很多，面向C类用户、面向B类商户、金融风险等等
从近几年的数据产品来看，是更好的辅助用户的做决策的一种产品形态，在用户的决策与行动中充当信息的分析者与价值使用者；数据产品有个自己的共性：由解决的一个实际的业务问题出发，分解出的分析指标，分析模型，分析流程组成，再考虑到功能易用性，未来功能扩展，考虑用户对数据易用性（比如数据的呈现层次，不可能一次把所有数据的呈现给用户）来组成的。
(点击放大图像)
[图片上传中。。。（24）]

7. ****银行业从传统的ods到edw再到大数据平台这块过渡，模型如何建设？平台优势如何发挥？
松子老师：这个问题还是有些难度的，自己回答的可能有些片面。首先我们清醒的清楚“大数据”是什么？再次不同的场景可以采用不同的技术去解决。
“大数据”，拆开来看大、数据，大可以是指的数据源结构简单（ps 如果了解过当代对大数据的定义就知道四个特性）但是量级够大，比如清算、结算、对公、对私、中间业务等等每一个拿出来都是几十T，但是这些业务数据都是保存传统的关系型数据库中如DB2、Oracle、MSsql中，因为在数据平台存储是通过准3范式等等结构去保存。
在存储时可能要比较复杂的SQL 多表关联的，感觉目前传统的数据平台技技术在处理数据很让人着急。想通过互联网的大数据平台hadoop、Hive 、Spark 等技术的去演进解决。（最早时我的是中信银行、光大银行在2011年左右开始考虑Hadoop技术，后来不知道如何了）。
但是互联网的数据平台技术大都是NOSQL模式，牺牲掉了传统数据库的数据一致性、完整性、唯一索引等等，只干性能的事情（当然除了性能、可扩展性也是的）.
原有在传统数据平台模型设计上可以考虑的一些通过主外键、唯一索引做一些业务约束的方法，在nosql上统统的都没有了，这些约束必须放到数据加工阶段去想办法做检查。传统数据平台如果在Insert、update数据时违反了业务约束可以做报警或异常处理，但是在Nosql的平台上要求ETL 去手动遵守这些规则检查。但是有时ETL开发根本不遵守的，仅仅是两个表关联起来，也可能忘记按照某一个业务唯一索引做去重操作。简单说，原有靠关系型数据库本身机制去做检查一些规则变为人工，变为人工就会犯错。
从关系型数据平台往Nosql数据平台迁移时，尤其是对传统行业的业务来说，在模型设计阶段、以及给出的ETL口径要考虑更多的业务规则检查，其次要考虑更多的维度退化、多冗余、表打宽处理。简单说就是发挥数据平台的计算能力同时要更加的各方面确保数据准确安全可靠。
数据模型ODS 到EDW 这块的设计方法百度上留下的文档资料太多的了，请这位提问的老师百度吧。

**8****．大数据****仓库****中如何做快速****维处****理？互****联****网数****仓****数据****质****量不好如何****对****数，如何确立****标****准的****对****数口径？******
松子老师：快速变化维度可以转化为缓慢变化为来出来，我自己理解的快速维度是相对于缓慢维度参照的来说的。
举个例子，年龄-转化为天数可以是定义快速变化维度，因为每天都在变化。我们可以把年龄退化为区间维度来处理，还可以把年龄做成动态维度来处理，事实表中保存的就是实际的出生年月并打宽表，年龄(天)通过计算方式来处理。还有种方法通过对代理键的方式来处理。
我目前也不知道对数据的标准是什么。但是我自己用的方法，把一个指标的整个数据流向切出几个关键点通过SQL去实现对数，看波动振幅，波动曲线。同时还会比如发不通的版本的小流量测试的方式来做数据校对。

9****． 做为数据行业从业者，需要掌握哪些重要的基础知识？另：如果从零开始建立一个数据平台，需要哪些资源配置（人，财，物，技术）？大致总投资额度多少？如果同行产品间多种来源的数据，可有成熟的解决方案？谢谢…

松子老师：这个问题太宏观了。作为数据行业从业者，需要掌握哪些重要基础知识，这个是要看从事具体数据域的垂直行业。
比如说 数据开发、数据模型、数据产品、数据分析师、数据运营、数据架构师这些更加专业领域是需要不同的知识的。大家可以去itongji.cn、百度等去搜索数据架构等文章能得到更加专业的答案。
一家公司建设数据平台是跟公司目前数据量、未来数据增长、技术选型、解决业务问题有很直接的关系的。所以在解决业务目标不太明确下，难以确定方案，人员配置上选用不同技术方案去搭建的配置是不太一样的，比如说传统平台来讲，运维、DBA、数据开发、数据模型、报表人员。
从互联网数据平台基本配置上，数据架构师、运维、底层大数据技术、数据开发兼模型、数据分析师、数据产品等都有可能需要的。
同行产品间度多种数据来源，那就看数据源种类，文本的、日志类、视频影像、爬虫类的、结构化、非结构化的数据源有不同的解决技术。

10. Standalone****模式下，Model.save(Path)怎么一直提示错误，是不是配置Spark时需要将Hdfs的配置引进来啊～？表示初学Spark
松子老师：这个问题有点超出我的能力范围了，所以对不起回答不了。
我本身不是做技术的。仅知道一点技术名词。

11. ****传统银行业数据模型什么时候会走向互联网模式呢？目前在传统银行数据平台的产品是不是特别多？
松子老师：这个问题我自己就不知道了，或许是传统银行在数据平台的实施上全面用互联网的Nosql大数据处理技术吧。至于说传统银行数据模型用现有的互联网数据模型理念去设计是否完全可行，数据一致性、高准确性通过更多的方案去保证。
首先我需要确定一下这个产品是否指的“数据产品”。
如果是数据产品，那其实传统行业数据平台本身就有一些数据产品了，而且也都是存在的。数据产品自从数据仓库出现以来它其实一直都存在的，只不过是近几年因为互联网特别爱制造“流行词“把数据产品这个词给放大了。互联网是得数据产品从早期的重量级逐渐进化为轻量级、从大而全的解决方案逐渐演进为因小而美。
我来给出几组例子，大约从2004年到现在的几组数据产品的例子
(点击放大图像)
[图片上传中。。。（25）]
(点击放大图像)
[图片上传中。。。（26）]
(点击放大图像)
[图片上传中。。。（27）]
(点击放大图像)
[图片上传中。。。（28）]
(点击放大图像)
[图片上传中。。。（29）]
(点击放大图像)
[图片上传中。。。（30）]
(点击放大图像)
[图片上传中。。。（31）]
你可以分类一下，这些数据产品的特点是什么？满足了用户怎么样的痛点需求？满足了用户怎么样的使用流程。

12 ****。传统行业的数据仓库从业人员，如果转到互联网行业，应该学习哪些技能？
松子老师：这个问题你可以百度搜索“大数据职位所需要的数据技能” http://blog.jobbole.com/99039/ 这篇文章。自己觉得人家回答的比我专业。//
我所经历的大数据平台发展史（四）：互联网时代 • 下篇
http://www.infoq.com/cn/articles/the-development-history-of-big-data-platform-internet-age

编者按：本文是松子（李博源）的大数据平台发展史系列文章的第四篇（共四篇），本系列以独特的视角，比较了非互联网和互联网两个时代以及传统行业与非传统行业。是对数据平台发展的一个回忆，对非互联网、互联网，从数据平台的用户角度、数据架构演进、模型等进行了阐述。
在互联网时代被弱化的数据模型
谈起数据模型就不得不提传统数据平台架构发展，我相信很多朋友都晓得传统数据平台的知识，其架构演进简单一句话说“基本上可以分为五个时代、四种架构”，但是到了互联网时代因为大数据快速膨胀与数据源类型多样化特点，从高阶架构上来看大约从传统数据平台第三代架构开始延续的，但是往后的发展从我自己的这一点知识上很难对互联网的数据平台做架构归类。
但是从数据平台建设与服务角色上还是有章可循的。就像上篇分享到那样，类比两个行业，互联网企业中员工年龄比非互联网企业的要年轻、受教育程度、对计算机的焦虑程度明显比传统企业要低、还偶遇其它各方面的缘故，导致了数据平台所面对用户群体与非互联网数据平台有所差异化。
传统行业与互联网行业数据平台用户特性我只选择前文章的两张图来表示
(点击放大图像)

2****，互联网财经类公司，业务包括财经网站、基金、股票、金融等，这类公司的数据仓库模型应该如何设计？特点和注意事项是什么？案例介绍？十分感谢。
松子老师：我自己经历过的是互联网金融以及移动互联网行。对这两块比较清楚。互联网金融起因为业务的特性是类金融类的，与银行有些地方是相似的。
比如大约在2012年前支付宝业务特点涉及类金融交易：充值、提现、账务管理类电子商务：购物交易过程变更、实际交易（对B机票、对C水电等） 非纯电子商务；纯金融；个人信用，理财类。系统之间依赖度较为复杂，垂直依赖（业务与核心）跨层依赖（跨过交易到账务）。
在设计方法上还是采用维度模型设计方式。底层是数据驱动为向导，结合业务需求驱动，通过简单、退化维度的方式拉宽表结构。
底层采用松耦合设计。主题之间是松耦合方式。至体内采用细粒度退化维度。
在主题域上的的设计基本参考了OMG的数据仓库元数据设计CWM模型、IBM 的fsdm金融模型、还有新巴塞尔资本协议（Basel II Capital Accord）需提供数据规范去的设计。所以数据模型是五层的结构。
在细节处理上，增量ODS层数据和前一天DWD相关表进行 merge处理。
在一些层次上，基本聚合、汇总增加派生事实表（简单一句话退化为度打宽）。然后按照业务主体合并信息等。
比如开始给大家分享的那张图：
(点击放大图像)
[图片上传中。。。（13）]
在维度模型退化处理时，要注意最细粒度数据保留、不同层次的数据支持数据重新生成。同时一定要注意互联网数据业务特性，数据质量是大心病。有可能一天某些表会重跑很多遍。在互联网的做法有可能一天会重跑好几次数据。
所以曲线救国的病态的产生出了一种通过元数据驱动的数据模型。
这种元数据驱动工具型数据产品我会在未来数据产品系列中做详细介绍的。

3****，互联网企业大数据平台的发展历程是怎样的？
松子老师：这个我相信应该是传统数据平台朋友提到的。传统行业数据平台架构演进我总结简单一句话说“基本上可以分为五个时代、四种架构”，但是到了互联网时代因为大数据快速膨胀与类型暴增的特点，从高阶架构上来看大约从第三代架构开始延续的，但是从我自己的知识上很难对互联网的数据平台做架构归类。所以我从互联网数据平台的建设、用户使用变化特征去做了总结。话说互联网数据平台基本是从传统数据平台的第三代开始的。那是我们总结下来用户特点：
(点击放大图像)
[图片上传中。。。（14）]
更加详细的每一代数据平台建设、服务角色特点您可以看我这个系列文章的第三篇，http://www.infoq.com/cn/articles/the-development-history-of-big-data-platform-paet02

4****，有没有好的元数据管理工具推荐？主要偏向数据字典与血统等。
松子老师：元数据以前目前没有太多的好管理工具。以前是在支付宝是我自己设计的一个数据产品。第一版自己用Delphi 开发的。
（图很多：）
(点击放大图像)
[图片上传中。。。（15）]
(点击放大图像)
[图片上传中。。。（16）]
(点击放大图像)
[图片上传中。。。（17）]
(点击放大图像)
[图片上传中。。。（18）]
(点击放大图像)
[图片上传中。。。（19）]
以前被逼的自己写了一个，通过解析，实现了字段级的血缘影响分析。这只是第二步，后来又把running 信息给搞了进来。还有分享时提到的模型信息、整个闭环的分类信息。
这是一个分支：
(点击放大图像)
[图片上传中。。。（20）]
但是我们实现了字段级解析准确率达到了94%左右。有细微的错误就人工revew一遍。

5. ****松子老师，数据管控的数据质量部分是怎么处理的呢？

松子老师： 数据管控， 这方面我不太懂的，但是数据质量，这玩意可大可小的。比如像在分享时说过的，在移动互联网的数据质量处理方式可以由原有的ETL(ELT)阶段前置到业务系统去解决，比如移动互联网的App log 日志，日志标准化后事件模型”存储来解决。那非app 日志类如何解决呢比如Payment、order等，数据质量比较考虑的可以只做到监控。
我来分享个图。刚好是我设计数据质量产品时搞的，理清数据质量的问题：
(点击放大图像)
[图片上传中。。。（21）]
(点击放大图像)
[图片上传中。。。（22）]
(点击放大图像)
[图片上传中。。。（23）]
只要数据进入仓库与应用体系，处理起来就比较困难了，所以在数据平台阶段最好是通过监控、前置去解决。目前数据质量确实难以100%由事后搞到事前去处理。我对数据平台与数据产品的建设就是实用为主。怎么实用怎么来。我是比较现实的实用主义者。

6. ****能否分享一些数据产品种类及实例：

松子老师：在前边五个问题、以及文章中又都涉及数据产品实力的一些分享。
提到数据产品的分类我就想把这个图发出来。
自己认为没有特别明确的划分线，但是数据产品从三个维度划分，面向业务、功能、用户可以划分出三个方向的数据产品来。
比如面向数据平台工具型数据产品:调度、数据质量、元数据、数据建模、ETL工具、资源管控等等。
面向用户功能有报表型、多维型数据产品、定制化数据产品、挖掘型数据产品。
面向内部用户、外部个人用户、外部企业用户又有不同的分类。
根据业务又可以划分很多，面向C类用户、面向B类商户、金融风险等等
从近几年的数据产品来看，是更好的辅助用户的做决策的一种产品形态，在用户的决策与行动中充当信息的分析者与价值使用者；数据产品有个自己的共性：由解决的一个实际的业务问题出发，分解出的分析指标，分析模型，分析流程组成，再考虑到功能易用性，未来功能扩展，考虑用户对数据易用性（比如数据的呈现层次，不可能一次把所有数据的呈现给用户）来组成的。
(点击放大图像)
[图片上传中。。。（24）]

7. ****银行业从传统的ods到edw再到大数据平台这块过渡，模型如何建设？平台优势如何发挥？
松子老师：这个问题还是有些难度的，自己回答的可能有些片面。首先我们清醒的清楚“大数据”是什么？再次不同的场景可以采用不同的技术去解决。
“大数据”，拆开来看大、数据，大可以是指的数据源结构简单（ps 如果了解过当代对大数据的定义就知道四个特性）但是量级够大，比如清算、结算、对公、对私、中间业务等等每一个拿出来都是几十T，但是这些业务数据都是保存传统的关系型数据库中如DB2、Oracle、MSsql中，因为在数据平台存储是通过准3范式等等结构去保存。
在存储时可能要比较复杂的SQL 多表关联的，感觉目前传统的数据平台技技术在处理数据很让人着急。想通过互联网的大数据平台hadoop、Hive 、Spark 等技术的去演进解决。（最早时我的是中信银行、光大银行在2011年左右开始考虑Hadoop技术，后来不知道如何了）。
但是互联网的数据平台技术大都是NOSQL模式，牺牲掉了传统数据库的数据一致性、完整性、唯一索引等等，只干性能的事情（当然除了性能、可扩展性也是的）.
原有在传统数据平台模型设计上可以考虑的一些通过主外键、唯一索引做一些业务约束的方法，在nosql上统统的都没有了，这些约束必须放到数据加工阶段去想办法做检查。传统数据平台如果在Insert、update数据时违反了业务约束可以做报警或异常处理，但是在Nosql的平台上要求ETL 去手动遵守这些规则检查。但是有时ETL开发根本不遵守的，仅仅是两个表关联起来，也可能忘记按照某一个业务唯一索引做去重操作。简单说，原有靠关系型数据库本身机制去做检查一些规则变为人工，变为人工就会犯错。
从关系型数据平台往Nosql数据平台迁移时，尤其是对传统行业的业务来说，在模型设计阶段、以及给出的ETL口径要考虑更多的业务规则检查，其次要考虑更多的维度退化、多冗余、表打宽处理。简单说就是发挥数据平台的计算能力同时要更加的各方面确保数据准确安全可靠。
数据模型ODS 到EDW 这块的设计方法百度上留下的文档资料太多的了，请这位提问的老师百度吧。

**8****．大数据****仓库****中如何做快速****维处****理？互****联****网数****仓****数据****质****量不好如何****对****数，如何确立****标****准的****对****数口径？******
松子老师：快速变化维度可以转化为缓慢变化为来出来，我自己理解的快速维度是相对于缓慢维度参照的来说的。
举个例子，年龄-转化为天数可以是定义快速变化维度，因为每天都在变化。我们可以把年龄退化为区间维度来处理，还可以把年龄做成动态维度来处理，事实表中保存的就是实际的出生年月并打宽表，年龄(天)通过计算方式来处理。还有种方法通过对代理键的方式来处理。
我目前也不知道对数据的标准是什么。但是我自己用的方法，把一个指标的整个数据流向切出几个关键点通过SQL去实现对数，看波动振幅，波动曲线。同时还会比如发不通的版本的小流量测试的方式来做数据校对。

9****． 做为数据行业从业者，需要掌握哪些重要的基础知识？另：如果从零开始建立一个数据平台，需要哪些资源配置（人，财，物，技术）？大致总投资额度多少？如果同行产品间多种来源的数据，可有成熟的解决方案？谢谢…

松子老师：这个问题太宏观了。作为数据行业从业者，需要掌握哪些重要基础知识，这个是要看从事具体数据域的垂直行业。
比如说 数据开发、数据模型、数据产品、数据分析师、数据运营、数据架构师这些更加专业领域是需要不同的知识的。大家可以去itongji.cn、百度等去搜索数据架构等文章能得到更加专业的答案。
一家公司建设数据平台是跟公司目前数据量、未来数据增长、技术选型、解决业务问题有很直接的关系的。所以在解决业务目标不太明确下，难以确定方案，人员配置上选用不同技术方案去搭建的配置是不太一样的，比如说传统平台来讲，运维、DBA、数据开发、数据模型、报表人员。
从互联网数据平台基本配置上，数据架构师、运维、底层大数据技术、数据开发兼模型、数据分析师、数据产品等都有可能需要的。
同行产品间度多种数据来源，那就看数据源种类，文本的、日志类、视频影像、爬虫类的、结构化、非结构化的数据源有不同的解决技术。

10. Standalone****模式下，Model.save(Path)怎么一直提示错误，是不是配置Spark时需要将Hdfs的配置引进来啊～？表示初学Spark
松子老师：这个问题有点超出我的能力范围了，所以对不起回答不了。
我本身不是做技术的。仅知道一点技术名词。

11. ****传统银行业数据模型什么时候会走向互联网模式呢？目前在传统银行数据平台的产品是不是特别多？
松子老师：这个问题我自己就不知道了，或许是传统银行在数据平台的实施上全面用互联网的Nosql大数据处理技术吧。至于说传统银行数据模型用现有的互联网数据模型理念去设计是否完全可行，数据一致性、高准确性通过更多的方案去保证。
首先我需要确定一下这个产品是否指的“数据产品”。
如果是数据产品，那其实传统行业数据平台本身就有一些数据产品了，而且也都是存在的。数据产品自从数据仓库出现以来它其实一直都存在的，只不过是近几年因为互联网特别爱制造“流行词“把数据产品这个词给放大了。互联网是得数据产品从早期的重量级逐渐进化为轻量级、从大而全的解决方案逐渐演进为因小而美。
我来给出几组例子，大约从2004年到现在的几组数据产品的例子
(点击放大图像)
[图片上传中。。。（25）]
(点击放大图像)
[图片上传中。。。（26）]
(点击放大图像)

12 ****。传统行业的数据仓库从业人员，如果转到互联网行业，应该学习哪些技能？
松子老师：这个问题你可以百度搜索“大数据职位所需要的数据技能” http://blog.jobbole.com/99039/ 这篇文章。自己觉得人家回答的比我专业。//
我所经历的大数据平台发展史（四）：互联网时代 • 下篇
http://www.infoq.com/cn/articles/the-development-history-of-big-data-platform-internet-age

编者按：本文是松子（李博源）的大数据平台发展史系列文章的第四篇（共四篇），本系列以独特的视角，比较了非互联网和互联网两个时代以及传统行业与非传统行业。是对数据平台发展的一个回忆，对非互联网、互联网，从数据平台的用户角度、数据架构演进、模型等进行了阐述。
在互联网时代被弱化的数据模型
谈起数据模型就不得不提传统数据平台架构发展，我相信很多朋友都晓得传统数据平台的知识，其架构演进简单一句话说“基本上可以分为五个时代、四种架构”，但是到了互联网时代因为大数据快速膨胀与数据源类型多样化特点，从高阶架构上来看大约从传统数据平台第三代架构开始延续的，但是往后的发展从我自己的这一点知识上很难对互联网的数据平台做架构归类。
但是从数据平台建设与服务角色上还是有章可循的。就像上篇分享到那样，类比两个行业，互联网企业中员工年龄比非互联网企业的要年轻、受教育程度、对计算机的焦虑程度明显比传统企业要低、还偶遇其它各方面的缘故，导致了数据平台所面对用户群体与非互联网数据平台有所差异化。
传统行业与互联网行业数据平台用户特性我只选择前文章的两张图来表示
(点击放大图像)

2****，互联网财经类公司，业务包括财经网站、基金、股票、金融等，这类公司的数据仓库模型应该如何设计？特点和注意事项是什么？案例介绍？十分感谢。
松子老师：我自己经历过的是互联网金融以及移动互联网行。对这两块比较清楚。互联网金融起因为业务的特性是类金融类的，与银行有些地方是相似的。
比如大约在2012年前支付宝业务特点涉及类金融交易：充值、提现、账务管理类电子商务：购物交易过程变更、实际交易（对B机票、对C水电等） 非纯电子商务；纯金融；个人信用，理财类。系统之间依赖度较为复杂，垂直依赖（业务与核心）跨层依赖（跨过交易到账务）。
在设计方法上还是采用维度模型设计方式。底层是数据驱动为向导，结合业务需求驱动，通过简单、退化维度的方式拉宽表结构。
底层采用松耦合设计。主题之间是松耦合方式。至体内采用细粒度退化维度。
在主题域上的的设计基本参考了OMG的数据仓库元数据设计CWM模型、IBM 的fsdm金融模型、还有新巴塞尔资本协议（Basel II Capital Accord）需提供数据规范去的设计。所以数据模型是五层的结构。
在细节处理上，增量ODS层数据和前一天DWD相关表进行 merge处理。
在一些层次上，基本聚合、汇总增加派生事实表（简单一句话退化为度打宽）。然后按照业务主体合并信息等。
比如开始给大家分享的那张图：
(点击放大图像)
[图片上传中。。。（13）]
在维度模型退化处理时，要注意最细粒度数据保留、不同层次的数据支持数据重新生成。同时一定要注意互联网数据业务特性，数据质量是大心病。有可能一天某些表会重跑很多遍。在互联网的做法有可能一天会重跑好几次数据。
所以曲线救国的病态的产生出了一种通过元数据驱动的数据模型。
这种元数据驱动工具型数据产品我会在未来数据产品系列中做详细介绍的。

3****，互联网企业大数据平台的发展历程是怎样的？
松子老师：这个我相信应该是传统数据平台朋友提到的。传统行业数据平台架构演进我总结简单一句话说“基本上可以分为五个时代、四种架构”，但是到了互联网时代因为大数据快速膨胀与类型暴增的特点，从高阶架构上来看大约从第三代架构开始延续的，但是从我自己的知识上很难对互联网的数据平台做架构归类。所以我从互联网数据平台的建设、用户使用变化特征去做了总结。话说互联网数据平台基本是从传统数据平台的第三代开始的。那是我们总结下来用户特点：
(点击放大图像)
[图片上传中。。。（14）]
更加详细的每一代数据平台建设、服务角色特点您可以看我这个系列文章的第三篇，http://www.infoq.com/cn/articles/the-development-history-of-big-data-platform-paet02

4****，有没有好的元数据管理工具推荐？主要偏向数据字典与血统等。
松子老师：元数据以前目前没有太多的好管理工具。以前是在支付宝是我自己设计的一个数据产品。第一版自己用Delphi 开发的。
（图很多：）
(点击放大图像)
[图片上传中。。。（15）]
(点击放大图像)
[图片上传中。。。（16）]
(点击放大图像)
[图片上传中。。。（17）]
(点击放大图像)
[图片上传中。。。（18）]
(点击放大图像)
[图片上传中。。。（19）]
以前被逼的自己写了一个，通过解析，实现了字段级的血缘影响分析。这只是第二步，后来又把running 信息给搞了进来。还有分享时提到的模型信息、整个闭环的分类信息。
这是一个分支：
(点击放大图像)
[图片上传中。。。（20）]
但是我们实现了字段级解析准确率达到了94%左右。有细微的错误就人工revew一遍。

5. ****松子老师，数据管控的数据质量部分是怎么处理的呢？

松子老师： 数据管控， 这方面我不太懂的，但是数据质量，这玩意可大可小的。比如像在分享时说过的，在移动互联网的数据质量处理方式可以由原有的ETL(ELT)阶段前置到业务系统去解决，比如移动互联网的App log 日志，日志标准化后事件模型”存储来解决。那非app 日志类如何解决呢比如Payment、order等，数据质量比较考虑的可以只做到监控。
我来分享个图。刚好是我设计数据质量产品时搞的，理清数据质量的问题：
(点击放大图像)
[图片上传中。。。（21）]
(点击放大图像)
[图片上传中。。。（22）]
(点击放大图像)
[图片上传中。。。（23）]
只要数据进入仓库与应用体系，处理起来就比较困难了，所以在数据平台阶段最好是通过监控、前置去解决。目前数据质量确实难以100%由事后搞到事前去处理。我对数据平台与数据产品的建设就是实用为主。怎么实用怎么来。我是比较现实的实用主义者。

6. ****能否分享一些数据产品种类及实例：

松子老师：在前边五个问题、以及文章中又都涉及数据产品实力的一些分享。
提到数据产品的分类我就想把这个图发出来。
自己认为没有特别明确的划分线，但是数据产品从三个维度划分，面向业务、功能、用户可以划分出三个方向的数据产品来。
比如面向数据平台工具型数据产品:调度、数据质量、元数据、数据建模、ETL工具、资源管控等等。
面向用户功能有报表型、多维型数据产品、定制化数据产品、挖掘型数据产品。
面向内部用户、外部个人用户、外部企业用户又有不同的分类。
根据业务又可以划分很多，面向C类用户、面向B类商户、金融风险等等
从近几年的数据产品来看，是更好的辅助用户的做决策的一种产品形态，在用户的决策与行动中充当信息的分析者与价值使用者；数据产品有个自己的共性：由解决的一个实际的业务问题出发，分解出的分析指标，分析模型，分析流程组成，再考虑到功能易用性，未来功能扩展，考虑用户对数据易用性（比如数据的呈现层次，不可能一次把所有数据的呈现给用户）来组成的。
(点击放大图像)
[图片上传中。。。（24）]

7. ****银行业从传统的ods到edw再到大数据平台这块过渡，模型如何建设？平台优势如何发挥？
松子老师：这个问题还是有些难度的，自己回答的可能有些片面。首先我们清醒的清楚“大数据”是什么？再次不同的场景可以采用不同的技术去解决。
“大数据”，拆开来看大、数据，大可以是指的数据源结构简单（ps 如果了解过当代对大数据的定义就知道四个特性）但是量级够大，比如清算、结算、对公、对私、中间业务等等每一个拿出来都是几十T，但是这些业务数据都是保存传统的关系型数据库中如DB2、Oracle、MSsql中，因为在数据平台存储是通过准3范式等等结构去保存。
在存储时可能要比较复杂的SQL 多表关联的，感觉目前传统的数据平台技技术在处理数据很让人着急。想通过互联网的大数据平台hadoop、Hive 、Spark 等技术的去演进解决。（最早时我的是中信银行、光大银行在2011年左右开始考虑Hadoop技术，后来不知道如何了）。
但是互联网的数据平台技术大都是NOSQL模式，牺牲掉了传统数据库的数据一致性、完整性、唯一索引等等，只干性能的事情（当然除了性能、可扩展性也是的）.
原有在传统数据平台模型设计上可以考虑的一些通过主外键、唯一索引做一些业务约束的方法，在nosql上统统的都没有了，这些约束必须放到数据加工阶段去想办法做检查。传统数据平台如果在Insert、update数据时违反了业务约束可以做报警或异常处理，但是在Nosql的平台上要求ETL 去手动遵守这些规则检查。但是有时ETL开发根本不遵守的，仅仅是两个表关联起来，也可能忘记按照某一个业务唯一索引做去重操作。简单说，原有靠关系型数据库本身机制去做检查一些规则变为人工，变为人工就会犯错。
从关系型数据平台往Nosql数据平台迁移时，尤其是对传统行业的业务来说，在模型设计阶段、以及给出的ETL口径要考虑更多的业务规则检查，其次要考虑更多的维度退化、多冗余、表打宽处理。简单说就是发挥数据平台的计算能力同时要更加的各方面确保数据准确安全可靠。
数据模型ODS 到EDW 这块的设计方法百度上留下的文档资料太多的了，请这位提问的老师百度吧。

**8****．大数据****仓库****中如何做快速****维处****理？互****联****网数****仓****数据****质****量不好如何****对****数，如何确立****标****准的****对****数口径？******
松子老师：快速变化维度可以转化为缓慢变化为来出来，我自己理解的快速维度是相对于缓慢维度参照的来说的。
举个例子，年龄-转化为天数可以是定义快速变化维度，因为每天都在变化。我们可以把年龄退化为区间维度来处理，还可以把年龄做成动态维度来处理，事实表中保存的就是实际的出生年月并打宽表，年龄(天)通过计算方式来处理。还有种方法通过对代理键的方式来处理。
我目前也不知道对数据的标准是什么。但是我自己用的方法，把一个指标的整个数据流向切出几个关键点通过SQL去实现对数，看波动振幅，波动曲线。同时还会比如发不通的版本的小流量测试的方式来做数据校对。

9****． 做为数据行业从业者，需要掌握哪些重要的基础知识？另：如果从零开始建立一个数据平台，需要哪些资源配置（人，财，物，技术）？大致总投资额度多少？如果同行产品间多种来源的数据，可有成熟的解决方案？谢谢…

松子老师：这个问题太宏观了。作为数据行业从业者，需要掌握哪些重要基础知识，这个是要看从事具体数据域的垂直行业。
比如说 数据开发、数据模型、数据产品、数据分析师、数据运营、数据架构师这些更加专业领域是需要不同的知识的。大家可以去itongji.cn、百度等去搜索数据架构等文章能得到更加专业的答案。
一家公司建设数据平台是跟公司目前数据量、未来数据增长、技术选型、解决业务问题有很直接的关系的。所以在解决业务目标不太明确下，难以确定方案，人员配置上选用不同技术方案去搭建的配置是不太一样的，比如说传统平台来讲，运维、DBA、数据开发、数据模型、报表人员。
从互联网数据平台基本配置上，数据架构师、运维、底层大数据技术、数据开发兼模型、数据分析师、数据产品等都有可能需要的。
同行产品间度多种数据来源，那就看数据源种类，文本的、日志类、视频影像、爬虫类的、结构化、非结构化的数据源有不同的解决技术。

10. Standalone****模式下，Model.save(Path)怎么一直提示错误，是不是配置Spark时需要将Hdfs的配置引进来啊～？表示初学Spark
松子老师：这个问题有点超出我的能力范围了，所以对不起回答不了。
我本身不是做技术的。仅知道一点技术名词。

11. ****传统银行业数据模型什么时候会走向互联网模式呢？目前在传统银行数据平台的产品是不是特别多？
松子老师：这个问题我自己就不知道了，或许是传统银行在数据平台的实施上全面用互联网的Nosql大数据处理技术吧。至于说传统银行数据模型用现有的互联网数据模型理念去设计是否完全可行，数据一致性、高准确性通过更多的方案去保证。
首先我需要确定一下这个产品是否指的“数据产品”。
如果是数据产品，那其实传统行业数据平台本身就有一些数据产品了，而且也都是存在的。数据产品自从数据仓库出现以来它其实一直都存在的，只不过是近几年因为互联网特别爱制造“流行词“把数据产品这个词给放大了。互联网是得数据产品从早期的重量级逐渐进化为轻量级、从大而全的解决方案逐渐演进为因小而美。
我来给出几组例子，大约从2004年到现在的几组数据产品的例子
(点击放大图像)
[图片上传中。。。（25）]
(点击放大图像)
[图片上传中。。。（26）]
(点击放大图像)
[图片上传中。。。（27）]
(点击放大图像)
[图片上传中。。。（28）]
(点击放大图像)
[图片上传中。。。（29）]
(点击放大图像)
[图片上传中。。。（30）]
(点击放大图像)

12 ****。传统行业的数据仓库从业人员，如果转到互联网行业，应该学习哪些技能？
松子老师：这个问题你可以百度搜索“大数据职位所需要的数据技能” http://blog.jobbole.com/99039/ 这篇文章。自己觉得人家回答的比我专业。//
我所经历的大数据平台发展史（四）：互联网时代 • 下篇
http://www.infoq.com/cn/articles/the-development-history-of-big-data-platform-internet-age

编者按：本文是松子（李博源）的大数据平台发展史系列文章的第四篇（共四篇），本系列以独特的视角，比较了非互联网和互联网两个时代以及传统行业与非传统行业。是对数据平台发展的一个回忆，对非互联网、互联网，从数据平台的用户角度、数据架构演进、模型等进行了阐述。
在互联网时代被弱化的数据模型
谈起数据模型就不得不提传统数据平台架构发展，我相信很多朋友都晓得传统数据平台的知识，其架构演进简单一句话说“基本上可以分为五个时代、四种架构”，但是到了互联网时代因为大数据快速膨胀与数据源类型多样化特点，从高阶架构上来看大约从传统数据平台第三代架构开始延续的，但是往后的发展从我自己的这一点知识上很难对互联网的数据平台做架构归类。
但是从数据平台建设与服务角色上还是有章可循的。就像上篇分享到那样，类比两个行业，互联网企业中员工年龄比非互联网企业的要年轻、受教育程度、对计算机的焦虑程度明显比传统企业要低、还偶遇其它各方面的缘故，导致了数据平台所面对用户群体与非互联网数据平台有所差异化。
传统行业与互联网行业数据平台用户特性我只选择前文章的两张图来表示
(点击放大图像)

2****，互联网财经类公司，业务包括财经网站、基金、股票、金融等，这类公司的数据仓库模型应该如何设计？特点和注意事项是什么？案例介绍？十分感谢。
松子老师：我自己经历过的是互联网金融以及移动互联网行。对这两块比较清楚。互联网金融起因为业务的特性是类金融类的，与银行有些地方是相似的。
比如大约在2012年前支付宝业务特点涉及类金融交易：充值、提现、账务管理类电子商务：购物交易过程变更、实际交易（对B机票、对C水电等） 非纯电子商务；纯金融；个人信用，理财类。系统之间依赖度较为复杂，垂直依赖（业务与核心）跨层依赖（跨过交易到账务）。
在设计方法上还是采用维度模型设计方式。底层是数据驱动为向导，结合业务需求驱动，通过简单、退化维度的方式拉宽表结构。
底层采用松耦合设计。主题之间是松耦合方式。至体内采用细粒度退化维度。
在主题域上的的设计基本参考了OMG的数据仓库元数据设计CWM模型、IBM 的fsdm金融模型、还有新巴塞尔资本协议（Basel II Capital Accord）需提供数据规范去的设计。所以数据模型是五层的结构。
在细节处理上，增量ODS层数据和前一天DWD相关表进行 merge处理。
在一些层次上，基本聚合、汇总增加派生事实表（简单一句话退化为度打宽）。然后按照业务主体合并信息等。
比如开始给大家分享的那张图：
(点击放大图像)
[图片上传中。。。（13）]
在维度模型退化处理时，要注意最细粒度数据保留、不同层次的数据支持数据重新生成。同时一定要注意互联网数据业务特性，数据质量是大心病。有可能一天某些表会重跑很多遍。在互联网的做法有可能一天会重跑好几次数据。
所以曲线救国的病态的产生出了一种通过元数据驱动的数据模型。
这种元数据驱动工具型数据产品我会在未来数据产品系列中做详细介绍的。

3****，互联网企业大数据平台的发展历程是怎样的？
松子老师：这个我相信应该是传统数据平台朋友提到的。传统行业数据平台架构演进我总结简单一句话说“基本上可以分为五个时代、四种架构”，但是到了互联网时代因为大数据快速膨胀与类型暴增的特点，从高阶架构上来看大约从第三代架构开始延续的，但是从我自己的知识上很难对互联网的数据平台做架构归类。所以我从互联网数据平台的建设、用户使用变化特征去做了总结。话说互联网数据平台基本是从传统数据平台的第三代开始的。那是我们总结下来用户特点：
(点击放大图像)
[图片上传中。。。（14）]
更加详细的每一代数据平台建设、服务角色特点您可以看我这个系列文章的第三篇，http://www.infoq.com/cn/articles/the-development-history-of-big-data-platform-paet02

4****，有没有好的元数据管理工具推荐？主要偏向数据字典与血统等。
松子老师：元数据以前目前没有太多的好管理工具。以前是在支付宝是我自己设计的一个数据产品。第一版自己用Delphi 开发的。
（图很多：）
(点击放大图像)
[图片上传中。。。（15）]
(点击放大图像)
[图片上传中。。。（16）]
(点击放大图像)
[图片上传中。。。（17）]
(点击放大图像)
[图片上传中。。。（18）]
(点击放大图像)
[图片上传中。。。（19）]
以前被逼的自己写了一个，通过解析，实现了字段级的血缘影响分析。这只是第二步，后来又把running 信息给搞了进来。还有分享时提到的模型信息、整个闭环的分类信息。
这是一个分支：
(点击放大图像)
[图片上传中。。。（20）]
但是我们实现了字段级解析准确率达到了94%左右。有细微的错误就人工revew一遍。

5. ****松子老师，数据管控的数据质量部分是怎么处理的呢？

松子老师： 数据管控， 这方面我不太懂的，但是数据质量，这玩意可大可小的。比如像在分享时说过的，在移动互联网的数据质量处理方式可以由原有的ETL(ELT)阶段前置到业务系统去解决，比如移动互联网的App log 日志，日志标准化后事件模型”存储来解决。那非app 日志类如何解决呢比如Payment、order等，数据质量比较考虑的可以只做到监控。
我来分享个图。刚好是我设计数据质量产品时搞的，理清数据质量的问题：
(点击放大图像)
[图片上传中。。。（21）]
(点击放大图像)
[图片上传中。。。（22）]
(点击放大图像)
[图片上传中。。。（23）]
只要数据进入仓库与应用体系，处理起来就比较困难了，所以在数据平台阶段最好是通过监控、前置去解决。目前数据质量确实难以100%由事后搞到事前去处理。我对数据平台与数据产品的建设就是实用为主。怎么实用怎么来。我是比较现实的实用主义者。

6. ****能否分享一些数据产品种类及实例：

松子老师：在前边五个问题、以及文章中又都涉及数据产品实力的一些分享。
提到数据产品的分类我就想把这个图发出来。
自己认为没有特别明确的划分线，但是数据产品从三个维度划分，面向业务、功能、用户可以划分出三个方向的数据产品来。
比如面向数据平台工具型数据产品:调度、数据质量、元数据、数据建模、ETL工具、资源管控等等。
面向用户功能有报表型、多维型数据产品、定制化数据产品、挖掘型数据产品。
面向内部用户、外部个人用户、外部企业用户又有不同的分类。
根据业务又可以划分很多，面向C类用户、面向B类商户、金融风险等等
从近几年的数据产品来看，是更好的辅助用户的做决策的一种产品形态，在用户的决策与行动中充当信息的分析者与价值使用者；数据产品有个自己的共性：由解决的一个实际的业务问题出发，分解出的分析指标，分析模型，分析流程组成，再考虑到功能易用性，未来功能扩展，考虑用户对数据易用性（比如数据的呈现层次，不可能一次把所有数据的呈现给用户）来组成的。
(点击放大图像)
[图片上传中。。。（24）]

7. ****银行业从传统的ods到edw再到大数据平台这块过渡，模型如何建设？平台优势如何发挥？
松子老师：这个问题还是有些难度的，自己回答的可能有些片面。首先我们清醒的清楚“大数据”是什么？再次不同的场景可以采用不同的技术去解决。
“大数据”，拆开来看大、数据，大可以是指的数据源结构简单（ps 如果了解过当代对大数据的定义就知道四个特性）但是量级够大，比如清算、结算、对公、对私、中间业务等等每一个拿出来都是几十T，但是这些业务数据都是保存传统的关系型数据库中如DB2、Oracle、MSsql中，因为在数据平台存储是通过准3范式等等结构去保存。
在存储时可能要比较复杂的SQL 多表关联的，感觉目前传统的数据平台技技术在处理数据很让人着急。想通过互联网的大数据平台hadoop、Hive 、Spark 等技术的去演进解决。（最早时我的是中信银行、光大银行在2011年左右开始考虑Hadoop技术，后来不知道如何了）。
但是互联网的数据平台技术大都是NOSQL模式，牺牲掉了传统数据库的数据一致性、完整性、唯一索引等等，只干性能的事情（当然除了性能、可扩展性也是的）.
原有在传统数据平台模型设计上可以考虑的一些通过主外键、唯一索引做一些业务约束的方法，在nosql上统统的都没有了，这些约束必须放到数据加工阶段去想办法做检查。传统数据平台如果在Insert、update数据时违反了业务约束可以做报警或异常处理，但是在Nosql的平台上要求ETL 去手动遵守这些规则检查。但是有时ETL开发根本不遵守的，仅仅是两个表关联起来，也可能忘记按照某一个业务唯一索引做去重操作。简单说，原有靠关系型数据库本身机制去做检查一些规则变为人工，变为人工就会犯错。
从关系型数据平台往Nosql数据平台迁移时，尤其是对传统行业的业务来说，在模型设计阶段、以及给出的ETL口径要考虑更多的业务规则检查，其次要考虑更多的维度退化、多冗余、表打宽处理。简单说就是发挥数据平台的计算能力同时要更加的各方面确保数据准确安全可靠。
数据模型ODS 到EDW 这块的设计方法百度上留下的文档资料太多的了，请这位提问的老师百度吧。

**8****．大数据****仓库****中如何做快速****维处****理？互****联****网数****仓****数据****质****量不好如何****对****数，如何确立****标****准的****对****数口径？******
松子老师：快速变化维度可以转化为缓慢变化为来出来，我自己理解的快速维度是相对于缓慢维度参照的来说的。
举个例子，年龄-转化为天数可以是定义快速变化维度，因为每天都在变化。我们可以把年龄退化为区间维度来处理，还可以把年龄做成动态维度来处理，事实表中保存的就是实际的出生年月并打宽表，年龄(天)通过计算方式来处理。还有种方法通过对代理键的方式来处理。
我目前也不知道对数据的标准是什么。但是我自己用的方法，把一个指标的整个数据流向切出几个关键点通过SQL去实现对数，看波动振幅，波动曲线。同时还会比如发不通的版本的小流量测试的方式来做数据校对。

9****． 做为数据行业从业者，需要掌握哪些重要的基础知识？另：如果从零开始建立一个数据平台，需要哪些资源配置（人，财，物，技术）？大致总投资额度多少？如果同行产品间多种来源的数据，可有成熟的解决方案？谢谢…

松子老师：这个问题太宏观了。作为数据行业从业者，需要掌握哪些重要基础知识，这个是要看从事具体数据域的垂直行业。
比如说 数据开发、数据模型、数据产品、数据分析师、数据运营、数据架构师这些更加专业领域是需要不同的知识的。大家可以去itongji.cn、百度等去搜索数据架构等文章能得到更加专业的答案。
一家公司建设数据平台是跟公司目前数据量、未来数据增长、技术选型、解决业务问题有很直接的关系的。所以在解决业务目标不太明确下，难以确定方案，人员配置上选用不同技术方案去搭建的配置是不太一样的，比如说传统平台来讲，运维、DBA、数据开发、数据模型、报表人员。
从互联网数据平台基本配置上，数据架构师、运维、底层大数据技术、数据开发兼模型、数据分析师、数据产品等都有可能需要的。
同行产品间度多种数据来源，那就看数据源种类，文本的、日志类、视频影像、爬虫类的、结构化、非结构化的数据源有不同的解决技术。

10. Standalone****模式下，Model.save(Path)怎么一直提示错误，是不是配置Spark时需要将Hdfs的配置引进来啊～？表示初学Spark
松子老师：这个问题有点超出我的能力范围了，所以对不起回答不了。
我本身不是做技术的。仅知道一点技术名词。

11. ****传统银行业数据模型什么时候会走向互联网模式呢？目前在传统银行数据平台的产品是不是特别多？
松子老师：这个问题我自己就不知道了，或许是传统银行在数据平台的实施上全面用互联网的Nosql大数据处理技术吧。至于说传统银行数据模型用现有的互联网数据模型理念去设计是否完全可行，数据一致性、高准确性通过更多的方案去保证。
首先我需要确定一下这个产品是否指的“数据产品”。
如果是数据产品，那其实传统行业数据平台本身就有一些数据产品了，而且也都是存在的。数据产品自从数据仓库出现以来它其实一直都存在的，只不过是近几年因为互联网特别爱制造“流行词“把数据产品这个词给放大了。互联网是得数据产品从早期的重量级逐渐进化为轻量级、从大而全的解决方案逐渐演进为因小而美。
我来给出几组例子，大约从2004年到现在的几组数据产品的例子
(点击放大图像)
[图片上传中。。。（25）]
(点击放大图像)
[图片上传中。。。（26）]
(点击放大图像)
[图片上传中。。。（27）]
(点击放大图像)
[图片上传中。。。（28）]
(点击放大图像)
[图片上传中。。。（29）]
(点击放大图像)

12 ****。传统行业的数据仓库从业人员，如果转到互联网行业，应该学习哪些技能？
松子老师：这个问题你可以百度搜索“大数据职位所需要的数据技能” http://blog.jobbole.com/99039/ 这篇文章。自己觉得人家回答的比我专业。