[手起刀落]数据产品经理之数据仓库

接触“数据产品经理”这个概念的时候,我还在找工作,跨专业、跨城市、跨人格的来到上海进行简历海投;很庆幸,过了九九八十一难之后,今天真的成了一位数据产品经理。

很多人都会问,数据产品经理到底是干什么的?对数据产品经理,我是这样理解的,遵循“所见即所得”:数据产品经理=产品经理+懂点数据。那这样拆分就好解释了,这岗位需要具备推进开发,迭代产品和协调日常人员的工作的能力外还需要懂一点数据,然后就按照日常计划,该上班上班,该泡妞泡妞。所以这个岗位的薪资也会高一些,这和岗位的产出成正比,我,每天几乎会做两个岗位的事。

如果你也想慢慢成长,有朝一日成为一枚数据产品,接下来的内容是最通俗易懂的启蒙知识。

数据仓库

这是数据产品经理从业是最关心也是最核心的概念,因为数据产品经理的一切工作,都是以它为基础的。

本文的结构如下:

  • 什么是数据仓库
  • 数据仓库和数据库的区别
  • 数据仓库的分层
  • 数据模型
  • 总结

什么是数据仓库

我用个比喻解释这个概念。

马*:做个报告,我要知道开年到现在还没进入工作状态的有哪些人。

我:好的。

我开始收集:上/下班打卡数据、门口探头统计上厕所频率的数据、手机wifi上网数据、微信群活跃数据、发出零食声音最恐怖的工位数据、有事没事熬电话粥的数据...一周之后,分析报告上我们部门主管的名字占据第一,他让我加了一周的班......

我收集的这些数据我需要把它放在一个地方,我暂且把它放在一个叫“新年好”的文件夹,这些来自不同地方的数据,我需要做维度统一处理、字段命名规范处理、去噪处理(比喻年龄为100这种数据)等等。这是做一份报告,如果做一个平台或者一个项目呢?比喻支付宝的年度账单;网易云音乐的年度报告;那区区一个新年好就应付不过来了,所以,需要一个储藏这些数据的数据库来替代上面的“新年好”,这个用来储存按照我们需要的、对我们有用的、已经清洗过、很规范的东西就是我们的数据仓库。官方解释在这里

数据仓库与数据库的区别

数据库于数据仓库都用来储存数据,在本质上其实作用是相同的,当从业务出发,两者的区别就很大了

数据仓库是层级分明的

光收集数据没用啊,我们还得对数据做处理,如:你链接公共wifi,我想得到你的微信号,怎么办?思路是:通过链接wifi,获取手机信息,获得手机号,通过手机号搜索微信从而获取微信号…不要诧异,也不要觉得不可能,我可以明确告诉你,这些都是可能的,而且我们正在规划这个项目,未来的某一天,我们不需要定点卡口,定点摄像头了,因为无人机可以解决很多问题。既然要做数据处理,我们数据前后肯定有变化,那么为了保险,我们需要将各个维度的数据分层储存,比喻一个订单数据,让我罗列我可以整出二、三十个字段,可是最后我们真正用到的只有:uid、time和goods id,这个过程需要不断的过滤。每过滤一层就需要在新的一层储存一次。

业务是分层的参考标准

通常数据仓库会分成四层:ODS\DWD\DWS\ADS。不同的业务,分层不一样,比喻阿里的数据分层:stage层(buffer)\ODS\DWD\DWS\ADS;而华为的数据:ODS\DWD\DWS\ADS(我们大数据总监是之前在华为和阿里搞数据挖掘的,这是他说“价值千金”的机密)。

  • ODS:是数据仓库第一层数据,直接从原始数据过来的,经过简单地处理,比喻:字段体重的数据为175cm等数据。

  • DW*:这个是数据仓库的第二层数据,DWD和DWS很多情况下是并列存在的,这一层储存经过处理后的标准数据,比喻订单、用户、页面点击流量等数据。

  • ADS:这个是数据仓库的最后一层数据,为应用层数据,直接可以给业务人员使用。

看到这里,你也许会问,为什么要分层?在这篇文章里,过多解释这个原因,没有意义,这个阶段,你就记住,分层是为了更清晰的掌控、管理数据。了解了数据仓库的基本概念,我们就得实战啦,如基本的数据模型。

数据模型

数据模型有很多,如:范式模型、维度模型、Data Vault 等等。感兴趣的可以自行查阅资料,今天我们重点讲一下维度模型中的“星型模型”。

星型模型的基本概念
  • 事实表:一些主键ID的集合,没有存放任何实际的内容。

上图是我自己画的一个听歌产品做年度分析时的星型模型表结构(仅辅助说明),如上图中的“报告表”就是一张事实表,这个报告表会随着用户的听歌习惯和听歌行为不断的优化和更新,每个ID对应维度表中一条记录。

  • 维度表:存放详细的数据信息,有唯一的主键ID。

如上面的关键词表、用户表等等。

星型模型适用的业务场景
  • 电商网站:某宝、狗东等分析用户的买买买行为。
  • 新闻网站:虎嗅、36kr、推酷*等分析用户的阅读行为。
  • 写作网站:知乎*、简书等用户的创作回顾分析。
星型模型的特点
  • 数据冗余小(因为很多具体的信息都存在相应的维度表中了,比如用户信息就只有一份)

  • 结构清晰(表结构一目了然)

  • 便于做OLAP分析(数据分析用起来会很开心)

  • 增加使用成本,比如查询时要关联多张表

  • 数据不一致,比如用户发起购买行为的时候的数据,和我们维度表里面存放的数据不一致

总结

大数据是个概念,数据产品经理是这个概念的执行层,数据仓库是数据产品经理做数据分析的第一步,数据仓库存在数据分层、维度建模、数据可视化等等内容,深入细致去讲,可以出一本书...ETL、元数据、数据血缘管理、调度系统、数据可视化等数据仓库的细分内容,下次再分享。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,294评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,493评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,790评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,595评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,718评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,906评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,053评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,797评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,250评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,570评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,711评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,388评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,018评论 3 316
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,796评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,023评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,461评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,595评论 2 350

推荐阅读更多精彩内容