【基础概念】什么是数据库、数据仓库、数据市集

前言:

本文重点理清三个概念:数据库、数据仓库、数据市集。

数据库:

1.数据库是什么?

数据库是存储数据的一个库,库通常有多种数据表,表则是由字段(列名)和记录(基本信息)组成。
比如:消费者在淘宝购买商品,会产生订单号、下单时间、浏览时间、浏览次数等关于单纯购买商品的信息。
通常这些信息是商家导出到数据库中进行收集为一个csv文件或者excel文件,亦或者直接导入数据库如:Mysql、hive中。
这种数据涉及到买家的实时信息的记录,通常叫做事实表

image.png

2.数据库有什么用?

用于业务分析,了解情况、调整策略。
比如:商家收集到了消费者的下单情况,可以进行月消费金额的统计、购买人次的统计等。
一方面了解自身的销售状况,另一方面也可以进行对用户群体行为跟踪分析。
比如:买家的年龄段、同个买家在商家购买的产品次数及类型,来刻画用户画像,以便调整推广方式、销售活动等。
通常符合身份标签的,如QQ上的昵称、年龄、性别等组成的数据表,或者地理位置,国家、省、区域的表一般叫做维度表

3.数据库怎么用?

利用配套工具,进行 查、增、删、改 的基本操作,复杂点 进行 分组聚合,求和、计数、求平均等。
最为广泛的是excel,一般单张表使用。
Mysql 用于 多张表,一个库。
python 用于 自动化、标准式输出的操作。
hive 用于 跨部门、互动式 操作。

数据仓库:

1.数据仓库是什么?

是存储各种历史信息的数据库,一般存在数据量大、杂,以及数据表极多的情况,且不是按天为单位的录入信息,一般是月、年为单位的存储信息。
数据仓库中存储着不同主题的信息。

一句话概括:“面向分析的存储系统”。
当然,日常使用的叫做 操作型数据库,就是“面向业务的实时存储系统”。

2.数据仓库的作用是什么?

数据仓库作用是进行历史数据分析,负责利用历史数据对公司各主题域进行统计分析。

3.操作型数据库和数据仓库有什么区别?

面向主题不同
操作型是为支持各种业务而建立,数据仓库是为了对各种繁杂业务中抽象出来的分析主题进行分析而建立。

历史性
数据仓库保存的时间通常以几年、几十年存在,前者通常仅保留几个月。

范围性
数据仓库将不同主题的数据库汇总一起,面对的是整个公司,而前者通常是单一主题,面对个体业务。

数据市集:

1.数据市集是什么?

一句话概括,“面向单个主题分析的存储系统”,或者“单一主题的数据仓库”。
它是一种“小型数据仓库”,包含单个主题,关注范围并非全局。

数据集市可以分为两种。
一种是独立数据集市(independent data mart),这类数据集市有自己的源数据库和ETL架构
另一种是非独立数据集市(dependent data mart),这种数据集市没有自己的源系统,它的数据来自数据仓库。当用户或者应用程序不需要/不必要/不允许用到整个数据仓库的数据时,非独立数据集市就可以简单为用户提供一个数据仓库的"子集"

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 221,198评论 6 514
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 94,334评论 3 398
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 167,643评论 0 360
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 59,495评论 1 296
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 68,502评论 6 397
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 52,156评论 1 308
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,743评论 3 421
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,659评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 46,200评论 1 319
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,282评论 3 340
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,424评论 1 352
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 36,107评论 5 349
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,789评论 3 333
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,264评论 0 23
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,390评论 1 271
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,798评论 3 376
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,435评论 2 359

推荐阅读更多精彩内容

  • 上一篇:098-BigData-26Hive企业级调优 十、数据仓库 10.1 什么是数据仓库数据仓库,英文名称为...
    AncientMing阅读 870评论 0 2
  • 数据仓库数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的Int...
    Albert陈凯阅读 4,972评论 0 15
  • 第三章 数据库系统 3.1 数据库管理系统的类型 通常有多个分类标准。如按数据模型分类、按用户数分类、按数据库分布...
    步积阅读 2,713评论 0 7
  • 数据仓库简介 一:什么是数据仓库 数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库...
    nightwish夜愿阅读 2,022评论 0 24
  • 引言 数据仓库作为单独的数据存储创建与组织中,其主要目的是数据分析,专为查询而设计。 将数据仓库的创建转换为单独的...
    DoggieX阅读 1,728评论 0 1