八、数据库管理技术的发展

数据库技术发展概述

数据库是管理数据的技术,发展了以数据建模数据库管理系统核心技术为主,内容丰富、领域宽广的一门学科,带动了一类巨大的软件产业---数据库管理系统(DBMS)产品及其相关的工具和解决方案。
数据模型是数据库系统的核心和基础。

1.数据库技术的发展阶段

  • 第一代数据库系统
    1. 层次模型数据库管理系统
      1. 层次模型(网状模型的特例)
      2. 代表:1969年IBM公司研制的层次模型数据库管理系统IMS
    2. 网状模型数据库管理系统
      1. 网状模型
      2. 代表:DBTG所提议的方法是基于网状结构的,是网状模型数据库系统的典型代表
    3. 共同特点
      1. 支持三级模式(外模式、模式、内模式)的体系结构。
      2. 用存取路径来表示数据之间的联系。
      3. 独立的数据定义语言。
      4. 导航的数据操纵语言。
  • 第二代数据库系统
    1. 关系数据库系统
      1. 关系数据库是以关系模型为基础
      2. 关系模型是由数据结构关系操作数据完整性三部分组成。
      3. 关系代数作为语言基础,由关系数据理论作为理论基础
    2. 20世纪70年代是关系数据库理论研究和原型开发的时代,其主要成果有:
      1. 奠定了关系模型的理论基础,给出了人们一致接受的关系模型的规范说明。
      2. 研究了关系数据语言,有关系代数、关系演算、SQL语句及QBE等。
      3. 研制了大量的RDBMS的原型,攻克了系统实现中查询优化、并发控制、故障恢复等一系列关键技术。
    3. 特点
      1. 模型简单清晰
      2. 理论基础好
      3. 数据独立性强
      4. 数据库语言非过程化
      5. 标准化
  • 新一代数据库系统

2.第三代数据库系统的特征

  • 应支持数据管理、对象管理和知识管理
  • 必须保持或继承第二代数据库系统的技术
  • 必须对其他系统开放

数据仓库与数据挖掘

数据仓库及其特征

计算机数据处理工作的类型:

  1. 操作型处理:也称为联机事务处理(OLTP),针对具体业务在数据库联机的日常操作。
  2. 分析型处理:也称为联机分析处理(OLAP),通常是对海量的历史数据查询和分析。

  • 传统的数据库技术--->操作型处理
  • 数据仓库----------->分析型处理

数据仓库(Data Warehouse,DW)是面向主题的、集成的、稳定的、随时间变化的数据集合,用以支持管理决策的过程。
数据仓库不是可以买到的产品,而是一种面向分析的数据存储方案

数据仓库的特征

数据仓库的三个概念

数据仓库的三个概念

什么是数据挖掘

数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中发现并提取隐藏在其中的、人们事先不知道的,但又是潜在有用的信息和知识的一种技术。又被称为知识发现

OLAP VS 数据挖掘
数据汇总/聚集工具,可简化数据分析 自动的发现隐藏在大量数据中隐含模式和有趣知识
简化和支持交互式数据分析 尽可能自动处理

数据挖掘的功能

  • 数据挖掘的功能
    • 概念描述
    • 关联分析
    • 分类与预测
    • 聚类
    • 孤立点检测
    • 趋势和演变分析
  • 数据挖掘的步骤
    1. 确定业务对象
    2. 数据的选择
    3. 数据的预处理
    4. 建模
    5. 模型评估
    6. 模型部署

大数据及其特征

大数据是指无法在可容忍的时间内用现有信息技术和软、硬件工具对其进行感知、获取、管理、处理的服务的数据集合

大数据特征

大数据管理技术

大数据管理技术典型代表

大数据管理技术典型代表
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,826评论 6 506
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,968评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,234评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,562评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,611评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,482评论 1 302
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,271评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,166评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,608评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,814评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,926评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,644评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,249评论 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,866评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,991评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,063评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,871评论 2 354