关系型数据库

关系数据库经过几十年的发展后已经非常成熟，强大的 SQL 功能和 ACID 的属性，使得关系数据库广泛应用于各式各样的系统中，但这并不意味着关系数据库是完美的，关系数据库存在如下缺点

• 关系数据库存储的是行记录，无法存储数据结构
  • 以微博的关注关系为例，“我关注的人”是一个用户 ID 列表，使用关系数据库存储只能将列表拆成多行，然后再查询出来组装，无法直接存储一个列表
• 关系数据库的 schema 扩展很不方便
  • 关系数据库的表结构 schema 是强约束，操作不存在的列会报错，业务变化时扩充列也比较麻烦，需要执行 DDL（data definition language，如 CREATE、ALTER、DROP 等）
  • 语句修改，而且修改时可能会长时间锁表（例如，MySQL 可能将表锁住 1 个小时）
• 关系数据库在大数据场景下 I/O 较高
  • 如果对一些大量数据的表进行统计之类的运算，关系数据库的 I/O 会很高，因为即使只针对其中某一列进行运算，关系数据库也会将整行数据从存储设备读入内存
• 关系数据库的全文搜索功能比较弱
  • 关系数据库的全文搜索只能使用 like 进行整表扫描匹配，性能非常低，在互联网这种搜索复杂的场景下无法满足业务要求
• 针对上述问题，分别诞生了不同的 NoSQL 解决方案
  • 这些方案与关系数据库相比，在某些应用场景下表现更好
  • NoSQL 方案带来的优势，本质上是牺牲 ACID 中的某个或者某几个特性，因此我们不能盲目地迷信 NoSQL 是银弹，而应该将 NoSQL 作为 SQL 的一个有力补充
  • NoSQL != No SQL，而是 NoSQL = Not Only SQL

NoSQL数据库

• 常见的 NoSQL 方案分为 4 类
  1. K-V 存储：解决关系数据库无法存储数据结构的问题，以 Redis 为代表
  2. 文档数据库：解决关系数据库强 schema 约束的问题，以 MongoDB 为代表
  3. 列式数据库：解决关系数据库大数据场景下的 I/O 问题，以 HBase 为代表
  4. 全文搜索引擎：解决关系数据库的全文搜索性能问题，以 Elasticsearch 为代表

K-V 存储

K-V 存储的全称是 Key-Value 存储，其中 Key 是数据的标识，和关系数据库中的主键含义一样，Value 就是具体的数据

• Redis 是 K-V 存储的典型代表，它是一款开源（基于 BSD 许可）的高性能 K-V 缓存和存储系统。Redis 的 Value 是具体的数据结构，包括 string、hash、list、set、sorted set、bitmap 和 hyperloglog，所以常常被称为数据结构服务器
• 文档：redis帮助文档
• 以 List 数据结构为例，Redis 提供了下面这些典型的操作
  • LPOP key 从队列的左边出队一个元素
  • LINDEX key index 获取一个元素，通过其索引列表
  • LLEN key 获得队列（List）的长度
  • RPOP key 从队列的右边出队一个元素
• Redis的List的功能，如果用关系数据库来实现，就会变得很复杂，如：LPOP 操作是移除并返回 key 对应的 list 的第一个元素
  • 每条数据除了数据编号（例如，行 ID），还要有位置编号，否则没有办法判断哪条数据是第一条。注意这里不能用行 ID 作为位置编号，因为我们会往列表头部插入数据
  • 查询出第一条数据
  • 删除第一条数据
  • 更新从第二条开始的所有数据的位置编号
  • 关系数据库的实现很麻烦，而且需要进行多次 SQL 操作，性能很低
• Redis 的缺点主要体现在并不支持完整的 ACID 事务
  • Redis 虽然提供事务功能，但Redis 的事务只能保证隔离性和一致性（I 和 C），无法保证原子性和持久性（A 和 D）
  • 虽然 Redis 并没有严格遵循 ACID 原则，但实际上大部分业务也不需要严格遵循 ACID 原则
  • 在设计方案时，需要根据业务特性和要求来确定是否可以用 Redis，而不能因为 Redis 不遵循 ACID 原则就直接放弃

文档数据库

为了解决关系数据库 schema 带来的问题，文档数据库应运而生。文档数据库最大的特点就是 no-schema，可以存储和读取任意的数据。目前绝大部分文档数据库存储的数据格式是 JSON（或者 BSON），因为 JSON 数据是自描述的，无须在使用前定义字段，读取一个 JSON 中不存在的字段也不会导致 SQL 那样的语法错误

文档数据库的 no-schema 特性，给业务开发带来了几个明显的优势

1. 新增字段简单
   • 业务上增加新的字段，无须再像关系数据库一样要先执行 DDL 语句修改表结构，程序代码直接读写即可
2. 历史数据不会出错
   • 对于历史数据，即使没有新增的字段，也不会导致错误，只会返回空值，此时代码进行兼容处理即可
3. 可以很容易存储复杂数据
   • JSON 是一种强大的描述语言，能够描述复杂的数据结构
   • 使用 JSON 来描述数据，比使用关系型数据库表来描述数据方便和容易得多，而且更加容易理解
   • 文档数据库的这个特点，特别适合电商和游戏这类的业务场景。以电商为例，不同商品的属性差异很大

• 文档数据库 no-schema 的特性带来的这些优势也是有代价的
  • 最主要的代价就是不支持事务
  • 某些对事务要求严格的业务场景是不能使用文档数据库的
  • 文档数据库另外一个缺点就是无法实现关系数据库的 join 操作

列式数据库

列式数据库就是按照列来存储数据的数据库，与之对应的传统关系数据库被称为“行式数据库”，因为关系数据库是按照行来存储数据的

• 关系数据库按照行式来存储数据，主要有以下几个优势：
  • 业务同时读取多个列时效率高，因为这些列都是按行存储在一起的，一次磁盘操作就能够把一行数据中的各个列都读取到内存中
  • 能够一次性完成对一行中的多个列的写操作，保证了针对行数据写操作的原子性和一致性；否则如果采用列存储，可能会出现某次写操作，有的列成功了，有的列失败了，导致数据不一致
• 对于一些场景，行式数据库会不那么适合，例如：海量数据进行统计
  • 行式存储即使最终只使用一列，也会将所有行数据都读取出来，这是明显的浪费
  • 采用列式存储，针对某个列的统计，只需读取该列数据即可，I/O 将大大减少
• 除了节省 I/O，列式存储还具备更高的存储压缩比，能够节省更多的存储空间
  • 普通的行式数据库一般压缩率在 3:1 到 5:1 左右
  • 列式数据库的压缩率一般在 8:1 到 30:1 左右，因为单个列的数据相似度相比行来说更高，能够达到更高的压缩率。
• 列式存储不适合频繁更新某些列
  • 如果需要频繁地更新多个列，因为列式存储将不同列存储在磁盘上不连续的空间，导致更新多个列时磁盘是随机写操作
  • 行式存储时同一行多个列都存储在连续的空间，一次磁盘写操作就可以完成，列式存储的随机写效率要远远低于行式存储的写效率
  • 列式存储高压缩率在更新场景下也会成为劣势，因为更新时需要将存储数据解压后更新，然后再压缩，最后写入磁盘
• 基于上述列式存储的优缺点，一般将列式存储应用在离线的大数据分析和统计场景中，因为这种场景主要是针对部分列单列进行操作，且数据写入后就无须再更新删除

全文搜索引擎

传统的关系型数据库通过索引来达到快速查询的目的，但是在全文搜索的业务场景下，索引也无能为力，主要体现在：

• 全文搜索的条件可以随意排列组合，如果通过索引来满足，则索引的数量会非常多
• 全文搜索的模糊匹配方式，索引无法满足，只能用 like 查询，而 like 查询是整表扫描，效率非常低

1. 全文搜索基本原理

• 全文搜索引擎的技术原理被称为“倒排索引”（Inverted index），也常被称为反向索引、置入档案或反向档案，是一种索引方法，其基本原理是建立单词到文档的索引
• “倒排”索引，是和“正排“索引相对的，“正排索引”的基本原理是建立文档到单词的索引
• 倒排索引适用于根据关键词来查询文档内容，详见另一篇倒排索引介绍

2. 全文搜索的使用方式

• 全文搜索引擎的索引对象是单词和文档，而关系数据库的索引对象是键和行，两者的术语差异很大，不能简单地等同起来
• 为了让全文搜索引擎支持关系型数据的全文搜索，需要做一些转换操作，即将关系型数据转换为文档数据
• 目前常用的转换方式是将关系型数据按照对象的形式转换为 JSON 文档，然后将 JSON 文档输入全文搜索引擎进行索引
• 全文搜索引擎能够基于 JSON 文档建立全文索引，然后快速进行全文搜索。以 Elasticsearch 为例，其索引基本原理如下：

Elastcisearch 是分布式的文档存储方式。它能存储和检索复杂的数据结构——序列化成为 JSON 文档——以实时的方式

在 Elasticsearch 中，每个字段的所有数据都是默认被索引的。即每个字段都有为了快速检索设置的专用倒排索引。而且，不像其他多数的数据库，它能在相同的查询中使用所有倒排索引，并以惊人的速度返回结果

小结

本文讲述了为了弥补关系型数据库缺陷而产生的 NoSQL 技术，希望对你有所帮助