Redis实现数据库key:value存储时,基于基本数据结构创建了一个对象系统,该系统包含了string, list, hash, set, zset五种类型的对象,每种都由redisObject表示,type表示了对象的类型,encoding表示对象的编码方式,ptr指针指向了底层相应的基础数据结构。
typedef struct redisObject {
//类型
unsigned type:4;
unsigned notused:2;
//编码
unsigned encoding:4;
unsigned lru:22;
//引用计数
int refcount;
//指向底层实现数据结构的指针
void *ptr;
} robj;
1.string
string的类型为REDIS_STRING常量,编码有int, raw和embstr三种方式。
1.1. int
若一个字符串保存的是整数值而且可以用long类型表示,那么对象的ptr属性将存放整数值(将void * 转为long), 同时将encoding设为int
1.2. raw
若字符串对象要保存长度大于32字节的字符串值,那么将使用SDS保存该这个值,同时将encoding设置为raw
1.3. embstr
embstr是用于保存短字符串的优化编码方式,虽然同样使用SDS保存字符串值,但是仅调用一次内存分配函数,分配一块连续的内存空间给redisObject和SDS。
2.list
list的类型为REDIS_LIST常量,编码可以是ziplist和linkedlist
1. ziplist
使用压缩列表作为底层实现,每个entry保存一个元素
redis> RPUSH numbers 1 "three" 5
(integer 3)
2. linkedlist
使用双向链表作为实现, 每个节点保存一个字符串对象,字符串对象保存一个列表元素。
3.编码转换
同时满足以下条件可使用ziplist,否则使用linkedlist
- 所有元素字节数少于64
- 列表元素数量少于512
3. hash对象
hash的类型为REDIS_HASH常量,编码可以是ziplist和hashtable
1. ziplist
redis> HSET x name "Tom"
(integer) 1
redis> HSET x age 25
// ...
redis> HSET x career "Programmer"
// ...
每次在加入一对新的key:value时,先将key push到列表尾端,再将value push到列表尾端。
2. hashtable
底层使用字典实现,key 和 value 都是 字符串对象, 对象使用相应编码保存字符串的值
3.编码转换
满足以下情况时,可以将hashtable编码转为ziplist编码,否则都需要使用hashtable:
- 键值对数量小于512个
- 键、值的字符串长度都小于64字节
4. set
类型为REDIS_SET, 编码可以是intset和hashtable
1. intset
intset底层使用整数集合保存集合对象的元素。
2. hashtable
hashtable类型的集合底层使用字典实现,其中字典的key使用字符串对象保存元素值,value为空。
3. 编码转换
同时满足以下两个条件是,可以使用intset编码
1. 所有元素都是整数值
2. 元素数量少于512
5. zset
类型为REDIS_ZSET, 编码可以为ziplist和skiplist
5.1ziplist
压缩列表内,使用相连的两个压缩列表节点分别存储member和score;元素按score排序,大的靠近表位,小的靠近表头。
redis> ZADD price 8.5 apple 5.0 banana 6.5 cherry
添加三个元素后ziplist如图
5.2 skiplist
skiplist编码底层使用zset实现
typedef struct zset{
zskiplist *zsl;
dict *dict;
}
5.2.1zsl
zsl跳跃表按score从小到大保存所有元素,每个跳跃表节点保存一个元素.其中ele和score分别表示元素的成员和分值。
typedef struct zskiplistNode {
/* redis3.0版本中使用robj类型表示,但是在redis4.0.1中直接使用sds类型表示 */
sds ele;
double score;
struct zskiplistNode *backward;
/** 这里该成员是一种柔性数组,只是起到了占位符的作用,在sizeof(struct zskiplistNode)的时候根本就不占空间,这和sdshdr结构的定义是类似的(sds. h文件); 如果想要分配一个struct zskiplistNode大小的空间,那么应该的分配的大小为sizeof(struct zskiplistNode) + sizeof(struct zskiplistLevel) * count)。其中count为柔性数组中的元素的数量
**/
struct zskiplistLevel {
/* 对应level的下一个节点 */
struct zskiplistNode *forward;
/* 从当前节点到下一个节点的跨度 */
unsigned int span;
} level[];
} zskiplistNode;
通过跳跃表,可以高效实现范围型操作,如ZRANGE, ZRANK。
5.2.2dict
dict提供了成员到score的映射,因此可以高效的查找某个成员的score。
dict与zsl共享成员和score,因此内存开销并不大
3.编码转换:
同时满足以下条件时,使用ziplist,否则转skiplist
- 元素数量少于128
- 所有元素成员字节数都少于64字节