Redis 服务器端的 java 实现, 替代 embedded-redis

起因

疫情原因, 公司业务变少, 有点闲置的时间, 纯使用 java 实现了 redis-server , 顺便感谢一下公司在艰难的情况一切还可以正常维持. 实现的起因是单元测试, 现在的项目都是前后端分离的, 运行结果中的错误很难直观的发现. 当时用了好几个mock工具, 都不是很理想, 最大的原因是很多不支持的命令.所以趁有时间, 开发了这个项目.

版本

version 0.0.2-2.8: 事务(Transaction) 的支持, 修改为单线程
version 0.1.0-3.0 修改为 jedis 3.0+ 的依赖
version 0.2.0: 移除了 jedis 的依赖, 不再有任何强制的外部依赖, 添加新的指令的支持
version 0.2.1: 修改了部分BUG, 如: pipline
version 0.2.2: 支持 PubSub 的操作

使用

你可以自己下载源码进行编译, jdk 需要 1.8+ 进行编译, 当然你也可以是使用maven 依赖

<dependency>
    <groupId>com.github.microwww</groupId>
    <artifactId>redis-server</artifactId>
    <version>0.2.2</version>
    <scope>test</scope>
</dependency>

版本可以能有变化历史版本 : mvnrepository

启动一个服务:

RedisServer server = new RedisServer();
//server.configScheme(16, new AbstractOperation(){}, ...); // 这里添加自己实现的redis命令
server.listener("127.0.0.1", 6379); // Redis runs in the background
InetSocketAddress address = (InetSocketAddress) server.getServerSocket().getLocalSocketAddress();
logger.info("Redis start :: [{}:{}]", address.getHostName(), address.getPort());

如果你愿意, 可以设置端口为 0, 服务器将启动在一个不冲突的随机端口, 然后你就可以使用 server..getLocalSocketAddress 命令来获取监听的 ip和端口 .

如果是使用的是 spring-boot, 你也可以这样 :

@Bean
public RedisServer mockRedisServer(RedisProperties redisProperties) throws IOException {
    RedisServer server = new RedisServer();
    server.listener(redisProperties.getHost(), redisProperties.getPort());
    InetSocketAddress address = (InetSocketAddress) server.getServerSocket().getLocalSocketAddress();
    logger.info("Mocker Redis start :: [{}:{}], set 'server.redis.host' to match it", address.getHostName(), address.getPort());
    return server;
}

这样 redis 就运行在springboot 配置文件指定的地址和端口, 当然ip地址必须是本地的ip, 否则会收到一个异常作为的奖励.
更简单的方式是添加 maven 依赖 (上面代码的直接封装):

<dependency>
    <groupId>com.github.microwww</groupId>
    <artifactId>mocker-redis-spring-boot-starter</artifactId>
    <version>5.0.2</version>
</dependency>

源码和依赖

项目源码在 GITHUB 上, 欢迎 forck.
代码基于 jdk1.8+, ~~唯一的依赖是redis.clients: jedis-2.9.0~~ (0.2.0+ 后无外部依赖) , 可选的依赖 slf4j 作为日志输出, 如果没有会使用 java.util.logging.*

限制

特别注意因为java 语言的限制所有 数据集合的最大上限 都是有符号的最大整数 0x7fffffff, 例如数据库的最大数量, 字符串的最大字节数. 每个Hash/list/set 数据集合的最大数据量上限

支持命令

支持大部分的操作命令. 暂时不支持的订阅/脚本/事务类的命令.支持的命令列表如下
ConnectionOperation
AUTH, ECHO, PING, QUIT, SELECT,
HashOperation
HDEL, HEXISTS, HGET, HGETALL, HINCRBY, HINCRBYFLOAT, HKEYS, HLEN, HMGET, HMSET, HSCAN, HSET, HSETNX, HVALS,
KeyOperation
DEL, EXISTS, EXPIRE, EXPIREAT, KEYS, MOVE, PERSIST, PEXPIRE, PEXPIREAT, PTTL, RANDOMKEY, RENAME, RENAMENX, SCAN, SORT, TTL, TYPE,
ListOperation
BLPOP, BRPOP, LINDEX, LINSERT, LLEN, LPOP, LPUSH, LPUSHX, LRANGE, LREM, LSET, LTRIM, RPOP, RPOPLPUSH, RPUSH, RPUSHX,
PubSubOperation (0.2.2+)
PSUBSCRIBE, PUBLISH, PUBSUB, PUNSUBSCRIBE, SUBSCRIBE, UNSUBSCRIBE,
~~ScriptOperation~~
ServerOperation
DBSIZE, FLUSHALL, FLUSHDB, TIME, 0.0.2+, CLIENT GETNAME, CLIENT KILL, CLIENT LIST, CLIENT SETNAME,
SetOperation
GETORCREATE, SADD, SCARD, SDIFF, SDIFFSTORE, SINTER, SINTERSTORE, SISMEMBER, SMEMBERS, SMOVE, SPOP, SRANDMEMBER, SREM, SSCAN, SUNION, SUNIONSTORE,
SortedSetOperation
ZADD, ZCARD, ZCOUNT, ZINCRBY, ZINTERSTORE, ZRANGE, ZRANGEBYSCORE, ZRANK, ZREM, ZREMRANGEBYRANK, ZREMRANGEBYSCORE, ZREVRANGE, ZREVRANGEBYSCORE, ZREVRANK, ZSCAN, ZSCORE, ZUNIONSTORE,
StringOperation
APPEND, BITCOUNT, BITOP, DECR, DECRBY, GET, GETBIT, GETRANGE, GETSET, INCR, INCRBY, INCRBYFLOAT, MGET, MSET, MSETNX, PSETEX, SET, SETBIT, SETEX, SETNX, SETRANGE, STRLEN,
TransactionOperation
0.0.2+, DISCARD, EXEC, MULTI, UNWATCH, WATCH

不支持的命令

支持列表看着挺多的, 其实不支持的也是挺多的, 而且有几个比较重要的比如 Transaction 事务,
事务的实现复杂度还是挺高的.
如果碰到不支持的操作, 或者有bug 导致部分命令无法使用, 你可以自己添加或者覆盖一个命令.
只需要

创建一个类需要继承自extends AbstractOperation类(当然也可以继承自已有的实现),
创建一个方法, 方法签名是固定的 public void name(RedisRequest request) throws IOException, 你要实现的redis命令和方法名要一致, 方法名全小写即可
参数RedisRequest 你可以拿到大部分可用对象: RedisServer, Scheme, RedisDatabase Request-session 等.
最后把该类的实例添加到服务中 server.configScheme(16, new YourOperation1(), ...).
例如: 要实现一个 PING 命令, 服务器要返回个 PONG 字符串

// PING 命令 对应的 方法名是 小写 `ping` 
public void ping(RedisRequest request) throws IOException {
    request.expectArgumentsCount(0); // ping 命令不需要参数
    RedisOutputStream out = request.getOutputStream(); // 获取输出流
    RedisOutputProtocol.writer(out, "PONG"); // 写入数据, 并 `flush`
}

RedisOutputProtocol 会帮你自动组装为 redis 网络协议的数据.

关于 Rredis 网络协议可以自行搜索

1 :状态回复 (单行信息的数据）
2 -错误信息回复（必须为单行信息）
3 +integer值回复 （数字类型）
4 *多消息回复 (一次返回一个byte[][] )
5 $多消息回复里的单个命令, (上面4中的一个 byte[])

关于实现的一点说明

使用java NIO 实现, 多线程, 不同于redis, (redis 使用单线程, 虽然部分已经使用多线程).所以如果自行实现的命令注意添加同步关键字或者使用 DataLock.syn 方法包装
由于 TransactionOperation 命令的实现复杂度的考虑, 0.0.2+ 使用单线程

(完)