tools-db-query:数据查询辅助工具

1、背景

在spring生态下,当前已经有很好的db查询工具了,即mybatisplus。对于单表查询,我们可以在不用写一行sql的情况下完成数据的各种条件查询,简单、方便且更符合程序员的习惯。
但在分布式情况下,我们每个功能模块都会以接口的方式给其他模块或外部服务提供接口,而不同的接口或业务,查询的表及字段等都不同,我们需要进行大量的模式化的定义及同质化的代码开发。这就导致,如果我们在接口设计的时候没有考虑到某个字段的查询,后续需要接口参数、mapper查询等等全部开发一遍。甚至类似的工作还会重复多次。但这些工作实际都是可以进行抽象出来的。如精确查询,在实际查询db的时候,需要的只是字段名称、字段值,其他如范围查询,in查询等等都是类似的。
基于以上想法,我们结合mybatisplus可以做两方面的辅助工具。一方面,微服务内部,可以基于此工具,实现类似mybatisplus的,基于代码的动态查询的能力;另一方面,对分布式服务,我们可以在接口层面支持类似本地的动态查询的能力。

2、这个工具能做什么?

这个工具主要是减少我们写模式化的动态sql,通过定义一些通用的查询模式,我们只需开发一次,后续如果需要查询表中其他字段,无需再次开发,只需加查询参数即可。

3、工具简介

3.1、工具maven依赖

<dependency>
    <groupId>io.github.zhaozhou1489</groupId>
    <artifactId>tools-db-query</artifactId>
    <version>0.0.4</version>
</dependency>

源码githug地址:https://github.com/zhaozhou1489/easy-tools/tree/master/tools-db-query

image.png

客户端功能模块说明:

  • Query模块:封装基础查询及组合查询。基础查询:如equal查询、like查询、in查询等,及对应的not查询,同时支持排序及limit处理;组合查询:任何查询的AND/OR组合查询,类似ElasticSearch的布尔查询功能。
  • QueryBuilder模块:对各种Query进行封装的模块,方便快捷创建查询。同时最终输出查询参数QueryParam。
  • QueryParam模块:通过QueryBuilder构造出来的各种Query查询及排序规则等的组合,其主要用于跨服务的传输,将组合后的查询参数传给服务端。

服务端功能模块说明:

  • QueryParser:查询参数解析器,将序列化的查询反序列化为对应的Query查询对象。
  • QueryCond:查询条件,解析QueryParam后对应的查询条件。
  • QueryTransUtil:参数转换工具,将传输参数QueryParam转换为服务端使用的QueryCond参数。其会利用QueryParser和QueryValidator处理QueryParam,并最终输出合法的QueryCond。
  • QueryValidator:查询校验器,其主要是校验QueryCond中各种查询类型是否合法,如字段名是否必填,值是否必填等;
  • QueryWrapperUtil:将QueryCond转换为mybatisplus的QueryWrapper查询,后续服务端可以直接使用mybatis-plus的动态查询能力进行db查询。
  • QueryCondServiceImpl:一个简单的基于mybatisplus的ServiceImpl封装的用于QueryCond的实现类,您可以继承此类并基于QueryCond快速地实现selectOne、selectList及selectPage查询。

支持的查询类型:

查询类型 支持not查询 说明
EqualQuery Y 精确查询
InQuery Y in查询
LikeQuery Y 模糊查询
NullQuery Y null查询
RangeQuery Y 范围查询
BooleanQuery Y 组合(AND\OR)其他任何查询

4、使用指南

4.1、客户端使用

示例源码:https://github.com/zhaozhou1489/test-example.git中的TestController类

@RestController
@RequestMapping(value = "/test")
public class TestController {
    
    @GetMapping("/selectOne")
    public Object selectOne(){
        //通过QueryBuilder构造查询参数
        QueryBuilder builder = QueryBuilder.newBuilder();
        builder.addEqualQuery("code","111")
                .addLikeQuery("name","tom");
        //通过http请求调用对应接口
        Object obj=  this.postRequest("/user/selectOne", builder.getQueryParam());
        return obj;
    }
}

主要是通过QueryBuilder构造查询参数,并通过构造参数请求服务端接口。

4.2、服务端使用

示例源码:https://github.com/zhaozhou1489/test-example.git中的UserController类

使用示例:
service层代码:

@Service
public class UserService extends QueryCondServiceImpl<UserMapper, User> {
}

直接继承QueryCondServiceImpl即可实现基于QueryCond的查询。

controller层代码:

@RestController
@RequestMapping(value = "/user")
public class UserController {

    @Autowired
    private UserService userService;

    @PostMapping("/selectOne")
    public Object selectOne(@RequestBody QueryParam param){
        //解析及验证查询参数
        QueryCond cond = new QueryCond();
        String errMsg = QueryTransUtil.transQueryParam(param,cond,null,null);
        if (StringUtils.isNotBlank(errMsg)){
            return errMsg;
        }
        //查询db
        return userService.selectOne(cond);
    }


    @PostMapping("/selectList")
    public Object selectList(@RequestBody QueryParam param){
        //解析及验证查询参数
        QueryCond cond = new QueryCond();
        String errMsg = QueryTransUtil.transQueryParam(param,cond,null,null);
        if (StringUtils.isNotBlank(errMsg)){
            return errMsg;
        }
        //查询db
        return userService.selectList(cond);
    }

    @PostMapping("/selectPage")
    public Object selectPage(@RequestBody QueryParam param){
        //解析及验证查询参数
        QueryCond cond = new QueryCond();
        String errMsg = QueryTransUtil.transQueryParam(param,cond,null,null);
        if (StringUtils.isNotBlank(errMsg)){
            return errMsg;
        }
        //查询db
        return userService.selectPage(cond, 1, 10);
    }

核心逻辑为使用QueryTransUtil将QueryParam解析及转换为QueryCond,然后使用QueryCond进行查询。

5、规范及限制

5.1、QueryParam中字段名称

QueryParam中所有字段都遵循驼峰格式,在服务端进行db查询的时候,工具会自动把驼峰格式转换为下划线格式。所以需要字段名称和db中的名称对应。

5.2、QueryTransUtil.transQueryParam()使用

QueryTransUtil.transQueryParam()用于将QueryParam解析并转换为QueryCond
方法签名:String transQueryParam(QueryParam queryParam, QueryCond queryCond, Set<String> validFields, Set<String> requiredFields)
说明:

  • QueryParam:客户端传入的查询参数。
  • QueryCond:转换的查询条件结果;
  • validFields:字段名称校验,如果为空,不做校验,否则所有字段的名字必须在此集合内;
  • requiredFields:必填字段,如果为空,不做校验;否则查询中必须有这些字段;
  • 返回值:类型String,如果为非空,则为错误message;否则表示处理成功;

5.3、QueryWrapperUtil.transQueryCond()的使用

QueryWrapperUtil.transQueryCond()用于将QueryCond转换为用于mybatisplus查询的QueryWrapper。
方法签名:QueryWrapper transQueryCond(QueryWrapper wrapper, QueryCond cond)
说明:

  • QueryWrapper:关联的QueryWrapper;
  • QueryCond:查询条件;

5.5、BooleanQuery查询的限制

BooleanQuery支持嵌套BooleanQuery及其他组合查询

5.6、查询数据量的限制

所有查询limit中count不能超过10000。如果超过或未设置,则自动设置为10000;

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,242评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,769评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,484评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,133评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,007评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,080评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,496评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,190评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,464评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,549评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,330评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,205评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,567评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,889评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,160评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,475评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,650评论 2 335

推荐阅读更多精彩内容