springBoot + mybatis 分页问题研究

一、mybatis +generator 原生的分页

今天在做查询优化的时候,遇到mybatis查询性能问题,由于给出的查询条件比较多(多达十几个),并且需要做查询总数的count计算,返回给前端需要分页;如果使用原生的查询分页及计数需要查询两次:

  • 查询计数: countByExample
  • 查询分页:rowBounds + selectByExampleWithRowbounds

由于数据量比较大,这样两次查询耗时就超过1000ms,如果网络有延迟,会让使用的人感受很糟糕。

调研了一下selectByExampleWithRowbounds方法:

// 对应的xxxMapper.xml内的方法
<select resultMap="BaseResultMap" parameterType="xxxxx.com.xxxxx" id="selectByExampleWithRowbounds" >
    select
    <if test="distinct" >
      distinct
    </if>
    <include refid="Base_Column_List" />
    from xxx_xxxx_record
    <if test="_parameter != null" >
      <include refid="Example_Where_Clause" />
    </if>
    <if test="orderByClause != null" >
      order by ${orderByClause}
    </if>
  </select>

// 上述select中引用的方法如下:
<sql id="Example_Where_Clause" >
    <where >
      <foreach collection="oredCriteria" item="criteria" separator="or" >
        <if test="criteria.valid" >
          <trim prefix="(" suffix=")" prefixOverrides="and" >
            <foreach collection="criteria.criteria" item="criterion" >
              <choose >
                <when test="criterion.noValue" >
                  and ${criterion.condition}
                </when>
                <when test="criterion.singleValue" >
                  and ${criterion.condition} #{criterion.value}
                </when>
                <when test="criterion.betweenValue" >
                  and ${criterion.condition} #{criterion.value} and #{criterion.secondValue}
                </when>
                <when test="criterion.listValue" >
                  and ${criterion.condition}
                  <foreach collection="criterion.value" item="listItem" open="(" close=")" separator="," >
                    #{listItem}
                  </foreach>
                </when>
              </choose>
            </foreach>
          </trim>
        </if>
      </foreach>
    </where>
  </sql>

从上述代码中,虽然代码比较长,但是粗略扫一下发现并没有sql中使用分页查询会用到的limit字段,因此推断它的查询不是真正意义上的分页查询,这样的话当查询数据量很大一定会存在性能问题,继续往下探索,对rowbounds源码进行分析:

// rowbounds 定义
public class RowBounds {

  public static final int NO_ROW_OFFSET = 0;
  public static final int NO_ROW_LIMIT = Integer.MAX_VALUE;
  public static final RowBounds DEFAULT = new RowBounds();

  private final int offset;
  private final int limit;

  public RowBounds() {
    this.offset = NO_ROW_OFFSET;
    this.limit = NO_ROW_LIMIT;
  }

  public RowBounds(int offset, int limit) {
    this.offset = offset;
    this.limit = limit;
  }

  public int getOffset() {
    return offset;
  }

  public int getLimit() {
    return limit;
  }

}

当我们在查询的时候传入rowBounds这个对象的时候,会调用org.apache.ibatis.session中的DefaultResultSetHandler方法实行分页,具体代码如下:

private void handleRowValuesForSimpleResultMap(ResultSetWrapper rsw, ResultMap resultMap, ResultHandler<?> resultHandler, RowBounds rowBounds, ResultMapping parentMapping)
      throws SQLException {
    DefaultResultContext<Object> resultContext = new DefaultResultContext<Object>();
    //跳过RowBounds设置的offset值
    skipRows(rsw.getResultSet(), rowBounds);
    //判断数据是否小于limit,如果小于limit的话就不断的循环取值
    while (shouldProcessMoreRows(resultContext, rowBounds) && rsw.getResultSet().next()) {
      ResultMap discriminatedResultMap = resolveDiscriminatedResultMap(rsw.getResultSet(), resultMap, null);
      Object rowValue = getRowValue(rsw, discriminatedResultMap);
      storeObject(resultHandler, resultContext, rowValue, parentMapping, rsw.getResultSet());
    }
  }
private boolean shouldProcessMoreRows(ResultContext<?> context, RowBounds rowBounds) throws SQLException {
    //判断数据是否小于limit,小于返回true
    return !context.isStopped() && context.getResultCount() < rowBounds.getLimit();
  }
  //跳过不需要的行,应该就是rowbounds设置的limit和offset
  private void skipRows(ResultSet rs, RowBounds rowBounds) throws SQLException {
    if (rs.getType() != ResultSet.TYPE_FORWARD_ONLY) {
      if (rowBounds.getOffset() != RowBounds.NO_ROW_OFFSET) {
        rs.absolute(rowBounds.getOffset());
      }
    } else {
      //跳过RowBounds中设置的offset条数据
      for (int i = 0; i < rowBounds.getOffset(); i++) {
        rs.next();
      }
    }

所以并没有在查库的时候就进行分页,这样一旦数据量很大就会有性能问题,借助谷歌查询了一下,现在springBoot下比较流行的物理分页方法借助插件gitHub传送门。文档非常简单,这里给出简单配置使用示例:

  1. 首先导入pageHelper包,我的项目依赖管理是gradle,所以在dependencies中加入:
    // pagehelper 物理分页查询
    compile group: 'com.github.pagehelper', name: 'pagehelper-spring-boot-starter', version: '1.2.9'

注意!!!
记住组名一定要是pagehelper-spring-boot-starter,适用于springBoot项目,如果是pageHelper组名字话,你会发现在springBoot项目使用这个插件查询会失效。

  1. 接着按照自己的需求写一个配置文件(springBoot中都是配置代码化,不需要再xml中配置,这是springBoot优势,不要本末倒置了),或者在application启动项中加入Bean如下:
    @Bean
    public PageHelper pageHelper() {
        PageHelper pageHelper = new PageHelper();
        Properties p = new Properties();
//       如果直接使用原来的rowBounds方式可以设置这两项
//        p.setProperty("offsetAsPageNum","true");    
//        p.setProperty("rowBoundsWithCount","true");
        p.setProperty("reasonable","true");
        p.setProperty("dialect","mysql");
        pageHelper.setProperties(p);
        return pageHelper;
    }
  1. 使用示例:
// 定义一个查询返回类
@Data
@Builder
public class UserResponse {

    private List<User>  users;

    private long total;
}

// 查询实现类
@Service
public class UserServiceImpl implements UserService {

    @Autowired
    UserMapper userMapper;

    @Override
    public UserResponse findUser( Integer pageNum,Integer pageSize) {
        
        // example可以加入查询条件
        UserExample example = new UserExample();
        PageInfo pageInfo = PageHelper.startPage(pageNum,pageSize).doSelectPageInfo(() -> userMapper.selectByExample(example));
        return UserResponse.builder().users(pageInfo.getList()).total(pageInfo.getTotal()).build();
    }

个人比较喜欢这种流式写法,可以,里面参数不懂的可以感觉上面的github链接查看,不足之处欢迎指出。

以上就是springBoot+mybatis+gradle+pageHelper实现分页查询一个示例。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 205,386评论 6 479
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,939评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,851评论 0 341
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,953评论 1 278
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,971评论 5 369
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,784评论 1 283
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,126评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,765评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,148评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,744评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,858评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,479评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,080评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,053评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,278评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,245评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,590评论 2 343

推荐阅读更多精彩内容

  • 今天是女性同胞们的节日,先在这里祝所有MM节日快乐啦! 但作为女人,祝福只是客套话,试问自己,如今的你,真的快乐吗...
    宋薇棠阅读 24,517评论 0 5
  • 微风带着片片的花香,一路上都能闻到。 林间小道上,一位衣着简洁,血红色的头发随风飘飞,优雅万分。少年漫步在树林中,...
    听风花雨阅读 177评论 0 1
  • 屈源芝妈妈亲子日记第501天 9月8日,星期六,晴 周末最开心的就是睡到自然醒,给一家人做美食。 早上,熬了稀饭,...
    月儿贝贝阅读 454评论 1 2
  • 你觉得你能在未来的他面前展现自己最真实的一面吗?” “我不知道” “你最好弄清楚能不能,一开始你可以有些装,这可以...
    冬树白鸥阅读 149评论 1 1
  • 如果你有很多茶 在一个突如其来的时候 就会知道此刻泡一壶谁恰好压压惊 而此刻我正泡着小风上次寄我的93老铁 多么深...
    写一个世界的阅读 117评论 0 0