数据量大时limit分页慢的问题

今天有朋友跟我天了一个数据量大的时候,limit分页慢的问题。

网上查了一些资料,说了很多方法,决定自己试一试。

0、准备数据

先建一张简单的表,只有id和name,id是主键

image.png

然后模拟800w条数据,快速模拟数据的方法可以看这里:http://www.jianshu.com/p/23897452ed0e

image.png

1、limit 0,100,速度很快(右下角有执行时间)

select id,name from test limit 0,100
image.png

2、limit 5000000,100,同样是查询100条,速度就慢多了

limit 5000000,100的意思扫描满足条件的5000100行,扔掉前面的500w行,返回最后的100行,当然慢了。

select id,name from test limit 5000000,100
image.png

所以实际上我们的sql就慢在计算第500w零1条的id

3、计算第500w零1条的id

1)如果id连续

假定我们的id是里连续的,那么用id>500w即可,只需要0.007秒,效率非常高

select id,name from test where id>5000000 limit 0,100
image.png

2)如果id不连续

事实是id一般不是连续的,比如我们突然删除(或者逻辑删除)了其中的几百条,那么id就断了,这种情况下就需要我们自己来计算id

sql计算id
很多材料都提到用select id from test limit 5000000,1的方式来计算id,如下,貌似会快一点点,但是也不稳,多次执行求平均,跟limit 500w,100差别并不大(会快一点点)。

select id,name from test where id>=(select id from test limit 5000000,1) limit 100
第一次执行
第二次执行

用一个字段缓存序列
既然id不连续,那我们就创造一个连续的字段,比如我这里增加了一个order_no,从1-500w,再次执行我就直接按照order_no来计算limit的开始数值,效率显然跟id没差。

image.png
使用order_no获取limit的起始值

当然你得给order_no建立索引,如果没索引就惨了,如下图:

order_no没索引的情况

不过这种方式看似美好,也带来一个更大的问题,我们需要他是连续的,这就意味着每次我们删除一条数据的时候,就需要批量更新order_no。但是一次更新800w条数据显然对数据库压力很大,每次删除都更新不太现实。

不过我们可以考虑定时来刷新,比如每天晚上更新一次。这样的结果是,如果你删除了某一条,该页展示的时候就会少一条数据,如果你删除了100条,某一页可能一条数据都没了,第二天才正常,看你能不能接受了。

这种方法,对于一些定期增加的历史表、转储表,个人感觉很合适。

4、限制页数

我们前面一直在说limit 500w,100会慢,但是从业务角度来说,这以为着什么呢?100条一页,500w,意味着第5w页,真的有用户会翻到第5w页去查看信息吗?所以我们完全可以限制用户可查询的页数,想看更多?请输入查询条件来筛选。

5、总结

所以我们大概有3种方式来解决limit分页慢的问题,请根据自己的数据量和业务需求进行选择:
1、id连续的情况下,直接用where id>500的方式来解决
2、id不连续的情况下,使用select id from test limit 5000000,1来获取limit起始值,但是实际测试发现效果不大
3、id不连续的情况下,新建一个order_no字段用来计算起始值,效率很高,但是需要解决order_no更新的问题
4、限制查询页数

欢迎大家回复,留下一些的意见,或者来一波关注可好,多谢多谢!

原文链接:http://www.jianshu.com/p/b40852891fb0

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,491评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,856评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,745评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,196评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,073评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,112评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,531评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,215评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,485评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,578评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,356评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,215评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,583评论 3 299
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,898评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,174评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,497评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,697评论 2 335

推荐阅读更多精彩内容