MySQL深分页问题四种方案小结!

MySQL深分页问题四种方案小结!

在数据量大时,深分页查询速度缓慢,主要原因是多次回表查询,优化方法主要介绍了四种,各方法适用于不同场景,本文就来详细的介绍一下,感兴趣的可以了解一下。

mysql深分页问题:

这个问题在实际项目中很常见,当数据量大以后,分页会非常的慢(几年前做过一个调度日志的分页查询,简直没法用)

深分页为什么慢

前言:N个条件为索引,id为主键
平常分页一般也是用的PageHelper插件,最终SQL就大致长这个样:

1
select id,name from table_name where N个条件 limit 100000,10;

它的执行流程:

  • 先去二级索引过滤数据,然后找到主键ID
  • 通过ID回表查询数据,取出需要的列
  • 扫描满足条件的100010,丢弃前面100000条,返回

这里很明显的不足就是,明明只需要拿10条,确多回表了100000次

优化

1. 通过子查询优化

优化回表次数

1
select id,name FROM table_name t1 where id >= (select id from table_name where update_time >= '2024-04-01 23:59:59' limit 100000, 1) AND update_time >= '2024-04-01 23:59:59' LIMIT 10;

流程:根据条件在二级索引进行匹配,得出结果ID后,外层查询再根据结果ID向后查10个即可

2. 通过 INNER JOIN 优化

优化回表次数

1
SELECT t1.id,t1.name FROM table_name t1 INNER JOIN (SELECT t2.id FROM table_name t2 WHERE t2.update_time >= '2024-04-01 23:59:59' ORDER BY t2.update_time LIMIT 100000, 10) AS t3 on t1.id= t3.id;

上面两种方式其核心点都是 优化回表次数 这个角度去进行优化,但是扫描的行却并没有减少,下面有两种是从减少扫描行入手的方式,不过都有一定限制

3. 标签记录法

记录上次查询的最大ID,再请求下一页的时候

1
select id,name FROM table_name where id > 100000 order by id limit 10;

4. between...and...

1
select  id,name FROM table_name where id between 100000 and 100010 order by id;

局限性:依赖于连续自增的字段(如果不连续,可以order by 一下 )

补充

是否可带条件 适用场景
子查询 后台系统多条件分页
INNER JOIN 后台系统多条件分页
标签记录法 滑动分页(如app商品列表、新闻资讯列表)
between...and... 滑动分页

之前在项目后台管理系统中采用的 标签记录法,根据条件快速定位到ID,然后再次根据条件向后扫描指定行数,前端也一并改造,禁止输入页数,仅允许点击下一页上一页[既然都出现深分页问题了,那业务也不需要支持使用者随意跳页,因为没有任何意义,他要跳到八千五百三十一页看什么呢?]

到此这篇关于MySQL深分页问题四种方案小结的文章就介绍到这了。

 

 

学习资料见知识星球。

以上就是今天要分享的技巧,你学会了吗?若有什么问题,欢迎在下方留言。

快来试试吧,小琥 my21ke007。获取 1000个免费 Excel模板福利​​​​!

更多技巧, www.excelbook.cn

欢迎 加入 零售创新 知识星球,知识星球主要以数据分析、报告分享、数据工具讨论为主;

Excelbook.cn Excel技巧 SQL技巧 Python 学习!

你将获得:

1、价值上万元的专业的PPT报告模板。

2、专业案例分析和解读笔记。

3、实用的Excel、Word、PPT技巧。

4、VIP讨论群,共享资源。

5、优惠的会员商品。

6、一次付费只需99元,即可下载本站文章涉及的文件和软件。

文章版权声明 1、本网站名称:Excelbook
2、本站永久网址:http://www.excelbook.cn
3、本网站的文章部分内容可能来源于网络,仅供大家学习与参考,如有侵权,请联系站长王小琥进行删除处理。
4、本站一切资源不代表本站立场,并不代表本站赞同其观点和对其真实性负责。
5、本站一律禁止以任何方式发布或转载任何违法的相关信息,访客发现请向站长举报。
6、本站资源大多存储在云盘,如发现链接失效,请联系我们我们会第一时间更新。

THE END
分享
二维码
< <上一篇
下一篇>>