(1).首先我们需要了解limit分页的工作流程
demo: SELECT * FROM table LIMIT 10000,5
通常我们会认为以上SQL会从10000条后面取5条,正确的是取出10005条,然后再抛弃前面的10000条.随着分页的增加内存消耗越高
eg:
SELECT * from user` LIMIT 0,10 (执行查询用时0.001s) SELECT * from user` LIMIT 200000,10 (执行查询用时0.035s) SELECT * from user` LIMIT 20000000,10;(执行查询用时2.451s)
(2).解决方法:
2.1.限制总分页数,例如百度限制最多76页.历史数据需要查询可以做站内筛选。
2.2.
SELECT * from `user` where id>20000000 limit 10(执行查询用时0.001s) //2000W查询
本方法缺点是id中间必须保证连续性,删除数据时候做逻辑删除即可.否则id不连续很尴尬
2.3.
(2.3.1).select * from user limit 40000001,3;(原始方式4.9s) (2.3.2).SELECT * FROM user as a INNER JOIN (SELECT id FROM user limit 4000001,3) as b on a.id= b.id;(新方法0.5s) //2.3推荐的方法,4000w查询 0.5s
本方法解决了id不连续的问题,可以真实删除数据