面试官:一千万数据,怎么快速查询?

前言

  • 官:来说说,一千万的,你是怎么查询的?
  • B哥:直接分页查询,使用limit分页。
  • 面试官:有实操过吗?
  • B哥:肯定有呀

此刻献上一首《凉凉》

也许有些人没遇过上千万数据量的表,也不清楚查询上千万数据量的时候会发生什么。

今天就来带大家实操一下,这次是基于MySQL 5.7.26做测试

准备数据

没有一千万的数据怎么办?

创建呗

代码创建一千万?那是不可能的,太慢了,可能真的要跑一天。可以采用执行速度快很多。

创建表

CREATETABLE`user_operation_log`(
`id`int(11)NOTNULLAUTO_INCREMENT,
`user_id`varchar(64)CHARACTERSETutf8mb4COLLATEutf8mb4_general_ciNULLDEFAULTNULL,
`ip`varchar(20)CHARACTERSETutf8mb4COLLATEutf8mb4_general_ciNULLDEFAULTNULL,
`op_data`varchar(255)CHARACTERSETutf8mb4COLLATEutf8mb4_general_ciNULLDEFAULTNULL,
`attr1`varchar(255)CHARACTERSETutf8mb4COLLATEutf8mb4_general_ciNULLDEFAULTNULL,
`attr2`varchar(255)CHARACTERSETutf8mb4COLLATEutf8mb4_general_ciNULLDEFAULTNULL,
`attr3`varchar(255)CHARACTERSETutf8mb4COLLATEutf8mb4_general_ciNULLDEFAULTNULL,
`attr4`varchar(255)CHARACTERSETutf8mb4COLLATEutf8mb4_general_ciNULLDEFAULTNULL,
`attr5`varchar(255)CHARACTERSETutf8mb4COLLATEutf8mb4_general_ciNULLDEFAULTNULL,
`attr6`varchar(255)CHARACTERSETutf8mb4COLLATEutf8mb4_general_ciNULLDEFAULTNULL,
`attr7`varchar(255)CHARACTERSETutf8mb4COLLATEutf8mb4_general_ciNULLDEFAULTNULL,
`attr8`varchar(255)CHARACTERSETutf8mb4COLLATEutf8mb4_general_ciNULLDEFAULTNULL,
`attr9`varchar(255)CHARACTERSETutf8mb4COLLATEutf8mb4_general_ciNULLDEFAULTNULL,
`attr10`varchar(255)CHARACTERSETutf8mb4COLLATEutf8mb4_general_ciNULLDEFAULTNULL,
`attr11`varchar(255)CHARACTERSETutf8mb4COLLATEutf8mb4_general_ciNULLDEFAULTNULL,
`attr12`varchar(255)CHARACTERSETutf8mb4COLLATEutf8mb4_general_ciNULLDEFAULTNULL,
PRIMARYKEY(`id`)USINGBTREE
)ENGINE=InnoDBAUTO_INCREMENT=1CHARACTERSET=utf8mb4COLLATE=utf8mb4_general_ciROW_FORMAT=Dynamic;

创建数据脚本

采用批量插入,效率会快很多,而且每1000条数就commit,数据量太大,也会导致批量插入效率慢

DELIMITER;;
CREATEPROCEDUREbatch_insert_log()
BEGIN
DECLAREiINTDEFAULT1;
DECLAREuserIdINTDEFAULT10000000;
set@execSql='INSERTINTO`test`.`user_operation_log`(`user_id`,`ip`,`op_data`,`attr1`,`attr2`,`attr3`,`attr4`,`attr5`,`attr6`,`attr7`,`attr8`,`attr9`,`attr10`,`attr11`,`attr12`)VALUES';
set@execData='';

set@attr="'测试很长很长很长很长很长很长很长很长很长很长很长很长很长很长很长很长很长的属性'";
set@execData=concat(@execData,"(",userId+i,",'10.0.69.175','用户登录操作'",",",@attr,",",@attr,",",@attr,",",@attr,",",@attr,",",@attr,",",@attr,",",@attr,",",@attr,",",@attr,",",@attr,",",@attr,")");
ifi%1000=0
then
set@stmtSql=concat(@execSql,@execData,";");
preparestmtfrom@stmtSql;
executestmt;
DEALLOCATEpreparestmt;
commit;
set@execData="";
else
set@execData=concat(@execData,",");
endif;
SETi=i+1;
ENDWHILE;

END;;
DELIMITER;

开始测试

哥的电脑配置比较低:win10 标压渣渣i5 读写约500MB的

由于配置低,本次测试只准备了3148000条数据,占用了磁盘(还没建索引的情况下),跑了38min,电脑配置好的同学,可以插入多点数据测试

SELECTcount(1)FROM`user_operation_log`

返回结果:3148000

三次查询时间分别为:

  • 14060 ms
  • 13755 ms
  • 13447 ms

普通分页查询

MySQL 支持 LIMIT 语句来选取指定的条数数据, 可以使用 ROWNUM 来选取。

MySQL分页查询语法如下:

SELECT*FROMtableLIMIT[offset,]rows|rowsOFFSEToffset
  • 第一个指定第一个返回记录行的偏移量
  • 第二个参数指定返回记录行的最大数目

下面我们开始测试查询结果:

SELECT*FROM`user_operation_log`LIMIT10000,10

查询3次时间分别为:

  • 59 ms
  • 49 ms
  • 50 ms

这样看起来速度还行,不过是本地数据库,速度自然快点。

换个角度来测试

相同偏移量,不同数据量

SELECT*FROM`user_operation_log`LIMIT10000,10
SELECT*FROM`user_operation_log`LIMIT10000,100
SELECT*FROM`user_operation_log`LIMIT10000,1000
SELECT*FROM`user_operation_log`LIMIT10000,10000
SELECT*FROM`user_operation_log`LIMIT10000,100000
SELECT*FROM`user_operation_log`LIMIT10000,1000000

查询时间如下:

面试官:一千万数据,怎么快速查询?
面试官:一千万数据,怎么快速查询?

从上面结果可以得出结束:数据量越大,花费时间越长

相同数据量,不同偏移量

SELECT*FROM`user_operation_log`LIMIT100,100
SELECT*FROM`user_operation_log`LIMIT1000,100
SELECT*FROM`user_operation_log`LIMIT10000,100
SELECT*FROM`user_operation_log`LIMIT100000,100
SELECT*FROM`user_operation_log`LIMIT1000000,100
面试官:一千万数据,怎么快速查询?

图片

从上面结果可以得出结束:偏移量越大,花费时间越长

SELECT*FROM`user_operation_log`LIMIT100,100
SELECTid,attrFROM`user_operation_log`LIMIT100,100

如何优化

既然我们经过上面一番的折腾,也得出了结论,针对上面两个问题:偏移大、数据量大,我们分别着手优化

优化偏移量大问题

采用子查询方式

我们可以先定位偏移位置的 id,然后再查询数据

SELECT*FROM`user_operation_log`LIMIT1000000,10SELECTidFROM`user_operation_log`LIMIT1000000,1SELECT*FROM`user_operation_log`WHEREid>=(SELECTidFROM`user_operation_log`LIMIT1000000,1)LIMIT10

查询结果如下:

面试官:一千万数据,怎么快速查询?

从上面结果得出结论:

  • 第一条花费的时间最大,第三条比第一条稍微好点
  • 子查询使用索引速度更快

缺点:只适用于id递增的情况

id非递增的情况可以使用以下写法,但这种缺点是分页查询只能放在子查询里面

注意:某些 mysql 版本不支持在 in 子句中使用 limit,所以采用了多个嵌套select

SELECT*FROM`user_operation_log`WHEREidIN(SELECTt.idFROM(SELECTidFROM`user_operation_log`LIMIT1000000,10)ASt)

采用 id 限定方式

这种方法要求更高些,id必须是连续递增,而且还得计算id的范围,然后使用 between,如下

SELECT*FROM`user_operation_log`WHEREidbetween1000000AND1000100LIMIT100

SELECT*FROM`user_operation_log`WHEREid>=1000000LIMIT100

查询结果如下:

面试官:一千万数据,怎么快速查询?

图片

从结果可以看出这种方式非常快

注意:这里的 LIMIT 是限制了条数,没有采用偏移量

优化数据量大问题

返回结果的数据量也会直接影响速度

SELECT*FROM`user_operation_log`LIMIT1,1000000

SELECTidFROM`user_operation_log`LIMIT1,1000000

SELECTid,user_id,ip,op_data,attr1,attr2,attr3,attr4,attr5,attr6,attr7,attr8,attr9,attr10,attr11,attr12FROM`user_operation_log`LIMIT1,1000000

查询结果如下:

面试官:一千万数据,怎么快速查询?

图片

从结果可以看出减少不需要的列,查询效率也可以得到明显提升

第一条和第三条查询速度差不多,这时候你肯定会吐槽,那我还写那么多字段干啥呢,直接 * 不就完事了

注意本人的 MySQL 服务器和客户端是在_同一台机器_上,所以查询数据相差不多,有条件的同学可以测测客户端与MySQL分开

SELECT * 它不香吗?

在这里顺便补充一下为什么要禁止SELECT *。难道简单无脑,它不香吗?

主要两点:

  • 用 “SELECT * ” 数据库需要解析更多的对象、字段、权限、属性等相关内容,在 SQL 语句复杂,硬解析较多的情况下,会对数据库造成沉重的负担。
  • 增大网络开销,* 有时会误带上如log、IconMD5之类的无用且大文本字段,数据传输size会几何增涨。特别是MySQL和应用不在同一台机器,这种开销非常明显。

结束

最后还是希望大家自己去实操一下,肯定还可以收获更多,欢迎留言!!

创建脚本我给你正好了,你还在等什么!!!

链接:https://juejin.cn/post/6863668253898735629

给TA打赏
共{{data.count}}人
人已打赏
运维笔记

Keepalived脑裂的解决和预防(附脚本)

2023-10-10 18:32:42

运维笔记

3分钟超级简单配置Zabbix电话短信机器人报警

2023-10-10 18:32:48

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索