在MySQL学习调试的过程中,特别是索引相关的测试,必须要数据量有一定规模,或者数据呈现的一定的分布特征(filtered),才能达到我们测试的目的。
1、首先想到是,利用存储过程,写一个循环,插入数据。
新建一张测试表:
CREATE TABLE `user` (
`uid` int(11) NOT NULL AUTO_INCREMENT COMMENT '用户id',
`account` varchar(30) NOT NULL DEFAULT '' COMMENT '用户账号(邮箱/手机号/昵称)',
`mobile` varchar(11) NOT NULL DEFAULT '' COMMENT '中国境内手机号',
`add_time` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '注册时间',
PRIMARY KEY (`uid`)
) ENGINE=InnoDB COMMENT='用户表';
定义一个循环插入的存储过程
#定义存储过程
DROP PROCEDURE IF EXISTS `my_insert`;
DELIMITER ;;
CREATE PROCEDURE `my_insert`()
BEGIN
DECLARE i INT DEFAULT 1;
WHILE i<=1000000
DO
#插入语句
insert into `user` (`uid`, `account`, `mobile`, `add_time`) VALUES (NULL, substring(MD5(RAND()),1,10), substring(RAND()*1000000000000,1,11), UNIX_TIMESTAMP());
SET i=i+1;
END WHILE ;
commit;
END;;
DELIMITER;
调用存储过程
#调用存储过程
CALL my_insert();
插入100w条数据所需时间,以及服务器的CPU和内存负载
[SQL]#调用存储过程
CALL my_insert();
受影响的行: 0
时间: 9565.953s
当然在这100w次循环中,我们也调用了RADN,MD5,SUBSTRING,UNIX_TIMESTAMP函数,为了排除这部分时间的耗时,改写一下存储过程,纯粹看看100w次循环计算,但是不插入SQL的时间。
DELIMITER ;;
CREATE PROCEDURE `my_insert`()
BEGIN
DECLARE i INT DEFAULT 1;
WHILE i<=1000000
DO
#插入语句
set @va = substring(MD5(RAND()),1,10);
set @vb = substring(RAND()*1000000000000,1,11);
set @vc = UNIX_TIMESTAMP();
SET i=i+1;
END WHILE ;
commit;
END;;
DELIMITER;
执行结果:
[SQL]CALL my_insert();
受影响的行: 0
时间: 85.382s
这里面比较耗时的函数,MD5算最厉害的。可以看出,100w条数据的插入,主要耗时在SQL解析和插入的动作(可能包含事务、日志、IO)
测试采用的是独立表空间:
mysql> SHOW VARIABLES LIKE '%innodb_file_per_table%';
+-----------------------+-------+
| Variable_name | Value |
+-----------------------+-------+
| innodb_file_per_table | ON |
+-----------------------+-------+
1 row in set (0.00 sec)
100w条数据,实际的文件大小是:
ll -S
total 60M
-rw-r----- 1 mysql mysql 60M Jan 18 14:55 user.ibd
这种方式不能忍受。
2、使用LOAD DATA LOCAL INFILE,在MySQL Clinet上导入Server上的数据。
先准备一个有tab字符隔开的文本,一行记录占一行,换行用\n.
这里我用PHP生成
<?php
set_time_limit(0);
$fp = fopen('./insert.sql', 'wb');
if ($fp) {
$i = 0;
while ($i < 1000000) {
$account = bin2hex(random_bytes(5));
$mobile = rand(10000000000, 99999999999);
$add_time = time();
$sql = "NULL\t$account\t$mobile\t$add_time" . "\n";
fwrite($fp, $sql);
$i++;
}
fclose($fp);
}
相关信息:
使用LOAD DATA LOCAL语句:
LOAD DATA LOCAL INFILE '/media/sf_www/php/insert.sql' INTO TABLE user(
uid,
account,
mobile,
add_time);
Query OK, 1000000 rows affected, 65535 warnings (5.28 sec)
Records: 1000000 Deleted: 0 Skipped: 0
100w的数据6.5秒就导入成功。
MySQL8.0
如果在MySQL8.0以上可能会遇到:
ERROR 1148 (42000): The used command is not allowed with this MySQL version
这是因为使用LOAD DATA LOCAL语句有潜在的安全风险。MySQL8.0默认关闭了local_infile=OFF
而这个参数在MySQL5.7中,默认是ON
具体可参加两篇文档:
https://dev.mysql.com/doc/refman/5.7/en/load-data-local.html
https://dev.mysql.com/doc/refman/8.0/en/load-data-local.html
我们可以通过改动参数,
mysql> SET GLOBAL local_infile = 1;
Query OK, 0 rows affected (0.00 sec)
或者vim参数 vim /etc/my.cnf 修改配置,这样即使MySQL重启以后,配置也会生效。
不过对于MySQL8.0以上 我们还可是使用新增的关键字:PERSIST
SET PERSIST local_infile = 1;
这样参数将持久化到新的配置文件(mysqld-auto.cnf)中,重启MySQL时,可以从该配置文件获取到最新的配置参数。该文件(mysqld-auto.cnf)默认在msyql的安装目录下,一般是/var/lib/mysql/,是一个JSON文件。
在MySQL8.0.13上测试导入1000w数据。
1000w行的文本文件,约372M。
导入之前先修改参数:
mysql> SET PERSIST local_infile = 1;
Query OK, 0 rows affected (0.00 sec)
此时server端,local_infile 的参数已经是ON,倘若此时执行LOAD DATA LOCAL还是会报错。
ERROR 1148 (42000): The used command is not allowed with this MySQL version
还需要把Client端,也改成支持local_infile
退出msyql,用以下方式登录:
mysql --local-infile=1 -u root -p
再次执行
LOAD DATA LOCAL INFILE '/media/sf_www/php/insert.sql' INTO TABLE user(
uid,
account,
mobile,
add_time);
就可以了。
Query OK, 10000000 rows affected, 65535 warnings (1 min 20.95 sec)
Records: 10000000 Deleted: 0 Skipped: 0 Warnings: 10000000
1000w的数据,20.95s执行成功了,还不够一个厕所的时间。