Mysql 生成100w条测试数据

https://nsimple.top/archives/mysql-create-million-data.html

有时候我们需要对大数据进行测试,本地一般没有那么多数据,就需要我们自己生成一些。下面会借助内存表的特点进行生成百万条测试数据。

创建一个临时内存表, 做数据插入的时候会比较快些

SQL

-- 创建一个临时内存表DROPTABLEIFEXISTS`vote_record_memory`;CREATETABLE`vote_record_memory`(`id`int(10)unsignedNOTNULLAUTO_INCREMENT,`user_id`varchar(20)NOTNULLDEFAULT'',`vote_num`int(10)unsignedNOTNULLDEFAULT'0',`group_id`int(10)unsignedNOTNULLDEFAULT'0',`status`tinyint(2)unsignedNOTNULLDEFAULT'1',`create_time`datetimeNOTNULLDEFAULT'0000-00-00 00:00:00',PRIMARYKEY(`id`),KEY`index_user_id`(`user_id`)USINGHASH)ENGINE=InnoDBAUTO_INCREMENT=1DEFAULTCHARSET=utf8;

-- 创建一个普通表,用作模拟大数据的测试用例

SQL

DROPTABLEIFEXISTS`vote_record`;CREATETABLE`vote_record`(`id`int(10)unsignedNOTNULLAUTO_INCREMENT,`user_id`varchar(20)NOTNULLDEFAULT''COMMENT'用户Id',`vote_num`int(10)unsignedNOTNULLDEFAULT'0'COMMENT'投票数',`group_id`int(10)unsignedNOTNULLDEFAULT'0'COMMENT'用户组id 0-未激活用户 1-普通用户 2-vip用户 3-管理员用户',`status`tinyint(2)unsignedNOTNULLDEFAULT'1'COMMENT'状态 1-正常 2-已删除',`create_time`int(10)unsignedNOTNULLDEFAULT'0000-00-00 00:00:00'COMMENT'创建时间',PRIMARYKEY(`id`),KEY`index_user_id`(`user_id`)USINGHASHCOMMENT'用户ID哈希索引')ENGINE=InnoDBDEFAULTCHARSET=utf8COMMENT='投票记录表';

为了数据的随机性和真实性,我们需要创建一个可生成长度为n的随机字符串的函数。

SQL

-- 创建生成长度为n的随机字符串的函数DELIMITER// -- 修改MySQL delimiter:'//'DROPFUNCTIONIFEXISTS`rand_string`//SETNAMES utf8//CREATEFUNCTION`rand_string`(nINT)RETURNSVARCHAR(255)CHARSET'utf8'BEGINDECLAREchar_strvarchar(100)DEFAULT'abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789';DECLAREreturn_strvarchar(255)DEFAULT'';DECLAREiINTDEFAULT0;WHILEi

为了操作方便,我们再创建一个插入数据的存储过程

SQL

-- 创建插入数据的存储过程DROPPROCEDUREIFEXISTS`add_vote_record_memory`//CREATEPROCEDURE`add_vote_record_memory`(INnINT)BEGINDECLAREiINTDEFAULT1;DECLAREvote_numINTDEFAULT0;DECLAREgroup_idINTDEFAULT0;DECLAREstatusTINYINTDEFAULT1;WHILEi

开始执行存储过程,等待生成数据(10W条生成大约需要40分钟)

SQL

-- 调用存储过程 生成100W条数据CALLadd_vote_record_memory(1000000);

查询内存表已生成记录(为了下步测试,目前仅生成了105645条)

SQL

SELECTcount(*)FROM`vote_record_memory`;-- count(*)-- 105646

把数据从内存表插入到普通表中(10w条数据13s就插入完了)

SQL

INSERTINTOvote_recordSELECT*FROM`vote_record_memory`;

查询普通表已的生成记录

SQL

SELECTcount(*)FROM`vote_record`;-- count(*)-- 105646

如果一次性插入普通表太慢,可以分批插入,这就需要写个存储过程了:

SQL

-- 参数n是每次要插入的条数-- lastid是已导入的最大idCREATEPROCEDURE`copy_data_from_tmp`(INnINT)BEGINDECLARElastidINTDEFAULT0;SELECTMAX(id)INTOlastidFROM`vote_record`;INSERTINTO`vote_record`SELECT*FROM`vote_record_memory`whereid>lastidLIMITn;END

调用存储过程:

SQL

-- 调用存储过程 插入60w条CALLcopy_data_from_tmp(600000);

标签: mysql原创大数据

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容