因要做压力测试,需要在数据库调取大量数据,可是数据库里没有这么多数据。于是为了测试,就得往数据库里快速插入大量的临时数据。
快速插入大量数据有两种思路:一是利用 java 代码实现;一是利用数据库的存储过程。
首先,要先有一个数据表,注意数据表的引擎,在建表时使用的是 MyISAM 引擎,MyISAM 的插入比 InnoDB 要快很多,因为 InnoDB 的事务支持要好很多,而且大多数情况下都是默认使用 InnoDB,所以可以在插入数据完成后再修改成 InnoDB。
CREATE TABLE `tb_data` (
`id` int(11) DEFAULT NULL,
`user_name` varchar(100) DEFAULT NULL,
`create_time` datetime DEFAULT NULL,
`random` double DEFAULT NULL
) ENGINE=MyISAM DEFAULT CHARSET=utf8;
使用 java 代码,实测插入 100 万条数据耗时 6 秒。
代码示例:
package com.test;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.SQLException;
public class InsertDataDemo {
static Connection conn = null;
public static void initConn() throws ClassNotFoundException, SQLException {
String url = "jdbc:mysql://localhost:3306/testdb?"
+ "user=root&password=root&useUnicode=true&characterEncoding=UTF8&useSSL=false&serverTimezone=UTC";
try {
// 动态加载mysql驱动
Class.forName("com.mysql.jdbc.Driver");
System.out.println("成功加载MySQL驱动程序");
conn = DriverManager.getConnection(url);
} catch (Exception e) {
e.printStackTrace();
}
}
public static String randomStr(int size) {
//定义一个空字符串
String result = "";
for (int i = 0; i < size; ++i) {
//生成一个97~122之间的int类型整数
int intVal = (int) (Math.random() * 26 + 97);
//强制转换(char)intVal 将对应的数值转换为对应的字符,并将字符进行拼接
result = result + (char) intVal;
}
//输出字符串
return result;
}
public static void insert(int insertNum) {
// 开时时间
Long begin = System.currentTimeMillis();
System.out.println("开始插入数据...");
// sql前缀
String prefix = "INSERT INTO tb_data (id, user_name, create_time, random) VALUES ";
try {
// 保存sql后缀
StringBuffer suffix = new StringBuffer();
// 设置事务为非自动提交
conn.setAutoCommit(false);
PreparedStatement pst = conn.prepareStatement("");
for (int i = 1; i <= insertNum; i++) {
// 构建sql后缀
suffix.append("(" + i +",'"+ randomStr(8) + "', SYSDATE(), " + i * Math.random() + "),");
}
// 构建完整sql
String sql = prefix + suffix.substring(0, suffix.length() - 1);
// 添加执行sql
pst.addBatch(sql);
// 执行操作
pst.executeBatch();
// 提交事务
conn.commit();
// 关闭连接
pst.close();
conn.close();
} catch (SQLException e) {
e.printStackTrace();
}
// 结束时间
Long end = System.currentTimeMillis();
System.out.println("插入"+insertNum+"条数据数据完成!");
System.out.println("耗时 : " + (end - begin) / 1000 + " 秒");
}
public static void main(String[] args) throws SQLException, ClassNotFoundException {
initConn();
insert(1000000);
}
}
控制台输出:
成功加载MySQL驱动程序
开始插入数据...
插入1000000条数据数据完成!
耗时 : 6 秒
注意:
适当增大 mysql 的 max_allowed_packet 参数的值可以使client端到server端传递大数据时,系统能够分配更多的扩展内存来处理。
修改 mysql 配置文件:
[mysqld]
net_buffer_length=512k
max_allowed_packet=500M