引用:https://my.oschina.net/zhanglikun/blog/861474
大并发场景中，写入数据库操作经常遇到的一个问题是重复数据插入问题。假设接口服务接收到三个插入数据请求，实际三个请求要插入的数据是同一份数据(部分核心字段构造惟一条件)，这个时候常规做法很难保证数据不重复插入。
常规做法是，插入数据之前，查询数据库，判断数据是否存在，不存在则插入。
long time = System.currentTimeMillis() ;
for (int i = 0; i < 10000; i++) {
// 连续10次循环将生成相同用户名，以模拟重复插入情况
final String username = String.format("U%04d" ,i / 10 + 1);
if(!userService.exists(username)) {
userService.save(username ,"111111" ,new Date());
}
}
System.out.printf("程序执行耗时：%d 毫秒!" ,System.currentTimeMillis() - time);
在上述示例代码中，插入数据库之前，先查询，如果是单线程情况下，程序是没问题的，不会重复插入，但如果是并发执行的场景下，判断数据是否存在与插入首先不是原子操作，再者集群环境下也无法依靠事务和Lock等方式来控制重复插入问题。
long time = System.currentTimeMillis() ;
ExecutorService exec = Executors.newFixedThreadPool(100) ;
for (int i = 0; i < 10000; i++) {
// 连续10次循环将生成相同用户名，以模拟重复插入情况
final String username = String.format("U%04d" ,i / 10 + 1);
exec.execute(new Runnable() {
@Override
public void run() {
if(!userService.exists(username)) {
userService.save(username ,"111111" ,new Date());
}
}
});
}
exec.shutdown();
while (!exec.isTerminated()) ;
System.out.printf("程序执行耗时：%d 毫秒!" ,System.currentTimeMillis() - time);
上述代码证明了这一点，在测试中，每10条插入操作，插入的用户名是相同的，也就是重复记录，在并发情况下，实际测试结果证明先查询再写入的方式是不可行的。
解决该问题的办法有很多，使用队列、分布式锁等都可以解决。队列方式虽然能解决重复写入问题，但部分场景下不适用，如程序要求写入后需要用到插入的数据，比如数据主键等，虽然可以通过主键生成器，插入之前生成主键，但由于可能是重复插入，生成的主键在插入操作判断出重复而丢弃插入请求时，主键将失效，由于是异步程序，接口并不到及时得到反馈，以致于使用了错误的主键参与后续业务，造成问题。所以这里使用分布式锁来解决重复插入问题，分布式锁常用的有zookeeper、redis，这里简单起见使用redis的SETNX命令来实现。
SETNX命令在成功写入数据时，返回1，未成功写入时，返回0，并且该操作是原子的，根据此特性可以实现基于该命令的分布式锁，关于该命令的分布式锁网上有很多资料，涉及到锁的获取和释放，这里没有这么复杂，采用了一种取巧的办法，目的仅用于控制重复数据插入。
@Test
public void test_multi_insert() {
long time = System.currentTimeMillis() ;
ExecutorService exec = Executors.newFixedThreadPool(100) ;
for (int i = 0; i < 10000; i++) {
// 连续10次循环将生成相同用户名，以模拟重复插入情况
final String username = String.format("U%04d" ,i / 10 + 1);
exec.execute(new Runnable() {
@Override
public void run() {
if(!exists(username) && !userService.exists(username)) {
userService.save(username ,"111111" ,new Date());
}
}
});
}
exec.shutdown();
while (!exec.isTerminated()) ;
System.out.printf("程序执行耗时：%d 毫秒!" ,System.currentTimeMillis() - time);
}
private boolean exists(String username) {
final String key = "lock:" + username ;
Jedis jedis = null ;
try {
jedis = jedisPool.getResource() ;
Long reply = jedis.setnx(key ,"1") ;
if (reply != null && reply.equals(1L)) {
// 由于只是为了解决瞬时并发写入重复问题，所以缓存生存时间定为30秒
jedis.expire(key ,30) ;
return false ;
}
} catch (Exception e) {
e.printStackTrace();
} finally {
if (jedis != null) {
jedis.close();
}
}
return true ;
}
这里采用了取巧的办法，并不需要关注锁的释放问题，所以这里的锁释放(设置过期时间)操作并不严谨，但对于本案例来说，即使锁不释放，也不会有太大问题(浪费点Redis存储空间)，因为相同数据一旦写入，后面再也不应该再次写入，所以即使本例锁不释放也不会造成什么问题。
代码地址：http://git.oschina.net/zlikun/zlikun-test-concurrent_write_db
