分库分表数据源不支持ON DUPLICATE KEY UPDATE写法
读写分离数据源测试支持
ISSUE:
https://github.com/apache/shardingsphere/issues/8375
SQL:
2021-03-17 15:25:28,673 [http-bio-8080-exec-24] INFO ShardingSphere-SQL - Actual SQL: ds_master ::: INSERT INTO face_recognition_course (user_id,staff_task_id,success_times,success_img_url,success_time,fail_times,fail_img_url,fail_time,tenant_id,create_time,create_by,update_time,update_by) VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?) ON DUPLICATE KEY UPDATE success_times = success_times + ?, success_img_url = ?, success_time = ?, update_time = ?, update_by = ? ::: [833682, 129571027, 1, url, 2021-03-17 15:17:36.0, 0, , null, 139, 2021-03-17 15:25:28.673, 833682, 2021-03-17 15:25:28.673, 833682]
替换参数列表只有13个 ON DUPLICATE KEY UPDATE 后面的参数没有进行参数替换
### SQL: INSERT INTO face_recognition_course (user_id,staff_task_id,success_times,success_img_url,success_time,fail_times,fail_img_url,fail_time,tenant_id,create_time,create_by,update_time,update_by) VALUES (?, ?, ?, ?, ?,?, ?, ?, ?,?, ?, ?, ?) ON DUPLICATE KEY UPDATE success_times = success_times + ?, success_img_url = ?, success_time = ?, update_time = ?, update_by = ?
### Cause: java.sql.SQLException: No value specified for parameter 14
; bad SQL grammar []; nested exception is java.sql.SQLException: No value specified for parameter 14
改造方式:
1、手动拼接ON DUPLICATE KEY UPDATE后面的参数
2、修改业务逻辑:拆分为插入和更新两个语句
插入数据后无法返回主键
ISSUE:
https://github.com/apache/shardingsphere/issues/7922
改造:
新增非分表数据源,采用此数据源处理此类需求
HintManager在同一线程中无法重复获取
其实也不算BUG,只是目前版本作者设计如此
源码:
/**
* Get a new instance for {@code HintManager}.
*
* @return {@code HintManager} instance
*/
public static HintManager getInstance() {
Preconditions.checkState(null == HINT_MANAGER_HOLDER.get(), "Hint has previous value, please clear first.");
HintManager result = new HintManager();
HINT_MANAGER_HOLDER.set(result);
return result;
}
ISSUE:
https://github.com/apache/shardingsphere/issues/6342
问题场景:
1、读写分离场景:采用切面利用HintManager对某些方法设置强制使用主库;分库分表场景:采用切面利用HintManager对某些方法强制设置分片键;假如两个场景重合,即会出现重复获取HintManager的情况
2、@SelectKey在插入时候查询插入主键,假如针对DAO方法设置mybatis拦截器来强制设置分片键即会有此问题,因为插入方法还未执行完毕,HintManager还未关闭
改造:
新增HintManagerHolder保存HintManager的线程变量,由于强制使用主库(针对Service方法)的切面一般会比强制设置分片键(针对DAO方法粒度较细)优先执行,因此首次获取时可先共享HintManager,分库分表先从HintManagerHolder获取,获取不到时再获取一个新的HintManager
package com.netdragon.db.sharding.hint;
import org.apache.shardingsphere.api.hint.HintManager;
/**
* 保存线程共享的HintManager:解决HintManager无法重复getInstance问题,
* https://github.com/apache/shardingsphere/issues/6342
*
* @Date 2021/3/3
**/
public class HintManagerHolder {
private static final ThreadLocal<HintManager> HINT_MANAGER_HOLDER = new ThreadLocal<>();
/**
* 分表插件调用此方法判断是否已有HintManager
*
* @return
*/
public static HintManager getInstance() {
return HINT_MANAGER_HOLDER.get();
}
/**
* 读写分离处理器获取HintManager时调用此方法共享HintManager
*
* @param hintManager
*/
public static void setInstance(HintManager hintManager) {
HINT_MANAGER_HOLDER.set(hintManager);
}
/**
* 原有HintManager.clear()方法改为调用此方法
*/
public static void clear() {
HintManager.clear();
HINT_MANAGER_HOLDER.remove();
}
}
读写分离数据源解析in(大量数据)时过慢,频繁导致接口超时
背景:
线上某个列表接口频繁调用超时,微服务间配置的超时时间为10s,直接找出SQL去数据库无论是主库还是从库执行都只要1s时间,因此排除从库查询缓慢问题,只能从代码出发。PRE环境关闭读写分离功能后,刷新几百次列表界面也没再出现超时问题,因此可以判断是sharding框架带来的问题
另外还有批量插入insert into values大约两千条数据的时候也会存在同样的超时问题
在开启读写分离的情况下,将SQL放到本地执行,通过断点发现源码中执行缓慢的方法为如下解析过程:
org.apache.shardingsphere.sql.parser.core.parser.SQLParserEngine#parse
ISSUE:
https://github.com/apache/shardingsphere/issues/5209
作者的建议的优化SQL,不会处理
问题场景:
目前发现的场景的主要是in(大量数据),大概是下面这种情况,几十万个ID在in中,项目中代码就是这样,也不敢改
解决:
项目中另外创建一个普通的数据源(可以是从库),用以执行这些in(大量数据)的接口
注:com.github.pagehelper.PageHelper其中的count语句解析同样存在解析缓慢问题