sharding-jdbc 4.x版本bug记录

分库分表数据源不支持ON DUPLICATE KEY UPDATE写法

读写分离数据源测试支持

ISSUE:
https://github.com/apache/shardingsphere/issues/8375

SQL:

2021-03-17 15:25:28,673 [http-bio-8080-exec-24] INFO  ShardingSphere-SQL - Actual SQL: ds_master ::: INSERT INTO face_recognition_course (user_id,staff_task_id,success_times,success_img_url,success_time,fail_times,fail_img_url,fail_time,tenant_id,create_time,create_by,update_time,update_by) VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?) ON DUPLICATE KEY UPDATE success_times = success_times + ?, success_img_url = ?, success_time = ?, update_time = ?, update_by = ? ::: [833682, 129571027, 1, url, 2021-03-17 15:17:36.0, 0, , null, 139, 2021-03-17 15:25:28.673, 833682, 2021-03-17 15:25:28.673, 833682]
替换参数列表只有13个  ON DUPLICATE KEY UPDATE 后面的参数没有进行参数替换

### SQL: INSERT INTO face_recognition_course (user_id,staff_task_id,success_times,success_img_url,success_time,fail_times,fail_img_url,fail_time,tenant_id,create_time,create_by,update_time,update_by) VALUES (?, ?, ?, ?, ?,?, ?, ?, ?,?, ?, ?, ?) ON DUPLICATE KEY UPDATE success_times = success_times + ?, success_img_url = ?, success_time = ?, update_time = ?, update_by = ?
### Cause: java.sql.SQLException: No value specified for parameter 14
; bad SQL grammar []; nested exception is java.sql.SQLException: No value specified for parameter 14

改造方式:
1、手动拼接ON DUPLICATE KEY UPDATE后面的参数
2、修改业务逻辑:拆分为插入和更新两个语句

插入数据后无法返回主键

ISSUE:
https://github.com/apache/shardingsphere/issues/7922

改造:
新增非分表数据源,采用此数据源处理此类需求

HintManager在同一线程中无法重复获取

其实也不算BUG,只是目前版本作者设计如此

源码:

 /**
     * Get a new instance for {@code HintManager}.
     *
     * @return  {@code HintManager} instance
     */
    public static HintManager getInstance() {
        Preconditions.checkState(null == HINT_MANAGER_HOLDER.get(), "Hint has previous value, please clear first.");
        HintManager result = new HintManager();
        HINT_MANAGER_HOLDER.set(result);
        return result;
    }

ISSUE:
https://github.com/apache/shardingsphere/issues/6342

问题场景:
1、读写分离场景:采用切面利用HintManager对某些方法设置强制使用主库;分库分表场景:采用切面利用HintManager对某些方法强制设置分片键;假如两个场景重合,即会出现重复获取HintManager的情况
2、@SelectKey在插入时候查询插入主键,假如针对DAO方法设置mybatis拦截器来强制设置分片键即会有此问题,因为插入方法还未执行完毕,HintManager还未关闭

改造:
新增HintManagerHolder保存HintManager的线程变量,由于强制使用主库(针对Service方法)的切面一般会比强制设置分片键(针对DAO方法粒度较细)优先执行,因此首次获取时可先共享HintManager,分库分表先从HintManagerHolder获取,获取不到时再获取一个新的HintManager

package com.netdragon.db.sharding.hint;

import org.apache.shardingsphere.api.hint.HintManager;

/**
 * 保存线程共享的HintManager:解决HintManager无法重复getInstance问题,
 * https://github.com/apache/shardingsphere/issues/6342
 *
 * @Date 2021/3/3
 **/
public class HintManagerHolder {

    private static final ThreadLocal<HintManager> HINT_MANAGER_HOLDER = new ThreadLocal<>();

    /**
     * 分表插件调用此方法判断是否已有HintManager
     *
     * @return
     */
    public static HintManager getInstance() {
        return HINT_MANAGER_HOLDER.get();
    }

    /**
     * 读写分离处理器获取HintManager时调用此方法共享HintManager
     *
     * @param hintManager
     */
    public static void setInstance(HintManager hintManager) {
        HINT_MANAGER_HOLDER.set(hintManager);
    }

    /**
     * 原有HintManager.clear()方法改为调用此方法
     */
    public static void clear() {
        HintManager.clear();
        HINT_MANAGER_HOLDER.remove();
    }
}

读写分离数据源解析in(大量数据)时过慢,频繁导致接口超时

背景:
线上某个列表接口频繁调用超时,微服务间配置的超时时间为10s,直接找出SQL去数据库无论是主库还是从库执行都只要1s时间,因此排除从库查询缓慢问题,只能从代码出发。PRE环境关闭读写分离功能后,刷新几百次列表界面也没再出现超时问题,因此可以判断是sharding框架带来的问题
另外还有批量插入insert into values大约两千条数据的时候也会存在同样的超时问题

在开启读写分离的情况下,将SQL放到本地执行,通过断点发现源码中执行缓慢的方法为如下解析过程:
org.apache.shardingsphere.sql.parser.core.parser.SQLParserEngine#parse

ISSUE:
https://github.com/apache/shardingsphere/issues/5209
作者的建议的优化SQL,不会处理

问题场景:
目前发现的场景的主要是in(大量数据),大概是下面这种情况,几十万个ID在in中,项目中代码就是这样,也不敢改


image.png

解决:
项目中另外创建一个普通的数据源(可以是从库),用以执行这些in(大量数据)的接口

注:com.github.pagehelper.PageHelper其中的count语句解析同样存在解析缓慢问题

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,504评论 6 496
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,434评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,089评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,378评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,472评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,506评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,519评论 3 413
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,292评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,738评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,022评论 2 329
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,194评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,873评论 5 338
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,536评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,162评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,413评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,075评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,080评论 2 352

推荐阅读更多精彩内容