用极客Geek精神,做极致软件:金笛短信中间件WEB版与数据库连接池

短信中间件核心在于中间层,把复杂的底层操作转换为简单、方便的数据库操作。软件设计为从客户的数据库自动定时提取数据发送。中间件需要和用户的应用程序共享使用数据库,这就要求中间件访问数据库既要快,又不能影响数据库的性能。数据库连接池是必不可少的。

数据库连接池就是一个池子,里面放着数据库连接,应用服务需要的时候就去池子里面拿,用完之后归还给池子。数据库连接池负责分配、管理、释放数据库连接,它允许应用服务重复使用数据库连接,而非重新建立。数据库的连接创建和关闭连接均由连接池来实现。应用访问时,首先查看连接池中是否有空闲连接,如果存在空闲连接,则将连接分配给客户使用;如果没有空闲连接,则查看当前所开的连接数是否已经达到最大连接数,如果没达到就重新创建一个连接给请求的客户;如果达到就按设定的最大等待时间进行等待,如果超出最大等待时间,则抛出异常给客户。 当客户释放数据库连接时,先判断该连接的引用次数是否超过了规定值,如果超过就从连接池中删除该连接,否则保留等待再次使用。

如果不使用数据库连接池,进行一次查询,要进行很多次网络交互,可以看到,这样的缺点是:

1. 网络IO多

2. 响应时间长,导致QPS降低

3. 频繁创建连接和关闭连接,浪费数据库资源,影响服务器性能

使用连接池的好处:

1. 减少网络开销

2. 提升数据库性能

金笛短信中间件对连接池有2个要求:一要快,二要稳。目前,流行的Java数据库连接池有dbcp,druid,HikariCP,tomcat-jdbc,c3p0。在对所有流行的连接池进行逐一比较之后,单从性能角度看,性能从高到低分别是:HikariCP,druid,tomcat-jdbc,dbcp,c3p0 。

关于HikariCP和druid的性能对比,在github/HikariCP上有过讨论,结果是HikariCP性能上优于druid,吃瓜地址:https://github.com/brettwooldridge/HikariCP/issues/232

HikariCP 脱颖而出,符合金笛短信中间件短信要求既要快,又要稳的要求。短信从提取到发送,在数据库这个环节,把时间压缩到毫秒内,只有短信发送的每个环节都榨干,才能保证最终短信发送秒到。

各种评测对比,也说明HikariCP是目前最快的Java数据库连接池,spring boot 2.x已经使用HikariCP作为默认的数据库连接池,足见其优秀。总代码量:代码体积更是少的可怜,130kb。代码量越少,一般意味着执行效率越高、发生bug的可能性越低。简单意味着可靠,好维护,兼容性好。

数据库连接池,在20年以前就有。经过20年的进化,已经非常犀利。日本人素来以工匠精神著称,一个人一辈子就做好一件事。HikariCP是日本人在boneCP基础上,把优化做到了极致:为什么这么说呢?

1. 优化并精简字节码,优化代码,直到编译后的字节码最少,这样,CPU缓存可以加载更多的程序代码。使用Java字节码修改类库Javassist来生成委托实现动态代理,JDK Proxy生成的字节码更少。例如HikariCP的Statement proxy只有100行代码,只有BoneCP的十分之一,对编译器不满意,就差重写java编译器了。

2. 定义集合类型(ConcurrentBag):提高并发读写的效率。

3. 自定义数组类型(FastStatementList)代替ArrayList:避免每次get()调用都要进行range check,避免调用remove()时的从头到尾的扫描。

4. 其他针对BoneCP缺陷的优化,比如对于耗时超过一个CPU时间片的优化。

光速,每秒30万公里。没有比光速更快的了。HikariCP ,就是光速。

本着geek精神,在可靠性方面,继续研究。对于数据库连接中断的情况,通过测试getConnection(),各种CP的不相同处理方法如下:

(所有CP都配置了跟connectionTimeout类似的参数为5秒钟)

HikariCP:等待5秒钟后,如果连接还是没有恢复,则抛出一个SQLExceptions 异常;后续的getConnection()也是一样处理;

C3P0:完全没有反应,没有提示,也不会在“CheckoutTimeout”配置的时长超时后有任何通知给调用者;然后等待2分钟后终于醒来了,返回一个error;

Tomcat:返回一个connection,然后……调用者如果利用这个无效的connection执行SQL语句……结果可想而知;大约55秒之后终于醒来了,这时候的getConnection()终于可以返回一个error,但没有等待参数配置的5秒钟,而是立即返回error;

BoneCP:跟Tomcat的处理方法一样;也是大约55秒之后才醒来,有了正常的反应,并且终于会等待5秒钟之后返回error了;

也就是在数据库连接中断的情况下,HikariCP在5秒内就可以感知,并在最短时间内通知上层应用。这个响应够快,够及时。实际测试中,就是拔网线,等半分钟再插上,看谁最先恢复数据库连接。HikariCP 又胜出。


金笛短信中间件WEB版集成光速数据库连接池,在各种数据库环境下表现异常稳定。有的客户在局域网连接阿里云主机数据库因为不明原因,间歇性断网的情况,也没有影响短信发送。实测支持SQLServer、Oracle、MySQL,支持win和linux各个版本。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,222评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,455评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,720评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,568评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,696评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,879评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,028评论 3 409
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,773评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,220评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,550评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,697评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,360评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,002评论 3 315
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,782评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,010评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,433评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,587评论 2 350

推荐阅读更多精彩内容