实践 Druid 作为 SpringBoot 工程的数据源添加 SQL 监控

在大型业务系统上线后,为了保证系统能够更好地持续稳定运行,及时发现各种故障(代码缺陷、SQL性能问题、服务器CPU/磁盘参数指标和各类业务异常等),因此需要针对系统开发各种监控功能。在微服务架构下的各类业务平台中,针对SQL进行监控,并根据业务的发展情况及时进行调优尤为重要。如果让中间件或者业务研发团队自己根据业务特征定制化开发一套SQL的监控系统,可能既费时费力,又不一定能够达到预定的结果。本文将介绍业界较为流行的Druid数据源连接池插件,并跟其他几款热门的数据源连接池进行对比分析,最后给出在Spring Boot工程中集成该数据源连接池的实践方法。

1. Druid数据库连接池介绍

Druid数据源连接池来源于阿里巴巴,是淘宝和支付宝专用数据库连接池。事实上,它不仅仅是一个数据库连接池,还包含一个ProxyDriver、一系列内置的JDBC组件库、一个 SQL Parser。支持所有JDBC兼容的数据库,包括Oracle、MySql、Derby、Postgresql、SQL Server、H2等等。Druid针对Oracle和MySql做了特别优化,比如Oracle的PSCache内存占用优化,MySql的ping检测优化。Druid提供了诸如MySql、Oracle、Postgresql、SQL-92等SQL语句的完美支持,是一个手写的高性能SQL Parser,支持Visitor模式,使得分析SQL的抽象语法树很方便。它执行简单SQL语句耗时在10微秒以内,对于复杂的SQL语句耗时也在30微秒左右。另外,通过Druid提供的SQL Parser可以在JDBC层面上拦截SQL并进行相应处理,比如说分库分表、SQL安全审计等。Druid也能防御SQL注入攻击,WallFilter就是通过Druid的SQL Parser分析语义实现的。

2. 与其他几种数据库连接池进行对比

通过下面的表格先来看下Druid与当前比较流行的其他几款数据源连接池的对比:

功能 dbcp druid c3p0 tomcat-jdbc HikariCP
支持PSCache
监控 jmx jmx/log/http jmx,log jmx jmx
扩展
sql拦截及解析 支持
代码 简单 中等 复杂 简单 简单
特点 依赖common-pool 阿里开源,功能全面 代码逻辑复杂,且不易维护 功能简单,起源于boneCP
连接池管理 LinkedBlockingDeque 数组 更新 FairBlockingQueue threadlocal+CopyOnWriteArrayList

从上面对比的表格中,可以看到druid功能最为全面,具备sql拦截等功能,其中统计数据较为全面,具有良好的扩展性。虽然在性能方面比HikariCP略差,但是综合其他方面来考虑在做技术选型的时候,可以选择Druid作为数据源连接池组件来用。

3. 动手在Spring-Boot工程中添加Druid实践

本文前面两节都是主要讲了理论,相对比较枯燥。下面这一节将从实践的角度,来一步一步向大家展示如何在Spring Boot工程中添加Druid连接池进行业务级的SQL监控。

版本环境
Spring Boot 1.4.1.RELEASE、Druid 1.0.12、JDK 1.8

在工程中添加Druid的pom依赖
因为阿里开源了Druid的数据源连接池源码,我们可以通过maven仓库可以获得jar包依赖。访问http://mvnrepository.com/artifact/com.alibaba/druid选择自己项目需要的版本(在本次集成中选择的是1.0.12),点击进入后复制maven内容到pom.xml内即可,如下所示:

<dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>druid</artifactId>
    <version>1.0.12</version>
</dependency>

在自己工程中添加完以上Druid数据源连接池的依赖后,记得在Intellij中点击下"Enable Auto import"选项即可自动下载maven依赖的jar到本地.m2目录并构建到项目中。添加Druid至Spring Boot工程中就这么Easy,这么快捷。

在Spring Boot工程中添加Druid配置
在上面我们已经将Druid添加至项目中,接下来需要修改Spring Boot的application.yml配置文件,来添加Druid数据源连接池的支持,如下所示:

server.port=8888
# 数据库访问配置
spring.datasource.type=com.alibaba.druid.pool.DruidDataSource
spring.datasource.driver-class-name=com.mysql.jdbc.Driver
spring.datasource.url=jdbc:mysql://localhost:3306/test?useUnicode=true&characterEncoding=gbk&zeroDateTimeBehavior=convertToNull&useSSL=false
spring.datasource.username=root
spring.datasource.password=root
# 下面为连接池的补充设置,应用到上面所有数据源中
spring.datasource.initialSize=5
spring.datasource.minIdle=5
spring.datasource.maxActive=20
# 配置获取连接等待超时的时间
spring.datasource.maxWait=60000
# 配置间隔多久才进行一次检测,检测需要关闭的空闲连接,单位是毫秒
spring.datasource.timeBetweenEvictionRunsMillis=60000
# 配置一个连接在池中最小生存的时间,单位是毫秒
spring.datasource.minEvictableIdleTimeMillis=300000
spring.datasource.validationQuery=SELECT 1 FROM DUAL
spring.datasource.testWhileIdle=true
spring.datasource.testOnBorrow=false
spring.datasource.testOnReturn=false
# 配置监控统计拦截的filters,去掉后监控界面sql无法统计,'wall'用于防火墙
spring.datasource.filters=stat,wall,log4j
spring.datasource.logSlowSql=true

需要说明的是,上面配置中的filters:stat表示已经可以使用监控过滤器,这时结合定义一个过滤器,我们就可以用其来监控SQL的执行情况。

开启Druid的SQL监控功能
在工程中开启监控功能后,可以在工程应用运行过程中,通过Druid数据源连接池自带SQL监控提供的多维度数据,分析出业务SQL执行的情况,从而可以调整和优化代码以及SQL,方便业务开发同事调优数据库的访问性能。

要达到开启SQL监控的效果,还需在Spring Boot工程中还实现Druid数据源连接池的Serlvet以及Filter,其Bean的初始化代码如下(下面给出两种配置方式):

第一种方式@Confing注解的配置类:

/**
 * druid 配置.
 * <p>
 * 这样的方式不需要添加注解:@ServletComponentScan
 *
 * @author Administrator
 */
@Configuration
public class DruidConfiguration {

    /**
     * 注册一个StatViewServlet
     *
     * @return
     */
    @Bean
    public ServletRegistrationBean DruidStatViewServle2() {
        //org.springframework.boot.context.embedded.ServletRegistrationBean提供类的进行注册.
        ServletRegistrationBean servletRegistrationBean = new ServletRegistrationBean(new StatViewServlet(), "/druid/*");
        servletRegistrationBean.addUrlMappings("/druid/*");

        //添加初始化参数:initParams

        //白名单:
        servletRegistrationBean.addInitParameter("allow", "127.0.0.1");
        //IP黑名单 (存在共同时,deny优先于allow) : 如果满足deny的话提示:Sorry, you are not permitted to view this page.
        servletRegistrationBean.addInitParameter("deny", "192.168.1.73");
        //登录查看信息的账号密码.
        servletRegistrationBean.addInitParameter("loginUsername", "admin");
        servletRegistrationBean.addInitParameter("loginPassword", "admin");
        //是否能够重置数据.
        servletRegistrationBean.addInitParameter("resetEnable", "false");
        return servletRegistrationBean;
    }

    /**
     * 注册一个:filterRegistrationBean
     *
     * @return
     */
    @Bean
    public FilterRegistrationBean druidStatFilter2() {

        FilterRegistrationBean filterRegistrationBean = new FilterRegistrationBean(new WebStatFilter());

        //添加过滤规则.
        filterRegistrationBean.addUrlPatterns("/*");

        //添加不需要忽略的格式信息.
        filterRegistrationBean.addInitParameter("exclusions", "*.js,*.gif,*.jpg,*.png,*.css,*.ico,/druid2/*");
        return filterRegistrationBean;
    }

}

第二种方式基于注解的配置:

/**
 * druid数据源状态监控.
 *
 * @author Administrator
 */
@WebServlet(urlPatterns = "/druid/*",
        initParams = {
                @WebInitParam(name = "allow", value = "192.168.1.72,127.0.0.1"),// IP白名单(没有配置或者为空,则允许所有访问)
                @WebInitParam(name = "deny", value = "192.168.1.73"),// IP黑名单 (存在共同时,deny优先于allow)
                @WebInitParam(name = "loginUsername", value = "admin"),// 用户名
                @WebInitParam(name = "loginPassword", value = "admin"),// 密码
                @WebInitParam(name = "resetEnable", value = "false")// 禁用HTML页面上的“Reset All”功能
        }
)
public class DruidStatViewServlet extends StatViewServlet {
    private static final long serialVersionUID = 1L;

}
/**
 * druid过滤器.
 *
 * @author Administrator
 */
@WebFilter(filterName = "druidWebStatFilter", urlPatterns = "/*",
        initParams = {
                @WebInitParam(name = "exclusions", value = "*.js,*.gif,*.jpg,*.bmp,*.png,*.css,*.ico,/druid/*")//忽略资源
        }
)
public class DruidStatFilter extends WebStatFilter {

}

使用上面第二种方式的话,还需要在Spring Boot工程的启动类上添加注解:@ServletComponentScan,这样使Spring能够扫描到我们自己编写的servlet和filter。

使用Druid进行SQL监控的效果
我们已经配置完成了Druid的监控,在本地运行Spring Boot的Jar包,运行成功后即可访问Druid监控界面,默认访问地址为:http://localhost:8080/druid/,最终的效果图如下所示:

Login.png

可以看到了我们成功的访问了Druid的监控页面,那么现在输入我们在Bean初始化时候设置的用户名、密码(admin/admin)登录监控平台,进入监控平台首页,如下所示:

image.png

image.png

有了Web UI我们就可以方便的从这个UI上看到该工程部署起来后数据源初始化配置以及业务级SQL的执行情况。

4. 总结

本文围绕Druid数据源连接池为主题,先简要地介绍了该连接池的功能,然后通过与业界几款较为流行的数据源连接池进行横向对比,分析出Druid连接池的特色和优势。最后通过实践,进一步向大家阐述如何在一个Spring Boot工程中添加Druid连接池进行业务SQL级别的监控。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,186评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,858评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,620评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,888评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,009评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,149评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,204评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,956评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,385评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,698评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,863评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,544评论 4 335
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,185评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,899评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,141评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,684评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,750评论 2 351

推荐阅读更多精彩内容

  • Spring Boot 参考指南 介绍 转载自:https://www.gitbook.com/book/qbgb...
    毛宇鹏阅读 46,788评论 6 342
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,642评论 18 139
  • Druid的简介 Druid是一个非常优秀的数据库连接池。在功能、性能、扩展性方面,都超过其他数据库连接池,包括D...
    xiaolyuh阅读 5,663评论 0 16
  • 碧桃是观赏花的桃树品种,在我们这个地区,碧桃每年二月上旬到中旬开花。今年春节正好遇到桃花开放,增加了节日的欢乐气氛...
    碧海蓝湾阅读 2,003评论 2 2
  • 莫让风沙迷失了双眼, 莫让离别变成了遗憾, 风的季节, 雨的孤单, 谁在默默陪伴, 波浪式的生活, 谁言曾经不堪,...
    微风的自由阅读 272评论 2 2