1 前言
数据库连接是一种关键的有限的昂贵的资源,这一点在多用户的网页应用程序中体现得尤为突出。对数据库连接的管理能显著影响到整个应用程序的伸缩性和健壮性,影响到程序的性能指标。数据库连接池正是针对这个问题提出来的。
数据库连接池负责分配、管理和释放数据库连接,它允许应用程序重复使用一个现有的数据库连接,而不是再重新建立一个;释放空闲时间超过最大空闲时间的数据库连接来避免因为没有释放数据库连接而引起的数据库连接遗漏。这项技术能明显提高对数据库操作的性能。
2 连接池原理及常用数据库连接池
2.1 原理
连接池基本的思想是在系统初始化的时候,将数据库连接作为对象存储在内存中,当用户需要访问数据库时,并非建立一个新的连接,而是从连接池中取出一个已建立的空闲连接对象。使用完毕后,用户也并非将连接关闭,而是将连接放回连接池中,以供下一个请求访问使用。而连接的建立、断开都由连接池自身来管理。同时,还可以通过设置连接池的参数来控制连接池中的初始连接数、连接的上下限数以及每个连接的最大使用次数、最大空闲时间等等,也可以通过其自身的管理机制来监视数据库连接的数量、使用情况等。
2.2 常用数据库连接池介绍
1)DBCP
DBCP是一个依赖Jakarta commons-pool对象池机制的数据库连接池.DBCP可以直接的在应用程序中使用,Tomcat的数据源使用的就是DBCP。
2)c3p0
c3p0是一个开放源代码的JDBC连接池,它在lib目录中与Hibernate一起发布,包括了实现jdbc3和jdbc2扩展规范说明的Connection 和Statement 池的DataSources 对象。
3)Druid
阿里出品,淘宝和支付宝专用数据库连接池,但它不仅仅是一个数据库连接池,它还包含一个ProxyDriver,一系列内置的JDBC组件库,一个SQL Parser。支持所有JDBC兼容的数据库,包括Oracle、MySql、Derby、Postgresql、SQL Server、H2等等。
Druid针对Oracle和MySql做了特别优化,比如Oracle的PS Cache内存占用优化,MySql的ping检测优化。
Druid提供了MySql、Oracle、Postgresql、SQL-92的SQL的完整支持,这是一个手写的高性能SQL Parser,支持Visitor模式,使得分析SQL的抽象语法树很方便。
简单SQL语句用时10微秒以内,复杂SQL用时30微秒。
通过Druid提供的SQL Parser可以在JDBC层拦截SQL做相应处理,比如说分库分表、审计等。Druid防御SQL注入攻击的WallFilter就是通过Druid的SQL Parser分析语义实现的。
2.3 Druid数据库连接池详细介绍
2.3.1 maven依赖
<dependency>
<groupId>com.alibaba</groupId>
<artifactId>druid</artifactId>
<version>1.0.18</version>
</dependency>
2.3.2 DataSoruce配置
<bean id="dataSourceBase" class="com.alibaba.druid.pool.DruidDataSource">
<property name="connectionProperties" value="${jdbc.driverClassName}" />
<property name="maxWait" value="600000" />
<!-- 配置间隔多久才进行一次检测,检测需要关闭的空闲连接,单位是毫秒 -->
<property name="timeBetweenEvictionRunsMillis" value="600000" />
<!-- 配置一个连接在池中最小生存的时间,单位是毫秒 -->
<property name="minEvictableIdleTimeMillis" value="300000" />
<!--用来检测连接是否有效的sql,要求是一个查询语句。如果validationQuery为null,testOnBorrow、testOnReturn、testWhileIdle都不会其作用。-->
<property name="validationQuery" value="SELECT 1" />
<!--建议配置为true,不影响性能,并且保证安全性。申请连接的时候检测,如果空闲时间大于timeBetweenEvictionRunsMillis,执行validationQuery检测连接是否有效-->
<property name="testWhileIdle" value="true" />
<!--申请连接时执行validationQuery检测连接是否有效,做了这个配置会降低性能-->
<property name="testOnBorrow" value="false" />
<!--归还连接时执行validationQuery检测连接是否有效,做了这个配置会降低性能-->
<property name="testOnReturn" value="false" />
<!--是否缓存preparedStatement,也就是PSCache。PSCache对支持游标的数据库性能提升巨大,比如说oracle。在mysql下建议关闭。-->
<property name="poolPreparedStatements" value="false" />
<!-- 要启用PSCache,必须配置大于0,当大于0时,poolPreparedStatements自动触发修改为true。在Druid中,不会存在Oracle下PSCache占用内存过多的问题,可以把这个数值配置大一些,比如说100-->
<property name="maxPoolPreparedStatementPerConnectionSize"
value="-1" />
<!--属性类型是字符串,通过别名的方式配置扩展插件,常用的插件有:监控统计用的filter:stat日志用的filter:log4j防御sql注入的filter:wall-->
<!-- 配置监控统计拦截的filters,去掉后监控界面sql无法统计 -->
<property name="filters" value="stat,wall" />
<!--
类型是List<com.alibaba.druid.filter.Filter>,如果同时配置了filters和proxyFilters,是组合关系,并非替换关系-->
<property name="proxyFilters">
<list>
<ref bean="stat-filter" />
<ref bean="logFilter" />
</list>
</property>
</bean>
2.3.5 多数据库配置
<bean id="metaDataSource" parent="dataSourceBase" init-method="init"
destroy-method="close">
<property name="initialSize" value="${jdbc.initialPoolSize}" />
<property name="minIdle" value="${jdbc.minPoolSize}" />
<property name="maxActive" value="${jdbc.maxPoolSize}" />
<property name="url" value="${metadata.jdbc.url}" />
<property name="username" value="${metadata.jdbc.username}" />
<property name="password" value="${metadata.jdbc.password}" />
</bean>
<bean id="measureDataSource" parent="dataSourceBase" init-method="init"
destroy-method="close">
<property name="initialSize" value="${jdbc.initialPoolSize}" />
<property name="minIdle" value="${jdbc.minPoolSize}" />
<property name="maxActive" value="${jdbc.maxPoolSize}" />
<property name="url" value="${measure.jdbc.url}" />
<property name="username" value="${measure.jdbc.username}" />
<property name="password" value="${measure.jdbc.password}" />
</bean>
<bean id="metaSqlSessionFactory" class="org.mybatis.spring.SqlSessionFactoryBean">
<property name="dataSource" ref="metaDataSource" />
<property name="configLocation" value="classpath:spring/mybatis.xml" />
<property name="mapperLocations">
<list>
<value>classpath:mapper/metadata/*Mapper.xml</value>
</list>
</property>
</bean>
<bean id="measureSqlSessionFactory" class="org.mybatis.spring.SqlSessionFactoryBean">
<property name="dataSource" ref="measureDataSource" />
<property name="configLocation" value="classpath:spring/mybatis.xml" />
<property name="mapperLocations">
<list>
<value>classpath:mapper/measure/*Mapper.xml</value>
</list>
</property>
</bean>
<bean class="org.mybatis.spring.mapper.MapperScannerConfigurer">
<property name="basePackage"
value="com.lianjia.bigdata.dataarch.measuremanagent.dao.metadata" />
<property name="sqlSessionFactoryBeanName" value="metaSqlSessionFactory"></property>
<property name="annotationClass" value="org.springframework.stereotype.Repository" />
</bean>
<bean class="org.mybatis.spring.mapper.MapperScannerConfigurer">
<property name="basePackage"
value="com.lianjia.bigdata.dataarch.measuremanagent.dao.measure" />
<property name="sqlSessionFactoryBeanName" value="measureSqlSessionFactory"></property>
<property name="annotationClass" value="org.springframework.stereotype.Repository" />
</bean>
<bean id="transactionManager"
class="org.springframework.jdbc.datasource.DataSourceTransactionManager">
<property name="dataSource" ref="measureDataSource" />
</bean>
<tx:annotation-driven transaction-manager="transactionManager" proxy-target-class="true" />
<bean id="logFilter" class="com.alibaba.druid.filter.logging.Slf4jLogFilter">
<property name="statementExecutableSqlLogEnable" value="true" />
</bean>
<bean id="stat-filter" class="com.alibaba.druid.filter.stat.StatFilter">
<property name="mergeSql" value="true" />
<property name="slowSqlMillis" value="1000" />
<property name="logSlowSql" value="true" />
</bean>