LRUCache
LRU 缓存淘汰算法就是一种常用策略。LRU 的全称是 Least Recently Used，也就是说我们认为最近使用过的数据应该是是「有用的」，很久都没用过的数据应该是无用的，内存满了就优先删那些很久没用过的数据。
在看PsCache相关的源码时,看到了底层的数据结构是LRUCache.最近最少使用算法实现的一个读写都是O(1)的.
LRUCache 应用于哪些场景
LRUCache(int capacity)
int get(int key)
void put(int key, int value)
Druid 中的LRUCache
Druid中的LRUCache,他被应用到了PsCahce相关的场景,作为本地缓存PreparedStatementHolder.避免了相同PreparedStatement的反复创建于回收,通过sql作为key.
注意super(maxSize, 0.75f, true) 构造方法调用的是父类LinkedHashMap的构造方法,其中第三个参数accessOrder=true很重要.
<font color=red>如果accessOrder=false,那么他就不是一个LRUCache!!</font> 因为这个accessOrder决定了get方法命中后对树的排序.
public Map<PreparedStatementKey, PreparedStatementHolder> getMap() {
return map;
}
public int size() {
return this.map.size();
}
public class LRUCache extends LinkedHashMap<PreparedStatementKey, PreparedStatementHolder> {
private static final long serialVersionUID = 1L;
public LRUCache(int maxSize){
// accessOrder true
super(maxSize, 0.75f, true);
}
protected boolean removeEldestEntry(Entry<PreparedStatementKey, PreparedStatementHolder> eldest) {
// 当map的长度 大于 maxPoolPreparedStatementPerConnectionSize
boolean remove = (size() > dataSource.getMaxPoolPreparedStatementPerConnectionSize());
// 进行删除
if (remove) {
closeRemovedStatement(eldest.getValue());
}
return remove;
}
}
public void closeRemovedStatement(PreparedStatementHolder holder) {
if (LOG.isDebugEnabled()) {
String message = null;
if (holder.statement instanceof PreparedStatementProxy) {
PreparedStatementProxy stmtProxy = (PreparedStatementProxy) holder.statement;
if (stmtProxy instanceof CallableStatementProxy) {
message = "{conn-" + stmtProxy.getConnectionProxy().getId() + ", cstmt-" + stmtProxy.getId()
+ "} exit cache";
} else {
message = "{conn-" + stmtProxy.getConnectionProxy().getId() + ", pstmt-" + stmtProxy.getId()
+ "} exit cache";
}
} else {
message = "stmt exit cache";
}
LOG.debug(message);
}
holder.setPooling(false);
// 如果正在使用中,那么就不会remove
if (holder.isInUse()) {
return;
}
// 如果是oracle
if (holder.isEnterOracleImplicitCache()) {
try {
// 剔除缓存并且关闭,此方法对应put时候的enterImplicitCache
OracleUtils.exitImplicitCacheToClose(holder.statement);
} catch (Exception ex) {
LOG.error("exitImplicitCacheToClose error", ex);
}
}
// 其他数据库 statement.close
dataSource.closePreapredStatement(holder);
}
当LRUCache容器满了,怎么剔除所谓最早的节点
自己实现的LRUCache需要实现LinkedHashMap的removeEldestEntry方法
参考LinkedHashMap的afterNodeInsertion
void afterNodeInsertion(boolean evict) { // possibly remove eldest
LinkedHashMap.Entry<K,V> first;
if (evict && (first = head) != null && removeEldestEntry(first)) {
K key = first.key;
removeNode(hash(key), key, null, false, true);
}
}
PreparedStatementPool的删除逻辑
当触发LRUCache的删除节点逻辑后, 我们还需要把我们的PreparedStatementPool进行close.
- LRUCache进行put操作,获取返回值
- 根据put操作的返回值判断重复,覆盖,新增三种对map的put情况
- 如果是重复put了同一个key,同一个值,那么就return
- 如果是覆盖,就是相同的key,但是不同的值.那么返回旧值stmtHolder,要对齐的废除操作进行回收. oldStmtHolder.close()
- 如果是新增则计数
// 插入LRUCache
public void put(PreparedStatementHolder stmtHolder) throws SQLException {
PreparedStatement stmt = stmtHolder.statement;
if (stmt == null) {
return;
}
if (dataSource.isOracle() && dataSource.isUseOracleImplicitCache()) {
OracleUtils.enterImplicitCache(stmt);
stmtHolder.setEnterOracleImplicitCache(true);
} else {
stmtHolder.setEnterOracleImplicitCache(false);
}
// 插入LRUCache
// 插入已经存在的key 会返回旧值,同理新的key没有旧值所以返回null
PreparedStatementHolder oldStmtHolder = map.put(stmtHolder.key, stmtHolder);
// 重复插入
if (oldStmtHolder == stmtHolder) {
return;
}
// 覆盖key对应的值 逻辑.关闭以前的Statement,因为新的Statement被放入了LRUCache
if (oldStmtHolder != null) {
oldStmtHolder.setPooling(false);
// 成功后显示调用类似于LinkedHashMap的afterNodeInsertion去做插入成功后的删除动作(容量限制,删除最少使用)
closeRemovedStatement(oldStmtHolder);
} else {
// 新增key
if (stmtHolder.getHitCount() == 0) {
dataSource.incrementCachedPreparedStatementCount();
}
}
stmtHolder.setPooling(true);
if (LOG.isDebugEnabled()) {
String message = null;
if (stmtHolder.statement instanceof PreparedStatementProxy) {
PreparedStatementProxy stmtProxy = (PreparedStatementProxy) stmtHolder.statement;
if (stmtProxy instanceof CallableStatementProxy) {
message = "{conn-" + stmtProxy.getConnectionProxy().getId() + ", cstmt-" + stmtProxy.getId()
+ "} enter cache";
} else {
message = "{conn-" + stmtProxy.getConnectionProxy().getId() + ", pstmt-" + stmtProxy.getId()
+ "} enter cache";
}
} else {
message = "stmt enter cache";
}
LOG.debug(message);
}
}
问题
那么明显有个问题,对LRUCache的新增操作,被剔除的PrepareStatment不进行处理会导致内存泄漏.因为没有关闭啊!
protected boolean removeEldestEntry(Entry<PreparedStatementKey, PreparedStatementHolder> eldest) {
// 当map的长度 大于 maxPoolPreparedStatementPerConnectionSize
boolean remove = (size() > dataSource.getMaxPoolPreparedStatementPerConnectionSize());
if (remove) {
// 先close statement,再从map中剔除对象,等待gc
closeRemovedStatement(eldest.getValue());
}
return remove;
}
