一次线上db连接泄漏问题排查

一次db连接泄漏问题排查

预备知识
问题描述
问题定位
问题验证
问题修复
其它

预备知识

recon库的使用，详见<<erlang in danger>>
mongodb-erlang库

问题描述

最近从监控平台发现db的可用连接数长时间没有回复到初始值，怀疑是有db连接泄漏。截图如下

屏幕快照 2016-10-12 下午6.02.04.png

登录到终端后，执行
<pre>
mongo_comm:get_info().
</pre>

确实验证了这个问题，长时间可用的连接维持在26，甚至更低，而连接池初始大小为30，正常情况下，应该回归到30

问题定位

首先排查最近发布的代码，使用git diff命令，查看最近三次发布的变化。发现均没有修改mongodb的模块
其次怀疑是频繁使用mongo,导致恰好执行命令查看可用的连接的时候，都有进程在使用连接，那么需要验证使用的数据库连接进程号是不是每次都是一样的，如果每次都是一样的，那么肯定就是泄漏了。
- erlang节点终端使用
  <pre>
  lists:map(Fun,gen_server:call(mongo_pool_be_logic, get_all_workers)) -- gen_server:call(mongo_pool_be_logic, get_avail_workers)
  </pre>
  erlang节点中，使用命令找出使用的进程pid，发现结果总是如下
  <pre>
  [<0.1610.0>,<0.1596.0>,<0.1613.0>,<0.1614.0>,<0.1599.0>,
  <0.1601.0>,<0.1586.0>,<0.1602.0>,<0.1604.0>,<0.1589.0>,
  <0.1605.0>]
  </pre>
  看来确实有连接泄漏（此时连接归还的策略是fifo,还不是lifo.如果是lifo，还不能证明问题所在），现在的问题是要如何找到哪个进程使用这个conn而且又没有归还，最好还要找到调用的方法。
看了看源码，不支持调用的信息的存储。只有自己写一个简单的ets表来存储调用的上下文。思路是：在获取conn之后，记录调用方的pid和进程上下文；归还连接的时候，从ets表中删除。如果发现了没有归还的连接，立刻调用ets:tab2list()来查看数据，即可定位。
<pre>
-spec insert({Conn :: pid(), Pid :: pid(), Current :: term()}) -> ok.
insert({Conn, Pid, Current}) ->
ets:insert(?POOLNAME_ETS, {Conn, Pid, Current}).
-spec delete(Conn :: pid()) -> ok.
delete(Conn) ->
ets:delete(?POOLNAME_ETS, Conn).
</pre>
修改代码
<pre>
get_conn() ->
Conn = mongo_pool:checkout(?POOLNAME),
insert({Conn, self(), recon:info(self(), 'current_stacktrace')}),
{ok, Conn}.
get_info() ->
mongo_pool:status(?POOLNAME).
close_conn(Conn) ->
delete(Conn),
mongo_pool:checkin(?POOLNAME, Conn).
</pre>

问题验证

重新部署后，过了半个小时，发现开始有未归坏的连接了，立刻进入终端执行
<pre>
ets:tab2list(ets_mongo_pool_be_logic)
</pre>
结果如下
<pre>
ets:tab2list(ets_mongo_pool_be_logic).
[{<0.1606.0>,<0.2923.0>,
{current_stacktrace,[{recon,proc_info,2,
[{file,"src/recon.erl"},{line,231}]},
{mongo_comm,get_conn,0,
[{file,"src/mongo/mongo_comm.erl"},{line,51}]},
{mongo_exchange,get_order,2,
[{file,"src/mongo/mongo_exchange.erl"},{line,53}]},
{exchange_manager,buy,2,
[{file,"src/manager/exchange_manager.erl"},{line,51}]},
{gen_server,try_handle_call,4,
[{file,"gen_server.erl"},{line,629}]},
{gen_server,handle_msg,5,
[{file,"gen_server.erl"},{line,661}]},
{proc_lib,init_p_do_apply,3,
[{file,"proc_lib.erl"},{line,240}]}]}}.
</pre>

已经找到了调用方了mongo_exchange:get_order/2。
查看源代码，发现果然有问题
<pre>
get_order(id, Id) ->
{ok, Conn} = mongo_comm:get_conn(),
case mongo:find_one(Conn, ?COLLECTION_ORDER, {'_id', Id}) of
{} -> no_order;
{Ans} ->
bson_to_order(Ans)
end;
</pre>
代码中缺少了关闭连接的方法调用！

问题修复

mongo_exchange:get_order加上close_conn方法后，发布，问题修复，截图如下

屏幕快照 2016-10-13 上午9.35.09.png

其它

mongodb驱动写法可以优化下：调用方不必每次调用前手动获取conn，调用后手动归还conn
可视化监控非常重要，就是程序员的眼睛。没有这个，就是瞎子