memcached的程序,陆陆续续碰到一些问题
用C++写过一些服务程序,也和memcached有关,用到的是网上的开源memcachedclient静态库。
按照当时系统的逻辑,memcached的读写,都是用C++完成,所以基本上很顺利。
最近,把一些服务接口重构,用的是C#,于是乎需要对C++服务程序存储在memecached里面的key-value进行读取。
本着不重复制造轮子的想法,在网上找了个Enyim.Caching.dll。结果问题就来了……
问题1:网上找过好多有关Enyim.Caching.dll使用的说明,基本上都是在webconfig里面需要增加配置节点,里面配置一些memcached的端口列表之类的…… 大概是因为memcached的分布式功能,本身需要在客户端实现,所以是配置IP
ort的一个列表,Enyim.Caching.dll内部自动实现路由功能(只是估计,不太确定)。
但是,按照本人的实际系统需要,某些key value是在A服务器上,另外的一些是在B服务器上,不同类型的key-value,是保存在不同的服务器上的。所以无法统一的按照网上的这种方式配置。
问题2:当实例化MemcachedClient对象时,发生异常错误。
问题3:解决问题2后发现:即便是只有一个memcached的服务,测试发现:用C#无法读取memcached服务端的key-value(C++的程序存储的)。
没办法,只得找Enyim.Caching.dll的源码。
svn下载地址:http://nuxleus.googlecode.com/sv ... or/Enyim.Memcached/
问题1的解决:
MemcachedClient类的另一个构造函数,支持自定义配置(不使用webconfig的section配置)
具体用法:
private MemcachedClient _client;
private MemcachedClientConfiguration _config;
_config = new MemcachedClientConfiguration();
IPHostEntry ipEntry = Dns.GetHostEntry("域名");
IPAddress ipAddr = ipEntry.AddressList[0];
IPEndPoint ipEndPoint = new IPEndPoint(ipAddr, iPort);
_config.Servers.Add(ipEndPoint);
_config.NodeLocator = typeof(DefaultNodeLocator);
_config.KeyTransformer = typeof(DefaultKeyTransformer);
_config.Transcoder = typeof(DefaultTranscoder);
_config.SocketPool.MinPoolSize = 10;
_config.SocketPool.MaxPoolSize = 100;
_config.SocketPool.ConnectionTimeout = new TimeSpan(0, 0, 10);
_config.SocketPool.DeadTimeout = new TimeSpan(0, 0, 30);
_client = new MemcachedClient(_config);
复制代码
问题2的解决:
报出的异常,是关于性能计数方面的,Enyim.Caching.dll内部会用到windows系统的性能计数功能,在windows系统性能窗口输出性能曲线图。具体是神马异常描述,现在已经忘了,好像是说使用系统本身的计数器,需要设置为readonly。想想,本人的程序的memcached的客户端,并不太关心性能指标。而且平时也不会去看这个东西,于是,把Enyim.Caching.dll源码中的两个有关性能计数的文件删掉了,分别是:
InstancePerformanceCounters.cs
InstancePerformanceCountersInstaller.cs
当然,其他地方要用到这两个类的地方,也要对应的给它注释掉。
问题3的解决:
memcached底层说起来,也是TCP通讯。
结合源码,通过对实际读取请求的跟踪,发现:请求指令 get mykey 其实已经发过去了,并且也收到了服务器的应答,而且应答中的数据(C++的结构体)长度是正确的。
问题出在Enyim.Caching.dll中,DefaultTranscoder类的反序列化函数中。
具体的函数为:object ITranscoder.Deserialize(CacheItem item)
相应的位置是:
if (code == TypeCode.Empty)
return null;
复制代码
条件满足,返回null了,这就是造成外层逻辑无法读取key-value的原因。
读了相关源码,才明白这个判断里面的code,是来自memcached服务端返回数据中的一个flag标志。
于是网上找了下Memcached的协议:
===========================================
<上面省略...>
读取命令如下所示:
get *"r"n
*表示一个或多个使用空格分割的关键字字符串。
发送命令后,客户端等待返回一个或多个数据项,每个数据项的格式是一个文本行,后跟着一个数据块。当所有的数据项发送完毕后,服务器发送字符串”END"r"n”表示服务器反馈数据的结束。
返回数据项的格式如下:
VALUE "r"n
"r"n
是发生数据项的关键字。
是存储该数据项时,客户端命令中的标志字段。
是紧跟文本行后数据块的长度,不包括终结符”"r"n”。
是数据项的数据部分。
<下面省略....>
全部协议内容参见:http://www.cnblogs.com/kevintian ... .html#_Toc198607274
==============================================
我跟踪到的通信数据:
memcached的客户端向服务器发送读取请求
get mykey[回车换行]
随后,服务器返回:
VALUE mykey 0 15[回车换行]
<具体的数据内容>
END
上面说的那个判断中的flag,就是服务器返回数据第一行中的:0
为什么会返回0,导致C#无法正确的返回数据?
协议中说了:是存储该数据项时,客户端命令中的标志字段。
原来是key value存储的时候,就已经由客户端指定了。那看来是C++的程序,给了这个flag一个零值。
继续分析源码,才知道,C#的Enyim.Caching.dll是拿这个flag来标识value的数据类型。。。
value的数据类型,可能是int,可能是string,可能是byte[].....
存储时,就给它标识好了,然后读取时,就知道value是啥类型的东西了。
这么一来,假设:存储时数据是int类型,然后,读取时,MemcachedClient返回的其实是一个object
如果强转为string,估计会报错吧……,这也避免了数据发生错乱。
C++存储时,指定flag为0,C#读取时,不知道0代表是什么类型(刚好没有0值表示的类型),于是就发生了问题3.
解决方法:
出问题代码,是在DefaultTranscoder类中,从名字来看,是一个默认的缓冲区数据转换的功能类。
其实也就是做key-value存储和读取的序列化和反序列化用的。
对照看之前的问题1的解决代码中:
_config.Transcoder = typeof(DefaultTranscoder);
配置对象可以指定一个用户自定义的序列化和反序列化的类,这个类必须实现ITranscoder接口。
于是乎,就在自己的代码中,建立了一个MyTranscoder的类。
实际上就是:把DefaultTranscoder的代码copy一份,类名改为:MyTranscoder。
同时之前出问题的地方,修改为:
//if (code == TypeCode.Empty)
// return null;
if (code == TypeCode.Empty)
return item.Data.Array;
复制代码
然后,外层就能获取到byte[]类型的value数据