有关C#使用Enyim.Caching.dll的问题陆陆续续碰到

memcached的程序,陆陆续续碰到一些问题

用C++写过一些服务程序,也和memcached有关,用到的是网上的开源memcachedclient静态库。

按照当时系统的逻辑,memcached的读写,都是用C++完成,所以基本上很顺利。

最近,把一些服务接口重构,用的是C#,于是乎需要对C++服务程序存储在memecached里面的key-value进行读取。

本着不重复制造轮子的想法,在网上找了个Enyim.Caching.dll。结果问题就来了……

问题1:网上找过好多有关Enyim.Caching.dll使用的说明,基本上都是在webconfig里面需要增加配置节点,里面配置一些memcached的端口列表之类的…… 大概是因为memcached的分布式功能,本身需要在客户端实现,所以是配置IP

ort的一个列表,Enyim.Caching.dll内部自动实现路由功能(只是估计,不太确定)。

但是,按照本人的实际系统需要,某些key value是在A服务器上,另外的一些是在B服务器上,不同类型的key-value,是保存在不同的服务器上的。所以无法统一的按照网上的这种方式配置。

问题2:当实例化MemcachedClient对象时,发生异常错误。

问题3:解决问题2后发现:即便是只有一个memcached的服务,测试发现:用C#无法读取memcached服务端的key-value(C++的程序存储的)。

没办法,只得找Enyim.Caching.dll的源码。

svn下载地址:http://nuxleus.googlecode.com/sv ... or/Enyim.Memcached/

问题1的解决:

MemcachedClient类的另一个构造函数,支持自定义配置(不使用webconfig的section配置)

具体用法:

private MemcachedClient _client;

private MemcachedClientConfiguration _config;

_config = new MemcachedClientConfiguration();

IPHostEntry ipEntry = Dns.GetHostEntry("域名");

IPAddress ipAddr = ipEntry.AddressList[0];

IPEndPoint ipEndPoint = new IPEndPoint(ipAddr, iPort);

_config.Servers.Add(ipEndPoint);

_config.NodeLocator = typeof(DefaultNodeLocator);

_config.KeyTransformer = typeof(DefaultKeyTransformer);

_config.Transcoder = typeof(DefaultTranscoder);

_config.SocketPool.MinPoolSize = 10;

_config.SocketPool.MaxPoolSize = 100;

_config.SocketPool.ConnectionTimeout = new TimeSpan(0, 0, 10);

_config.SocketPool.DeadTimeout = new TimeSpan(0, 0, 30);

            _client = new MemcachedClient(_config);

复制代码

问题2的解决:

报出的异常,是关于性能计数方面的,Enyim.Caching.dll内部会用到windows系统的性能计数功能,在windows系统性能窗口输出性能曲线图。具体是神马异常描述,现在已经忘了,好像是说使用系统本身的计数器,需要设置为readonly。想想,本人的程序的memcached的客户端,并不太关心性能指标。而且平时也不会去看这个东西,于是,把Enyim.Caching.dll源码中的两个有关性能计数的文件删掉了,分别是:

InstancePerformanceCounters.cs

InstancePerformanceCountersInstaller.cs

当然,其他地方要用到这两个类的地方,也要对应的给它注释掉。

问题3的解决:

memcached底层说起来,也是TCP通讯。

结合源码,通过对实际读取请求的跟踪,发现:请求指令 get mykey 其实已经发过去了,并且也收到了服务器的应答,而且应答中的数据(C++的结构体)长度是正确的。

问题出在Enyim.Caching.dll中,DefaultTranscoder类的反序列化函数中。

具体的函数为:object ITranscoder.Deserialize(CacheItem item)

相应的位置是:

if (code == TypeCode.Empty)

   return null;

复制代码

条件满足,返回null了,这就是造成外层逻辑无法读取key-value的原因。

读了相关源码,才明白这个判断里面的code,是来自memcached服务端返回数据中的一个flag标志。

于是网上找了下Memcached的协议:

===========================================

<上面省略...>

读取命令如下所示:

get *"r"n

*表示一个或多个使用空格分割的关键字字符串。

发送命令后,客户端等待返回一个或多个数据项,每个数据项的格式是一个文本行,后跟着一个数据块。当所有的数据项发送完毕后,服务器发送字符串”END"r"n”表示服务器反馈数据的结束。

返回数据项的格式如下:

VALUE "r"n

"r"n

是发生数据项的关键字。

是存储该数据项时,客户端命令中的标志字段。

是紧跟文本行后数据块的长度,不包括终结符”"r"n”。

是数据项的数据部分。

<下面省略....>

全部协议内容参见:http://www.cnblogs.com/kevintian ... .html#_Toc198607274

==============================================

我跟踪到的通信数据:

memcached的客户端向服务器发送读取请求

get mykey[回车换行]

随后,服务器返回:

VALUE mykey 0 15[回车换行]

<具体的数据内容>

END

上面说的那个判断中的flag,就是服务器返回数据第一行中的:0

为什么会返回0,导致C#无法正确的返回数据?

协议中说了:是存储该数据项时,客户端命令中的标志字段。

原来是key value存储的时候,就已经由客户端指定了。那看来是C++的程序,给了这个flag一个零值。

继续分析源码,才知道,C#的Enyim.Caching.dll是拿这个flag来标识value的数据类型。。。

value的数据类型,可能是int,可能是string,可能是byte[].....

存储时,就给它标识好了,然后读取时,就知道value是啥类型的东西了。

这么一来,假设:存储时数据是int类型,然后,读取时,MemcachedClient返回的其实是一个object

如果强转为string,估计会报错吧……,这也避免了数据发生错乱。

C++存储时,指定flag为0,C#读取时,不知道0代表是什么类型(刚好没有0值表示的类型),于是就发生了问题3.

解决方法:

出问题代码,是在DefaultTranscoder类中,从名字来看,是一个默认的缓冲区数据转换的功能类。

其实也就是做key-value存储和读取的序列化和反序列化用的。

对照看之前的问题1的解决代码中:

_config.Transcoder = typeof(DefaultTranscoder);

配置对象可以指定一个用户自定义的序列化和反序列化的类,这个类必须实现ITranscoder接口。

于是乎,就在自己的代码中,建立了一个MyTranscoder的类。

实际上就是:把DefaultTranscoder的代码copy一份,类名改为:MyTranscoder。

同时之前出问题的地方,修改为:

//if (code == TypeCode.Empty)

//    return null;

if (code == TypeCode.Empty)

                    return item.Data.Array;

复制代码

然后,外层就能获取到byte[]类型的value数据

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,080评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,422评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,630评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,554评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,662评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,856评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,014评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,752评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,212评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,541评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,687评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,347评论 4 331
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,973评论 3 315
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,777评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,006评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,406评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,576评论 2 349

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,633评论 18 139
  • 1、memcache的概念? Memcache是一个高性能的分布式的内存对象缓存系统,通过在内存里维护一个统一的巨...
    桖辶殇阅读 2,230评论 2 12
  • 转载地址:http://gnucto.blog.51cto.com/3391516/998509 Redis与Me...
    Ddaidai阅读 21,445评论 0 82
  • 一、MemCache简介 session MemCache是一个自由、源码开放、高性能、分布式的分布式内存对象缓存...
    李伟铭MIng阅读 3,789评论 2 13
  • 慢性腰肌劳损是腰痛中最常见的一种,它常常没有明显的外伤,而是在不知不觉中慢慢出现的一种腰腿痛疾患。各行各业的人员都...
    一颗梧桐树阅读 687评论 0 8