skynet中数据增量同步方案

游戏服务器开发中,有一种常见的场景,就是跨进程多个服务中数据同步的问题。

譬如 数据中心服 和游戏服之间的数据同步,玩家在游戏服务中发生数据改变时候需要同步到数据中心服。

比较常见的解决方案有几种:

1.把用户数据全量发送到目标服务。

2.把用户数据粒度划分更细,然后写很多的接口诸如:更新用户金币 update_usergold、更新任务数据 update_usertaskinfo。等等

3.还有一种办法就是增量更新。

例如云风写过的一个小工具

https://blog.codingnow.com/2017/05/syncobj.html

但是这个工具,云大并没有花太多的时间去完善,我在使用的时候发现不是特别好用。

主要是 如果一个table 的层级比较多的情况下。

譬如:

local tab = {
  x = {x1 = 1,x2={x3 = “x3”}}
}

那么假如改变了 tab.x.x2.x3的值

整个tab.x 都被改变了。很明显不是我想要的。

我想要的是改变某个值只记录路径和最终的值

所以我自己写了一个工具类。
最新代码(https://github.com/simonxlg/syncobj


-----------------------

-- synctable

-- Author simon_xlg 285909195@qq.com

-----------------------

local pairs = pairs

local setmetatable = setmetatable

local synctable = {}

local new

local make

new = function(root,tab,tag)

local _tab = {}

local _root = root

local ret = make(_root,_tab,tag)

if not _root then

_root = ret

end

for k,v in pairs(tab) do

if type(v) == "table"  then

_tab[k] = new(_root,v,tag.."."..k)

else

_tab[k] = v

end

end

return ret

end

make = function(root,tab,tag)

local proxy = {

__data = tab,

__tag = tag,

__root = root,

}

if not root then

proxy.__root = proxy

proxy.__pairs ={}

end

setmetatable(proxy,{

__newindex = function(s, k, v)

local root = s.__root

local tag = s.__tag

local data = s.__data

if not data[k] and type(v) == "table"  then

data[k] = new(root,v,tag.."."..k)

else

data[k] = v

end

root.__pairs[s.__tag.."."..k] = v or "nil"

end,

__index = function (s, k)

return s.__data[k]

end

})

return proxy

end

function synctable.create(tab)

local _tag = "root"

return new(nil,tab,_tag)

end

function synctable.diff(tab)

local diff = tab.__pairs

tab.__pairs = {}

return diff

end

function synctable.patch(obj,diff)

for k,v in pairs(diff) do

local arr = {}

for w in k:gmatch("([^.]+)") do table.insert(arr,w) end

local curr = obj

local len = #arr

for i=2,len-3 do

curr = obj[arr[i]]

end

curr[arr[len]] = v

end

return obj

end

return synctable

下面测试一下


local synctable = require "synctable"

function _dump(data, max_level, prefix)

    if type(prefix) ~= "string" then

        prefix = ""

    end

    if type(data) ~= "table" then

        print(prefix .. tostring(data))

    else

        print(data)

        if max_level ~= 0 then

            local prefix_next = prefix .. "    "

            print(prefix .. "{")

            for k,v in pairs(data) do

                io.stdout:write(prefix_next .. k .. " = ")

                if type(v) ~= "table" or (type(max_level) == "number" and max_level <= 1) then

                    print(v)

                else

                    if max_level == nil then

                        _dump(v, nil, prefix_next)

                    else

                        _dump(v, max_level - 1, prefix_next)

                    end

                end

            end

            print(prefix .. "}")

        end

    end

end

function dump(tab,prefix)

_dump(tab,5,prefix)

end

local tab = {a=1,b=2,c={c_1 = {c_2={c_3="c_3"}}},d={{1},{2},{3}}}

local tab2 = {a=1,b=2,c={c_1 = {c_2={c_3="c_3"}}},d={{1},{2},{3}}}

print('{a=1,b=2,c={c_1 = {c_2={c_3="c_3"}}},d={{1},{2},{3}}}')

tab = synctable.create(tab)

tab.c.c_1.c_2.c_3 = "c_4"

tab.a={1,2,3,5}

tab.a[1]=2

tab.a[2]=7

tab.a = nil

tab.d = {1,2}

tab.k = {x = 1,y=2,z={x=1,y=2}}

tab.k.z.x=199

tab.a = 9

tab.k.z.x=220

dump(tab2,"----")

local diff = synctable.diff(tab)

dump(diff)

dump(synctable.patch(tab2,diff))

local t = os.time()

for i = 1 ,1000000 do

    tab.a = i

    tab.d = {1,i}

    synctable.diff(tab)

    synctable.patch(tab2,synctable.diff(tab))

end

dump(tab2)

print("times" , os.time() - t)

如果客户端是H5 或者微信小游戏 我这里还有对应的js版本
https://github.com/simonxlg/syncobj

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,657评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,662评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,143评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,732评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,837评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,036评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,126评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,868评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,315评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,641评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,773评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,470评论 4 333
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,126评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,859评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,095评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,584评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,676评论 2 351

推荐阅读更多精彩内容