ETCD源码阅读(二)

阅读raftexample:etcd/contrib/raftexample

raftexample 包括三个组件:一个基于 raft 的kv store、一个 REST API Server、一个基于 etcd raft 实现的 Raft Node。其中Raft Node也拥有一个Http server,用于与peer节点进行通信。REST API Server则是这个Raft Node的client。

kv store 是一个k-v map,它保存了所有 committed 的键值。Raft Node 和REST API Server通过该kv store进行通信。数据更新通过kv store发送到 Raft Node。存储库在 Raft Node 回复更新 committed 后,更新内部的k-v map。

REST API Server 通过访问kv store来展示当前的 raft 共识状况。GET 命令用于在kv store中查找键并返回值(如果有)。键值 PUT 命令向kv store发出更新proposal。

Raft Node与其集群peer一起参与共识。当 REST API Server器提交proposal时,Raft Node将这个proposal传输给其同伴。当raft集群达成共识时,Raft Node通过commit channel发布所有committed的proposal。对于 raftexample这个例子来说,这个channel的消费者是kv store。


raftexample组成部分
go build -o raftexample

启动单节点

./raftexample --id 1 --cluster http://127.0.0.1:12379 --port 12380

id是指这个RAFT节点的id索引,--cluster后面是所有的peer列表,使用逗号分隔,port是k-v存储server的地址

store a value ("hello") to a key ("my-key"):

curl -L http://127.0.0.1:12380/my-key -XPUT -d hello

retrieve the stored key:

curl -L http://127.0.0.1:12380/my-key

多节点集群以及配置变更

启动一个三节点集群,配置信息参看Procfile

goreman start

使用一个POST请求,告知集群,一个ID为4的节点可以加入集群

curl -L http://127.0.0.1:12380/4 -XPOST -d http://127.0.0.1:42379

启动这个ID为4的节点,并附上--join标签

raftexample --id 4 --cluster http://127.0.0.1:12379,http://127.0.0.1:22379,http://127.0.0.1:32379,http://127.0.0.1:42379 --port 42380 --join

通过一个DELETE请求,可以删除一个节点

curl -L http://127.0.0.1:12380/3 -XDELETE

阅读RAFTEXAMPLE的main函数

package main
// etcd/contrib/raftexample/main.go

import (
    "flag"
    "strings"

    "go.etcd.io/etcd/raft/v3/raftpb"
)

func main() {
    cluster := flag.String("cluster", "http://127.0.0.1:9021", "comma separated cluster peers")
    id := flag.Int("id", 1, "node ID")
    kvport := flag.Int("port", 9121, "key-value server port")
    join := flag.Bool("join", false, "join an existing cluster")
    flag.Parse()

    proposeC := make(chan string)
    defer close(proposeC)
    confChangeC := make(chan raftpb.ConfChange)
    defer close(confChangeC)

    // raft provides a commit stream for the proposals from the http api
    var kvs *kvstore
    getSnapshot := func() ([]byte, error) { return kvs.getSnapshot() }

    // newRaftNode initiates a raft instance and returns a committed log entry
    // channel and error channel. Proposals for log updates are sent over the
    // provided the proposal channel. All log entries are replayed over the
    // commit channel, followed by a nil message (to indicate the channel is
    // current), then new log entries. To shutdown, close proposeC and read errorC.
    commitC, errorC, snapshotterReady := newRaftNode(*id, strings.Split(*cluster, ","), *join, getSnapshot, proposeC, confChangeC)

    kvs = newKVStore(<-snapshotterReady, proposeC, commitC, errorC)

    // the key-value http handler will propose updates to raft
    serveHttpKVAPI(kvs, *kvport, confChangeC, errorC)
}
  1. 创建了两个通道 proposeC 和 confChangeC,分别用来传递 Proposal 和 raft 配置变更信息,并设置了 defer 关键字以确保这两个channel会被关闭。

  2. 创建了一个名为 kvs 的指向 kvstore 结构体的指针,并定义了 getSnapshot 函数,该函数用于获取快照。

  3. 通过 newRaftNode 函数创建了一个 raft 节点,该节点与集群中的其他节点通信。将 proposeC 和 confChangeC 通道传递给 newRaftNode 函数,以便将来可以通过HTTP API向 raft 节点提交更新建议和配置变更请求。返回的 commitC 和 errorC 通道接收已提交的更新和错误信息。

  4. 通过 raft 节点的 snapshotterReady 通道,传递一个snap.Snapshotter指针给 kvs 结构体,使得 kvs 结构体能够接收到快照并进行恢复。

  5. 使用新创建的 kvs 结构体、kvport 端口、confChangeC 和 errorC 通道启动了一个 HTTP 服务器,该服务器用于接收 key-value 更新的请求,同时将这些请求转发到 raft 节点进行处理。

上面这段代码中使用到了以下几个channel:


各个channel
  • proposeC:这个channel会作为参数传给RaftNode,KVStore通过这个channel发送新的Proposal给RaftNode
  • commitC:这个channel由RaftNode创建,作为返回值,又在KVStore初始化的时候被一个独立的Goroutine进行处理。因为只有RaftNode可以决定一个Proposal是否被commit,而committed的Proposal才会被写入KVStore。
    // read commits from raft into kvStore map until error
    go s.readCommits(commitC, errorC)
    
  • confChangeC:这个channel同样作为参数传给RaftNode,Http API Server通过这个channel将配置变更的信息发送给RaftNode
  • snapshotterReady:根据 contrib/raftexample/raft.go中定义的newRaftNode函数, 创建RaftNode时会根据Node ID创建一个目录:/raftexample-id-snap。 完成设置后,启动一个Goroutine来执行startRaft()函数
        rc.snapshotter = snap.New(zap.NewExample(), rc.snapdir)
        // signal replay has finished
        rc.snapshotterReady <- rc.snapshotter
    
    这样,newKVStore函数就可以从channel中读到snapshot(如果存在)
  • errorC:由KVStore、HTTP API Server、RaftNode共享,一旦出现错误,都会log.Fatal()

针对newRaftNode, kvstore, serveHttpAPI这几个关键代码,我们逐一进行分析。

newRaftNode:

这个函数主要就是进行配置设置,最后用一个goroutine来启动raft节点,所以我们直接看这段代码就行。

func (rc *raftNode) startRaft() {
    if !fileutil.Exist(rc.snapdir) {
        if err := os.Mkdir(rc.snapdir, 0750); err != nil {
            log.Fatalf("raftexample: cannot create
                 dir for snapshot (%v)", err)
        }
    }
    rc.snapshotter = snap.New(zap.NewExample(), rc.snapdir)

    oldwal := wal.Exist(rc.waldir)
    rc.wal = rc.replayWAL()

    // signal replay has finished
    rc.snapshotterReady <- rc.snapshotter

    rpeers := make([]raft.Peer, len(rc.peers))
    for i := range rpeers {
        rpeers[i] = raft.Peer{ID: uint64(i + 1)}
    }
    c := &raft.Config{
        ID:                        uint64(rc.id),
        ElectionTick:              10,
        HeartbeatTick:             1,
        Storage:                   rc.raftStorage,
        MaxSizePerMsg:             1024 * 1024,
        MaxInflightMsgs:           256,
        MaxUncommittedEntriesSize: 1 << 30,
    }

    if oldwal || rc.join {
        rc.node = raft.RestartNode(c)
    } else {
        rc.node = raft.StartNode(c, rpeers)
    }

    rc.transport = &rafthttp.Transport{
        Logger:      rc.logger,
        ID:          types.ID(rc.id),
        ClusterID:   0x1000,
        Raft:        rc,
        ServerStats: stats.NewServerStats("", ""),
        LeaderStats: stats.NewLeaderStats(zap.NewExample(), 
            strconv.Itoa(rc.id)),
        ErrorC:      make(chan error),
    }

    rc.transport.Start()
    for i := range rc.peers {
        if i+1 != rc.id {
            rc.transport.AddPeer(types.ID(i+1), []string{rc.peers[i]})
        }
    }

    go rc.serveRaft()
    go rc.serveChannels()
}
  1. 先检查快照、重放预写日志,使Raft节点恢复到之前的状态。
  2. 根据传递进来的 peers 数组构造出 raft.Peer 列表 rpeers,然后创建一个 Raft config对象 c,包括节点的 ID、选举周期、心跳周期、存储、最大消息大小等等
  3. 如果存在预写日志或者需要加入一个现有集群(join==true),就会调用raft.RestartNode,不然就启动一个新的Raft节点raft.StartNode
  4. 接着,创建一个 HTTP 传输对象 rafthttp.Transport,用于处理 Raft 节点之间的通信。然后,调用 rc.transport.Start 方法启动,并添加peer节点。
  5. 最后,启动两个goroutine,用于处理RaftNode的事件请求与channel读写。
go rc.serveRaft()
go rc.serveChannels()

serveRaft()

func (rc *raftNode) serveRaft() {
    url, err := url.Parse(rc.peers[rc.id-1])
    if err != nil {
        log.Fatalf("raftexample: Failed parsing URL (%v)", err)
    }

    ln, err := newStoppableListener(url.Host, rc.httpstopc)
    if err != nil {
        log.Fatalf("raftexample: Failed to listen rafthttp (%v)", err)
    }
    // Transport implements Transporter interface. 
    // It provides the functionality to send raft messages to peers, 
    // and receive raft messages from peers. 
    // User should call Handler method to get a handler 
    // to serve requests received from peerURLs. 
    // User needs to call Start before calling other functions, 
    // and call Stop when the Transport is no longer used.
    err = (&http.Server{Handler: rc.transport.Handler()}).Serve(ln)
    select {
    case <-rc.httpstopc:
    default:
        log.Fatalf("raftexample: Failed to serve rafthttp (%v)", err)
    }
    close(rc.httpdonec)
}
  1. 在 serveRaft 函数中,首先通过id解析 rc.peers,得到当前节点的地址,Parse出一个URL对象。然后创建一个带由stop channel的 listener 对象,并将其与 http.Server 绑定。通过调用 http.Server 的 Serve 方法来开始在监听地址上提供服务。直到出错才会返回一个err。

  2. 当从 httpstopc 接收到停止服务的信号时,该方法会结束,然后关闭 httpdonec 以通知所有其他goroutine,http server已经完成shutdown。这里的写法非常有意思,我们来具体分析一下

    err = (&http.Server{Handler: rc.transport.Handler()}).Serve(ln)
    select {
    case <-rc.httpstopc:
    default:
        log.Fatalf("raftexample: Failed to serve rafthttp (%v)", err)
    }
    close(rc.httpdonec)
    // httpstopc:signals http server to shutdown
    // httpdonec:signals http server shutdown complete

第一行只有当http server发生错误才会返回,然后执行select语句。

如果在执行select语句前,httpstopc这个channel已经被关闭,就会跳过default语句,直接关闭httpdonec这个channel。

如果httpstopc没有被关闭,并且读到了什么东西(意味着有别的goroutine在往里面写,具体看下面的serveChannels分析),也会跳过default语句,直接关闭httpdonec这个channel。

如果httpstopc没有任何响应,那么会执行default分支,输出log然后退出程序。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,539评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,911评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,337评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,723评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,795评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,762评论 1 294
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,742评论 3 416
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,508评论 0 271
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,954评论 1 308
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,247评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,404评论 1 345
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,104评论 5 340
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,736评论 3 324
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,352评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,557评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,371评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,292评论 2 352

推荐阅读更多精彩内容