一年又一年,字节跳动 Lark(飞书) 研发团队又双叒叕开始招新生啦!
【内推码】:GTPUVBA
【内推链接】:https://job.toutiao.com/s/JRupWVj
【招生对象】:20年9月后~21年8月前 毕业的同学
【报名时间】:6.16-7.16(提前批简历投递只有一个月抓住机会哦!)
【画重点】:提前批和正式秋招不矛盾!面试成功,提前锁定Offer;若有失利,额外获得一次面试机会,正式秋招开启后还可再次投递。
参考资料来源
Zookeeper的功能以及工作原理
zookeeper的领导者选举和原子广播
Zookeeper 3、Zookeeper工作原理(详细)
1 ZooKeeper的设计目的
- 最终一致性:Client不论连接到哪个Server,展示给它都是同一个视图,这是ZooKeeper最重要的性能。
- 可靠性:具有简单、健壮、良好的性能,如果消息被到一台服务器接受,那么它将被所有的服务器接受。
- 实时性:ZooKeeper保证客户端将在一个时间间隔范围内获得服务器的更新信息,或者服务器失效的信息。但由于网络延时等原因,ZooKeeper不能保证两个客户端能同时得到刚更新的数据,如果需要最新数据,应该在读数据之前调用sync()接口。
- 等待无关:慢的或者失效的Client不得干预快速的Client的请求,使得每个Client都能有效的等待。
- 原子性:更新只能成功或者失败,没有中间状态。
- 顺序性:包括全局有序和偏序两种:全局有序是指如果在一台服务器上消息A在消息B前发布,则在所有Server上消息A都将在消息B前被发布;偏序是指如果一个消息B在消息A后被同一个发送者发布,A必将排在B前面。
2 ZooKeeper Server的三种角色
- Leader:负责进行投票的发起和决议,更新系统状态
- Follower:用于接受客户端请求并向客户端返回结果,在选主过程中参与投票
- Observer:可以接受客户端连接,将写请求转发给Leader,但Observer不参加投票过程,只同步Leader的状态,Observer的目的是为了扩展读取速度
- Leaner:Follower和Observer的统称
Leader的作用
- 恢复数据;
- 维持与Learner的心跳,接收Learner请求并判断Learner的请求消息类型;
Leader的消息类型
- PING消息: 心跳消息;
- PROPOSAL消息:Leader发起的提案,要求Follower投票;
- COMMIT消息:服务器端最新一次提案的信息;
- UPTODATE消息:表明同步完成;
- REVALIDATE消息:根据Leader的REVALIDATE结果,关闭待revalidate的session还是允许其接受消息;
- SYNC消息:返回SYNC结果到客户端,这个消息最初由客户端发起,用来强制得到最新的更新。
Follower的作用
- 向Leader发送请求(PING消息、REQUEST消息、ACK消息、REVALIDATE消息);
- 接收Leader消息并进行处理;
- 接收Client的请求,如果为写请求,发送给Leader进行投票;
- 返回Client请求的处理结果。
Follower的消息类型
- PING消息:是指Learner的心跳信息
- REQUEST消息是Follower发送的提议信息,包括写请求及同步请求
- ACK消息是Follower的对提议的回复,超过半数的Follower通过,则commit该提议;
- REVALIDATE消息是用来延长SESSION有效时间。
3 Server的三种状态
- LOOKING:当前Server不知道Leader是谁,正在搜寻
- LEADING:当前Server即为选举出来的leader
- FOLLOWING:leader已经选举出来,当前Server与之同步
4 选主流程
当Leader崩溃或者Leader失去大多数的Follower,这时候ZooKeeper集群进入恢复模式,恢复模式需要重新选举出一个新的Leader,让所有的Server都恢复到一个正确的状态。ZooKeeper的选举算法有两种:一种是基于basic paxos实现的,另外一种是基于fast paxos算法实现的。系统默认的选举算法为fast paxos。
basic paxos算法
- 选举线程由当前Server发起选举的线程担任,其主要功能是对投票结果进行统计,并选出推荐的Server;
- 选举线程首先向所有Server发起一次询问(包括自己);
- 选举线程收到回复后,验证是否是自己发起的询问(验证zxid是否一致),然后获取对方的id(myid),并存储到当前询问对象列表中,最后获取对方提议的leader相关信息(id、zxid),并将这些信息存储到当次选举的投票记录表中;
- 收到所有Server回复以后,就计算出zxid最大的那个Server,并将这个Server相关信息设置成下一次要投票的Server;
- 线程将当前zxid最大的Server设置为当前Server要推荐的Leader,如果此时获胜的Server获得n/2+1的Server票数,设置当前推荐的Leader为获胜的Server,将根据获胜的Server相关信息设置自己的状态
- 否则,继续这个过程,直到leader被选举出来。
- 通过流程分析我们可以得出:要使Leader获得多数Server的支持,则Server总数必须是奇数2n+1,且存活的Server的数目不得少于n+1. 每个Server启动后都会重复以上流程。在恢复模式下,如果是刚从崩溃状态恢复的或者刚启动的server还会从磁盘快照中恢复数据和会话信息,zk会记录事务日志并定期进行快照,方便在恢复时进行状态恢复。
fast paxos算法
- 某Server首先向所有Server提议自己要成为Leader
- 当其它Server收到提议以后,解决epoch和zxid的冲突,并接受对方的提议
- 然后向对方发送接受提议完成的消息
- 重复这个流程,最后一定能选举出Leader
5 Zookeeper同步流程
- Leader等待Server连接;
- Follower连接Leader,将最大的zxid发送给Leader;
- Leader根据Follower的zxid确定同步点;
- 完成同步后通知Follower已经成为uptodate状态;
- Follower收到uptodate消息后,又可以重新接受client的请求进行服务了。
6 接收请求处理流程
- 在Client向Follwer发出一个写的请求
- Follwer把请求发送给Leader
- Leader接收到以后开始发起投票并通知Follwer进行投票
- Follwer把投票结果发送给Leader
- Leader将结果汇总后如果需要写入,则开始写入同时把写入操作通知给Leader,然后commit;
- Follwer把请求结果返回给Client