python面试之分布式

分布式和微服务的区别

从设计理念上来看

  • 分布式用于分散压力
  • 微服务用于分散能力

从部署角度上来看

分布式

主要用于分散压力,所以分布式的服务都是部署在不同的服务器上的,再将服务做集群

image.png

分布式水平拆分

根据“分层”的思想进行拆分。
例如,可以将一个项目根据“三层架构”拆分

  • 表示层(jsp+servlet)
  • 业务逻辑层(service)
  • 数据访问层(dao)

然后再分开部署

  • 把表示层部署在服务器A上
  • 把service和dao层部署在服务器B上(当然,业务逻辑层和数据访问层也可以分开部署在不同服务器上
  • 然后服务器A和服务器B之间通过dubbo等RPC进行进行整合,如图所示。
image.png

分布式垂直拆分

根据业务进行拆分。
例如,可以根据业务逻辑,将“电商项目”拆分成“订单项目”、“用户项目”和“秒杀项目”。显然这三个拆分后的项目,仍然可以作为独立的项目使用。像这种拆分的方法,就成为垂直拆分

image.png

微服务

主要用于分散能力,主要是将服务的颗粒度尽量细化,且自成一脉,压力这块并不是其关注的点,所以多个微服务是可以部署在同一台服务器上的

image.png

微服务可以理解为一种非常细粒度的垂直拆分。例如,以上“订单项目”本来就是垂直拆分后的子项目,但实际上“订单项目”还能进一步拆分为“购物项目”、“结算项目”和“售后项目”,如图

image.png

现在看图中的“订单项目”,它完全可以作为一个分布式项目的组成元素,但就不适合作为微服务的组成元素了(因为它还能再拆,而微服务应该是不能再拆的“微小”服务,类似于“原子性”)

从服务完整性来看

分布式服务需要提供给别的分布式服务去调用,单独拆出来未必外部可用
微服务自成一脉,可以系统内部调用,也可以单独提供服务

分布式锁

WHY

为什么需要用分布式锁,见下图


image.png

变量A存在三个服务器内存中(这个变量A主要体现是在一个类中的一个成员变量,是一个有状态的对象),如果不加任何控制的话,变量A同时都会在分配一块内存,三个请求发过来同时对这个变量操作,显然结果是不对的!即使不是同时发过来,三个请求分别操作三个不同内存区域的数据,变量A之间不存在共享,也不具有可见性,处理的结果也是不对的。

分布式锁应该具备哪些条件:

1、在分布式系统环境下,一个方法在同一时间只能被一个机器的一个线程执行;
2、高可用的获取锁与释放锁;
3、高性能的获取锁与释放锁;
4、具备可重入特性;
5、具备锁失效机制,防止死锁;
6、具备非阻塞锁特性,即没有获取到锁将直接返回获取锁失败


HOW

利用redis实现分布式锁

WHY

Redis性能高
命令简单,实现方便

HOW

获取锁

使用setnx加锁,key为锁名,value随意不重复就行(一般用uuid)
给锁添加expire时间,超过该时间redis过期(即自动释放锁)
设置获取锁的超时时间,若超过时间,则放弃获取锁

释放锁

通过锁名获取锁值
比较锁值和当前uuid是否一致,一致则释放锁(通过delete命令删除redis键值对)

EXAMPLE

#连接redis
import time
import uuid
from threading import Thread

import redis

redis_client = redis.Redis(host="localhost",
                           port=6379,
                           # password=123,
                           db=10)

#获取一个锁
# lock_name:锁定名称
# acquire_time: 客户端等待获取锁的时间
# time_out: 锁的超时时间
def acquire_lock(lock_name, acquire_time=10, time_out=10):
    """获取一个分布式锁"""
    identifier = str(uuid.uuid4())
    end = time.time() + acquire_time
    lock = "string:lock:" + lock_name
    while time.time() < end:
        if redis_client.setnx(lock, identifier):
            # 给锁设置超时时间, 防止进程崩溃导致其他进程无法获取锁
            redis_client.expire(lock, time_out)
            return identifier
        elif not redis_client.ttl(lock):
            redis_client.expire(lock, time_out)
        time.sleep(0.001)
    return False

#释放一个锁
def release_lock(lock_name, identifier):
    """通用的锁释放函数"""
    lock = "string:lock:" + lock_name
    pip = redis_client.pipeline(True)
    while True:
        try:
            pip.watch(lock)
            lock_value = redis_client.get(lock)
            if not lock_value:
                return True

            if lock_value.decode() == identifier:
                pip.multi()
                pip.delete(lock)
                pip.execute()
                return True
            pip.unwatch()
            break
        except redis.excetions.WacthcError:
            pass
    return False

分布式事务

2PC方案

2PC:two phase commit protocol,二阶段提交协议,是一种强一致性设计。
同步阻塞(导致长久的资源锁定),只有第一阶段全部正常完成(返回失败,回字返回超时都会返回“准备失败”),才会进入第二阶段

image.png

image.png

流程

  1. 准备。除了commit之外的所有命令都已完成
  2. 协调者接收所有准备的响应
  3. 所有资源响应后,进入第二阶段,提交/回滚阶段(只要准备阶段有一个是准备失败,那么所有节点的事务全部回滚)
  4. 若第二阶段失败,不管是回滚还是提交,就不断重试,直到所有都回滚成功或者提交成功

协调者设计

因为协调者可能会在任意一个时间点(发送准备命令之前,发送准备命令之后,发送回滚事务命令之前,发送回滚事务命令之后,发送提交事务命令之前,发送提交事务命令之后)故障,导致资源阻塞。

3PC方案

image.png

流程

  1. 准备阶段,只是询问参与者是否有条件接收事务,并没有像2PC那样,上来就直接执行了除commit之外的所有工作,就不会一上来就直接锁定资源
  2. 预提交阶段,就像2PC的准备阶段,除了事务的提交,该做的都做了
  3. 提交阶段,和2PC的提交阶段一样

TCC解决方案

T:try,指的是预留,即资源的预留和锁定,注意是预留
C:confirm,指的是确认操作,这一步其实就是真正的执行了
C:cancel,指的是撤销操作,可以理解为把预留阶段的动作撤销了

从思想上看和 2PC 差不多,都是先试探性的执行,如果都可以那就真正的执行,如果不行就回滚。

劣势

  1. 对业务入侵较大,与业务紧耦合(需要根据具体业务,对每一个动作都要写一份tcc)
  2. 提交和撤销可能需要重试,所以要保证幂等性
image.png

最终消息一致性方案

WHERE

适用于对实时性要求没那么高的业务场景,如:短信通知

HOW

  1. A服务器数据表操作 + 消息表操作
  2. A的数据和消息表内容发生消息到MQ(如果失败,尝试重新发送,属于消息队列的机制
  3. B服务器接收MQ消息,执行自己的逻辑。如果B的本地事务成功,不回传消息;如果B的本地事务失败,发消息给MQ,A接收MQ消息,执行回滚操作。(如果失败,尝试重新发送,属于消息队列的机制
  4. A服务器和B服务器定时扫描本地消息表,把没处理完的消息或者失败的消息再发送一遍。(防止网络异常导致回滚失败
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容