GGN: Experiences in Designing and Deploying the Next-Generation Google Global Network

2026年google的最新sigcomm论文,讲述他在WAN网络的最新工程实践,十几年前的B4就曾经震惊过业界,这次的GGN看下来依然很有料,在故障隔离、流量工程、SDN逻辑、以及负载均衡的考虑我觉得非常好,但依然类似B4,抄作业前一定要问问自己有没有像谷歌那样贯穿7层的控制力,如没有 慎入!! 它行不代表你行

论文的最后附录没翻,有兴趣看原文
https://dl.acm.org/doi/10.1145/3789240.3829114

摘要(Abstract)

云与 AI/ML 工作负载正在对广域网提出前所未有的新要求:它必须同时兼顾严格的可用性、大规模增长以及功能敏捷性。人们越来越清楚地认识到,传统 WAN 设计已无力适应这些要求。

我们提出 Google 全球网络(GGN),这是对我们 WAN 的一次重大架构重构,它将 B2 与 B4 演进为一张统一的、模块化的、高可用的软件定义网络。该架构围绕三大支柱设计:(1) 由具有明确定义 API 的功能域构成的模块化设计;(2) 一个物理分片且区域化的核心,用于故障隔离与水平扩展;(3) 基于开放标准的、厂商无关的硬件策略。我们分享了 GGN 历时多年的部署历程,包括一种安全的、由主机引导的迁移策略,并展示了它在提升网络可用性以及缩短故障反应时间方面的能力,为构建行星级现代 WAN 奠定了基础。

1 引言(Introduction)

由云与内容提供商运营的全球广域网(WAN)近年来经历了需求上的根本性转变。来自云服务(相对于第一方服务)的客户与企业流量的增长,带来了更严格的可靠性与性能预期;而大规模 AI/ML 训练工作负载的爆发,则对网络的扩展能力提出了前所未有的需求,以承载更多容量。这些要求与上一个时代——以互联网交付的服务和媒体流为主的时代——有着显著不同;在那个时代,WAN 的设计目标是全球覆盖、面向用户的低时延,以及高效的后端流量跨数据中心传输。

十多年来,Google 的私有 WAN 基础设施一直以两张 WAN 的形式构建:B2,一张传统的电信级 IP/MPLS 网络 [13],承载用户互联网流量;以及 B4,一张全球软件定义 WAN(SDN)[17],承载大量跨数据中心流量。双 WAN 提供了一种方式,可以分别针对关键属性进行优化——高可用性与性能,对比大规模容量下的高效成本与利用率。其他超大规模厂商随后也部署了分立的 WAN 架构,动机与设计类似 [10, 20]。

双骨干架构支撑了外部用户流量的显著增长,并为更大规模的跨数据中心流量增长带来了成本效率。然而,它也引入了诸多挑战,例如冗余的连接性与功能开发成本、因容量不可互换而造成的搁浅(stranding),以及与全局控制面相关的单点故障。其他超大规模厂商也报告了运营两张异构 WAN 的类似问题 [20]。显然,分立 WAN 的方式已无法满足现代 WAN 的要求。云客户,以及超越单一数据中心的 ML 工作负载的极端规模,要求网络架构本身就能提供更小的故障域、对多区域故障近乎零容忍,并具备持续扩展容量、保持低时延以及支持快速技术演进的能力。在我们的案例中,这些挑战促使我们重新审视 Google 的双 WAN 策略,并对统一的全球网络架构进行推倒重来的设计。

本文介绍 Google 全球网络(GGN),它将 B2 与 B4 演进为一张统一的、内聚的 SDN 骨干网。GGN 的架构旨在应对源自云、AI 以及我们第一方服务的多样化需求,其首要目标有四个:

1、消除全局故障:确保故障的爆炸半径天然被限制在单个区域内,同时继续交付所有高优先级流量。
2、大规模可扩展性:支持流量的快速增长,其架构的可扩展性超越仅靠传统硬件垂直扩展所能达到的水平。
3、更快的网络演进:能够敏捷地引入新的硬件平台与网络能力,以满足不断变化的需求。
4、明确定义的 SLO:为客户提供清晰、可强制执行的、针对丢包、带宽与时延的服务等级目标(SLO)。

GGN 通过三大架构支柱来实现这些目标:(i) 一个物理分片且区域化的核心,实现故障隔离与容量水平扩展;(ii) 一个模块化的网络架构,允许各功能域独立演进;(iii) 基于开放标准的、厂商无关的硬件策略,以加速与新技术平台的集成。

我们在本文中呈现的主要贡献如下:

GGN 的架构,一个基于模块化与硬件可选性(hardware optionality)原则、构建高可用行星级 WAN 的蓝图(§3)。

GGN 可靠性机制的设计、实现与部署:用于遏制全局故障的分片(§4),以及用于隔离区域故障的区域化(§5)。

使用基于主机的流量引导(host-based traffic steering),从我们现有 WAN 安全迁移到 GGN 的技术策略与多年经验(§6)。

在对 GGN 性能与韧性的真实评估中得到的若干关键观察与经验教训(§7)。

我们相信,设计 GGN 以及演进到统一骨干网的经验,其适用性超越我们的具体用例。GGN 的部署成果,以及在重大真实故障期间观察到它可靠地承载用户流量,证明了分片与区域化在实现全球骨干网高可用性方面的有效性。我们将生产流量从一种网络架构安全迁移到另一种架构的方法,也可以成为其他 WAN 进行类似演进的一套配方。

在附录中,我们描述了:为提升可扩展性、可用性与效率而为 GGN 开发的一套新颖的控制面优化(附录A);对网络中断的历史审计,以及 GGN 架构本可以如何应对这些中断(附录B);分片粒度的效率分析(附录C);最后是我们在技术引入速度与厂商资质认证方面的策略(附录D)。

2 背景与动机(Background and Motivation)

重新设计我们 WAN 的决策,源于传统分立 WAN 模式日益凸显的局限,以及客户与产品需求发生的根本性转变。

2.1 传统架构的局限(Legacy Architecture Limitations)

B2 与 B4 两张网络虽然各自都取得了成功,但并行运营时却带来了重大挑战


图1:B2 的 LSP。增长正在给 MPLS-TE 的规模带来压力。 图2:B4 的隧道。增长正在给硬件表项大小限制带来压力

运维开销与分歧(Operational Overhead and Divergence)。 每张网络都有自己的控制面、管理栈和运维流程。B2 在厂商硬件上依赖 IS-IS 与 RSVP-TE 之类的分布式协议,而 B4 则在定制硬件上使用 SDN 控制器 [11]。添加新功能(例如 IPv6 支持、新的 QoS 类别)需要各自独立、且往往差异很大的开发与部署工作,使工程成本翻倍并拖慢了速度。

扩展与可靠性挑战(Scaling and Reliability Challenges)。 两张骨干网都面临扩展性限制:全球网络的扩张暴露了 B2 分布式 MPLS-TE 控制面的可扩展性局限(图1)。B4 的集中式 TE 提供了更优的可扩展性,却制造了一个巨大的故障域:全局控制器中的一个 bug 就可能影响全球流量 [13]。B4 的增长也在给底层硬件的表项限制带来压力(图2)。B4 的架构还依赖垂直扩展——升级到更大、更强的硬件(例如从 100GE 升级到 400GE 的商用硅交换芯片),以及水平扩展——通过增加超级节点(supernode)来扩展一个站点。仅靠这两种方式本身,无法满足云与 AI/ML 的大规模容量增长需求。

容量缺乏可互换性(Lack of Capacity Fungibility)。 一个关键局限是 B2 与 B4 之间无法共享容量。在海缆故障或任何其他大规模事件期间,一张网络可能严重拥塞,而另一张却有空闲容量。在两张网络之间动态转移流量受到根本性架构不匹配的制约,具体而言包括所支持流量类型的不兼容、所连接边缘的对齐不一致,以及所提供时延的差异。这导致了资源利用效率低下,并降低了整体网络的韧性。

2.2 不断演进的客户需求(Evolving Customer Requirements)

我们的网络已从主要服务于 Google 内部服务,演变为服务于一个庞大的生态系统:Google Cloud 企业客户以及大规模 AI/ML 工作负载。

可预测性与控制(Predictability and Control)。 云客户将我们的网络视为其自身网络的延伸。他们要求可预测的性能,并有明确定义的带宽、时延与可用性 SLO,类似于传统的 MPLS/E-LINE/伪线服务。他们要求能够控制其流量的地理路径,以满足数据主权与合规要求,并且日益需要按需带宽和线速加密之类的高级功能。B2 的黑盒性质无法满足这些要求。

更高的可用性与更小的爆炸半径(Higher Availability and Smaller Blast Radius)。 与许多通过全局负载均衡设计来获得韧性的 Google 内部应用不同,云客户对网络中断高度敏感。影响多个区域的中断是不可接受的。B4 控制面的全局故障域构成了直接的业务风险。大幅缩小任何故障的"爆炸半径"(blast radius)成为首要的架构驱动力。

速度与竞争(Velocity and Competition)。 云/AI 市场竞争激烈。快速部署容量、开通新区域以及交付新功能的能力,是一项关键的竞争差异化因素。B2/B4 模式的运维复杂性与重复的工程投入,阻碍了我们的开发与部署速度。统一架构对于敏捷性至关重要。

3 GGN 架构(GGN Architecture)

GGN 的架构是对 B2 与 B4 单体式设计的根本性背离。它建立在模块化、隔离与标准化的原则之上,以实现我们对可靠性、可扩展性与速度的目标。网络被分解为一组独立的功能域,各功能域边界处设有受限的、明确定义的 API。这种设计允许每个域独立演进,将故障遏制在其边界之内,并支持并行开发。

主要的功能域如图3所示:

核心域(全局核心与区域核心,Core Domains: Global and Regional):负责在边缘域之间中转流量。全局核心连接所有区域核心,而一个区域核心则连接单一区域内的各个边缘。

边缘域(计算、客户服务、互联网,Edge Domains: Compute, Customer Service, Internet):负责流量的发起与终止。计算边缘(Compute Edge,例如一个 Jupiter 集群 fabric [25])、客户服务边缘(CSE,用于 Cloud Interconnect)以及互联网边缘(IE,用于对等互联)各自服务于不同的目的,并连接到核心域。

GGN 架构概览。边缘-核心(Edge-Core)API 强制实现域隔离。边缘域连接至分片化的核心。

这些域之间的关键边界是 Edge-Core API。它并非单一技术,而是一组治理交互的原则与协议。它强制执行严格隔离,确保一个边缘域无法使核心或其他边缘失稳。该 API 由两大部分组成:一个路由 API(基于 eBGP),用于交换最小化的可达性信息;以及一个带宽 API(基于 BwE4),用于将容量分配从核心传达给边缘。这个狭窄而健壮的 API 是实现模块化以及各域安全、独立演进的关键。

3.1 可扩展且可靠的核心(A Scalable and Reliable Core)

鉴于核心域中转的流量规模巨大,核心内部的故障具有最大的潜在爆炸半径。为缓解这一点,GGN 的核心在架构上具备两项主要的可靠性特性:分片与区域化。

核心分片(Core Sharding)。 我们并非对现有的 B4 网络进行分区,而是通过部署三张新的、并行的、独立的全球网络来实现分片,其中 B4 被定义为第一个分片(shard)。这些网络是并行的,且在 L2 及以上物理不相交,拥有独立的数据面与控制面。流量被分散到所有可用分片之上,结合 §4.3.4 所述的故障规划,提供针对整分片故障的 N+1 冗余。这是我们对全局中断的主要防御手段。

区域化(Regionalization)。 区域化沿地理界线对网络拓扑进行分区。每个区域运行自己独立的 TE 与 BwE SDN 控制器,将控制面 bug 或配置错误的影响限制在该单一区域内的流量上。

这两个概念是 GGN 可靠性的基石,将在 §4 与 §5 中详细讨论。核心本身是 B4 SDN 原则的演进,因为其集中式 TE 与主机集成的带宽执行机制,为构建分片所需的复杂流量引导提供了理想的基础。

3.2 硬件可选性(Hardware Optionality)

GGN 的一个根本性支柱,是从定制的、自研交换硬件(如 B4 的 Saturn/Stargate)转向基于商用"精简路由器(lean routers)"的多厂商生态。这一策略由我们称之为 WAN 构建模块(WBB, WAN Building Block) 的机制所支撑,具有若干优势:

韧性(Resilience):多元化策略可防范单一厂商的 bug、漏洞利用或供应链中断。

速度(Velocity):我们可以比自研硬件更快地利用厂商创新与新的硬件能力(例如更高的端口速率、新功能)。

专注(Focus):Google 工程师可以集中精力于我们在软件(控制面与管理面)上的关键差异化优势,而非硬件开发。

WBB 通过两个维度使这成为可能:

(1) 标准化的设备管理与控制(Standardized Device Management and Control):WBB 强调转向标准化、开放的设备管理与控制 API。我们大量依赖一套基于 gRPC 的服务:gNMI 用于遥测与配置(例如 OpenConfig 模型),gNOI 用于操作命令(例如重启、链路资格验证),gRIBI 用于编程转发面。这些 API 是 OpenConfig 标准 [4] 的核心部分。

(2) 标准化的硬件目录(Standardized Hardware Catalog):WBB 定义了一个包含多个抽象 SKU 的硬件目录。一个抽象 SKU 本质上是一个设备类别,具有一个已定义的必要特性与特征包络(例如所需的转发能力集合、最低转发吞吐量、最大功耗等)。对于每个 SKU,网络厂商会提供符合该类别的实际设备,而从我们的部署与运维视角来看,这些设备被视为可互换的。我们针对具有不同容量需求的站点定制 SKU(例如,面向最大数据中心的、采用 16 槽模块化形态交换机的 WBB-XL SKU;面向对等互联站点的固定形态 WBB-S 等)。

可选性的首要动机是网络可靠性:我们定义了一项部署策略,使得任何单一厂商的 bug 都不会影响所有分片。此外,这种可选性还使我们更能抵御厂商的供应链中断或无法满足物料量的情况。鉴于 GGN 的增长预测——其中很大一部分由 ML/AI 工作负载驱动——这一点日益关键。这种商用硬件与开放的、可编程接口的结合,对于实现 GGN 所需的敏捷性至关重要。

3.3 优先级类别与 SLO(Priority Classes and SLOs)

在 GGN 中,流量依据流量优先级类别进行路由与保护。为了更好地引出后续部分讨论的动机,我们描述不同的流量优先级类别及其目标可用性 SLO 维度(表1)。我们将一个流(flow)定义为一个(源端点、目的端点、流量类别)三元组。流的流量类别越高,SLO 保证越严格。对于每个流,我们定义针对丢包(连通性)、带宽与时延的 SLO 目标,且我们的计算以 1 分钟为粒度进行。如果丢包、带宽与时延这三项目标中的任何一项未达成,则该分钟被视为一个"坏分钟(bad minute)"。

我们同时使用主动与被动测量来衡量可用性:主动 UDP 探测在 IP 层(L3)测量可用性,而 RPC 请求-响应则在应用层(L7)测量。L7 可用性是应用性能的良好代理。我们同时测量 L3 与 L7,因为由于"灰色故障(gray failures)"[15],二者可能不一致。

4 核心分片(Core Sharding)

GGN 最重要的架构变化是核心网络的分片;本质上就是创建并行的、独立的全球网络。首要动机是消除单一控制面故障导致全球中断的可能性——这是 B4 单体式设计的一个已知风险 [1, 13]。除可靠性收益外,分片还为 WAN 的水平扩展提供了路径,允许部署更多网络容量,而不必提高全局 TE 服务器或域控制器等组件的扩展要求。

每个分片都作为一张独立的、完整的网络运行,拥有自己的数据面(路由器、链路)和控制面(TE、BwE、路由)。分片在 L2 及以上互不相交,核心之间没有交互。边缘域通过独立的 L1 链路连接到所有分片(图4),由边缘路由器负责在这些分片之间分配流量。将每个边缘域连接到所有分片,确保任何端点对都能满足我们对 N 路冗余控制面的可靠性目标(当前部署中 N=4),并简化了边缘到核心互联的容量分配。

核心分片架构。边缘域连接到所有分片。流量在源 fabric(本地边缘)处分流,并在目的地(远端边缘)处重新合并

4.1 跨分片 SDN 控制(Cross-Shard SDN Control)

对于跨分片的流量分配与故障处理,系统依赖新引入的 Shard Enforcer(SE),它是每个边缘域 BwE 控制面内的一个基于策略的 SDN 组件。SE 维护所有分片可用带宽的统一视图,与各分片控制面交互,基于源边缘域内的本地 BGP 状态确定分片可达性。它将这一策略意图转化为 iBGP 通告来编程边缘路由器——这允许在故障期间以目的集群为粒度禁用特定分片——同时通知主机侧的 BwE 子系统执行相应的限制。这一架构在传统基于主机的执行之外,增加了网络边缘路由器上的跨分片流量引导,确保流量分配遵循全局策略,同时具备 BGP 提供的快速本地反应时间(§4.2)。基于控制面遥测的可达性判定存在已知局限;具体而言,它在某些故障模式下无法检测数据面中断。因此,我们正在积极评估用数据面遥测来增强它,以提高检测准确性。

SE 的设计将"意图分片权重(intended shard weights)"与"编程分片权重(programmed shard weights)"分离。一般而言,意图权重由 SDN 控制面(包括全局 BwE 和 TE)用于在分片内执行分配,而编程权重通过 iBGP 发送给边缘路由器,以修改流量在各分片之间的分流比例。以下示例展示了基于 SDN 的设计在控制单个分片故障方面的优势。

主动的、策略感知的收敛(Proactive, Policy-Aware Convergence)。 通过引入一个深度了解我们网络策略与所提供 SLO、并能与各分片控制面集成的控制器,我们可以设计出一个能做出更恰当、更细致权衡的系统,而这些权衡在传统 BGP 路由策略中是无法表达的。例如,全局 SDN 系统存在固有的收敛延迟。加入 SDN 控制器使我们能够在实际改变路由之前,主动将即将到来的需求变化告知各分片控制面,从而避免引入不必要的瞬态拥塞或限流。

我们最关键的两个流量类别(表1),即 Tier-0 和 Tier-1,具有非常小的中断预算(每月分别约 4 分钟和约 40 分钟)。对时间不那么敏感的工作负载每月可以承受数小时停机。鉴于全局中断的复杂性——可能需要数小时才能解决——前两个类别在故障时都必须能容纳在剩余健康分片上。其他类别不需要这样的保护,不过仍可通过机会性地获得剩余健康分片上的部分未使用容量而受益。

表1:流量优先级类别与可用性 SLO

对于前两个类别,我们的设计允许针对部分故障进行优化。对于影响我们最高优先级 Tier-0 流量的故障,我们优化为立即故障切换,可能需要在流量迁移后让其他分片收敛。然而,对于中断预算较大的流量,我们可以将即将到来的需求变化告知其他分片,从而通过 TE 主动创建额外隧道。对于仅影响我们最低优先级流量的部分故障,我们可以选择完全不进行故障切换,而宁愿简单地限流该流量,直到故障解决。

瞬态行为(Transient Behavior)。 该设计允许系统在故障收敛期间避免瞬态限流。BwE 基于网络转发状态与流量需求的逻辑模型运行,以确定要应用于一组网络流的适当带宽限制。如果没有 SE 这样的控制器,BwE 会观察到瞬态状态:单个分片的容量严重下降,但其转发权重与其他健康分片相同。这将导致显著的流量限流,直到 BwE 观察到更新后的网络状态(将坏分片从该流路径中排除)为止。避免在此状态下限流很重要,因为像 BwE 这样的系统的一种可能故障模式,就是产生错误偏低的限制而导致不必要的限流,而实际上物理容量足以承载流量。在生产环境中,我们已观察到这种行为源于控制面或遥测 bug,以及配置错误。SE 通过严格基于流的最终、故障切换后分配来计算限制,同时边缘路由器被编程为更新后的状态,从而缓解这一问题。

爆炸半径控制(Blast Radius Control)。 除了每个边缘路由器部署 SE 以及具有后备保护(backstops)的渐进式推广策略外,向各分片 SDN 控制器主动发送需求变化信号,使我们能够确认剩余分片可以容纳某个分片故障,并且在将某分片从编程路由中移除之前,故障后分配相对于当前状态能改善 SLO 合规性——即使大量 SE 实例同时尝试使某分片故障也是如此。此外,我们将 SE 与容量规划策略(§4.3.4)对齐,并只允许对某个流使单个分片故障。随后若某分片发生连通性丢失,可通过底层路由处理。针对 SE 的自动化多分片故障切换,我们添加了多层输入与输出验证(防止计划外的级联 SE 动作)。

4.2 边缘路由(Edge Routing)

每个边缘路由器从分片化 WAN 接收远端边缘的可达性信息。这是通过为每个远端边缘分配一个分片专属地址——称为 target prefix——来实现的。该设计如图5所示,其中 A、B、C、D 是远端边缘 target prefix 的示例。一个连接到四个分片的边缘会收到总共四个 target prefix。这些前缀由始发边缘在每条 WAN 分片上通告,并通过 BGP 传播到所有其他边缘。简言之,这些 target prefix 表示某个给定边缘经由某个给定分片的可达性。

图5:边缘、分片与 SE 之间的路由。在此示例中,SE 使用基于 target-prefix 的间接通告,为 10.10.0.0/16 集群前缀禁用了 shard-4

在这一基础可达性信号之上,SE 发出信号,指示本地边缘路由器向远端边缘出口时应使用哪些分片。该信息使用 BGP 发送,SE 将其意图转化为 BGP 通告。SE 拥有所有分片的全局视图,能够在部分故障时针对特定源-目的对做出更好的分片选择决策。对于完全的可达性丢失,PRR 之类的带内机制会快速行动,BGP 路由将收敛以确保底层路由绕过这一黑洞。收敛后的 BGP 路由随后会将可达性丢失信号告知 SE,SE 可据此做出更明智的决策(例如,重新启用先前因部分故障而被移除的分片)。因此,远端边缘的主要可达性仍通过 BGP 传播。

SE 使用 BGP 向本地边缘路由器通告远端机器前缀(由边缘集群拥有)。在图5中,10.10.0.0/16 是远端边缘拥有的机器前缀范围。在这些通告中,相应的 target prefix 被用作 BGP 下一跳。机器前缀与 target prefix 都提供远端边缘的可达性信息。然而,二者是不同的:机器前缀是终端主机地址,而 target prefix 是 SE 用来实现分片选择的虚拟地址,用作下一跳。一个远端边缘可以有一个或多个机器前缀范围,但每个分片只有一个 target prefix。在收到来自 SE 的这些 BGP 通告后,本地边缘路由器对 target prefix 下一跳执行 BGP 递归解析,以找到到达远端边缘所需的物理下一跳。这些物理下一跳指向 SE 选定的分片。如图5所示,SE 将 A、B、C 通告给本地边缘,作为远端边缘所拥有前缀(10.10.0.0/16)的下一跳。BGP 随后将下一跳 A、B、C 递归解析到 Shard 1、2、3 的干道(trunks)。

当某个远端边缘经由特定分片因 BGP 路由撤销而变得不可达时,BGP 会在数秒内做出反应,从本地边缘撤销该远端边缘 target prefix 的通告。BGP 路由撤销可能由 BGP 会话失败、远端配置 bug 或控制面问题引起。随后 BGP 的递归解析会消除该分片,因为一旦这些下一跳从 BGP 通告中被撤销,它们就不再可解析——即使 SE 仍在发出使用所有分片的信号。SE 在收到更新后的信号后,会收敛到新的可达性信息。

如果 SE 因拥塞或计划内网络维护决定关闭某个分片,它会通告远端边缘的可达性,其下一跳为分配给除发生故障分片之外所有分片的 target prefix。BGP 递归解析随后得到指向健康分片的物理下一跳。SE 还使用 BGP 链路带宽提供其关于各分片流量分配的意图。该链路带宽在 SE 通告 target prefix 时附加于其上。边缘路由器使用分层 WCMP(加权代价多路径 [30])在物理干道上应用这一意图,以实现 BwE 所期望的流量分配。BGP 对 SE 意图的反应在秒级。

分片化 WAN 将分配给所有边缘的远端机器前缀连同 target prefix 一起通告给本地边缘路由器。这些作为备份路由,仅在 SE 到边缘路由器的连接中断时使用。我们的边缘路由 SDN 控制器 [11] 还为 SE 提供纵深防御。输入验证检查——例如确认下一跳数量充足——会应用于来自 SE 的入站路由通告,若判定为不安全则可拒绝。此外,边缘路由器上的 BGP 策略经过加固,以避免任何意外通告。

4.3 设计决策与权衡(Design Decisions and Tradeoffs)

GGN 架构将潜在的灾难性全局故障转化为可管理的、被遏制的事件,其影响有限且在 SLO 预算之内。以下是促成这一架构的动机。

4.3.1 分片之间的隔离(Isolation Between Shards)。

我们评估了在何处隔离网络分片的几种选择的权衡。我们考虑了一个组件层次结构,其中隔离层次结构中较低层的组件也意味着隔离其上层的组件:(1) 全局与区域 SDN 控制面(例如 BwE、TE),(2) L2 链路,(3) 路由器,以及 (4) L0/L1 光纤基础设施与线路系统。

我们的决定是:对于内部核心拓扑以及边缘到核心的互联,严格隔离到路由器层及以上,并机会性地隔离 L0/L1 基础设施。这形成了一个具有独立、并行网络和 L2+ 组件、且每个分片拥有独立控制面的设计。

我们考虑了与这一决定相关的若干权衡:

对物理与软件故障的隔离(Isolation from Physical and Software Failures)。 诸如光纤切断、交换机故障或不良交换机软件推广之类的事件,会对每个逻辑控制器产生一个共同的输入(例如拓扑)变化。如果此类事件触发了全局控制器中一个此前未知的 bug,所有分片的控制面可能同时受到影响。因此,我们希望尽可能多地隔离物理基础设施与软件。这驱使我们做出至少严格隔离到路由器层的决定,因为我们希望确保单个路由器上的软件推广与维护事件只能影响单个分片。

改进的控制面隔离(Improved Control Plane Isolation)。 我们还考虑过在分片之间共享 L3 链路。然而,这会妨碍带宽限制的严格隔离。例如,如果 BwE 的某个逻辑实例生成了超过其在物理链路上逻辑份额的限制,该物理链路将经历拥塞,导致所有逻辑分片都出现丢包。使用隔离的链路,拥塞将局限于受影响分片上的流。如果拥塞严重到导致显著丢包,可以将流量从该分片移除,从而将剩余的 BwE 实例与故障实例隔离。

控制面可扩展性(Control Plane Scalability)。 通过隔离路由器与链路,我们的设计可以将相同数量的容量(设备、链路)分散到独立的控制/路由域中,使我们的全局控制器在相同物理容量下看到更小的拓扑规模。

4.3.2 SDN 控制器 vs. 基于 BGP 的流量分配(SDN Controller vs. BGP-Based Traffic Distribution)。

在边缘,我们采用分层架构来实现流量分配与可靠性。BGP 层确保可达性、处理分片故障切换,并为保护性重路由(Protective ReRoute, PRR)[27] 提供路径多样性。由于其亚秒级响应,PRR 是防范分片故障的主要机制。与传统的仅用 BGP 的多分片网络(如 Meta 的 EBB [10])不同,我们引入本地 SDN 控制系统(§4.1)来优化跨分片负载均衡,相比传统方案具有若干优势:

策略感知的故障切换(Policy-Aware Failover)。 我们的控制器可以感知那些在 BGP 之类的路由协议中无法表达的细粒度策略。例如,我们不仅能传达可用带宽,还能评估受影响流量是否有无法满足我们所通告 SLO 的风险,从而在必要时避免不必要的分片故障切换。同样,当我们处理不同目的边缘的各种分片故障组合时,交换机硬件资源使用可能会增加。分片控制器了解这些限制,并能在大量故障下更有效地利用可用资源。

4.3.3 基于主机 vs. 基于网络的流量引导(Host- vs. Network-Based Traffic Steering)。

边缘边界设备(例如计算边缘的 Fabric Border Router, FBR)决定如何在分片之间分流流量。这种以网络为中心的方法是关键的设计选择。为了区分发往 shard 1(B4)的流量与可发往其他分片的流量,我们利用保留报头字段中的比特位,由源主机相应地标记。FBR 为二者维护独立的 VRF:未共享流量仅转发到 shard 1,而分片化流量则分散到其他分片。对于后者,默认使用等价多路径(ECMP)进行分流,但由 SE(§4.1)控制,SE 可调整权重以将流量引导离开不健康或拥塞的分片。

请注意,基于主机的标记对于采用分片化 GGN 架构并非严格必需(例如,对于无法进行此类标记的网络运营商而言)。在 Google 的案例中,它是一种有用的机制,用于在其中一个分片已经存在的情况下进行受控的、渐进式的迁移。

4.3.4 安全策略(Safety Policies)。

分片的运维独立性促成了一个安全得多的变更管理流程。软件与配置变更按顺序推广——一次一个分片——并设有强制观察期(soak period)进行健康验证,然后才继续下一个分片。这一策略由我们的 CAPA [22] 等生产安全系统强制执行,确保有缺陷的变更最多影响一个分片,防止其造成多区域或全局事故。这一"一次一个分片"原则是 GGN 运维可靠性的基石。

故障规划(Planning for Failure)。 核心按 N−1 分片可用性进行规划。对于需要保护的流量,容量配置使得如果一个分片故障,剩余分片能够吸收其流量而不违反 SLO。例如,有四个分片时,100Tbps 的需求将通过在每个分片上配置 33.3Tbps 来满足。这会引入计划内的超额建设(overbuild),但这些"备用"容量被用于承载较低优先级、尽力而为的流量,这些流量可以容忍在故障期间被丢弃,从而最大化整体效率。通过实施严格禁止跨分片并发操作网络的安全策略,我们可以只按单个全局分片故障来规划,从而提高效率。

对分片故障的反应(Reacting to Shard Failure)。 当分片故障时,多层响应确保优雅降级:

(1) 亚秒级数据面反应:在入口处,本地健康检查或机制(例如 PRR)可以快速检测某条路径(分片)上的黑洞,并将受影响的流重新哈希到剩余健康路径。
(2) 秒级边缘路由反应:可达性通过 BGP 在各边缘之间跨每个分片通信。如果某远端边缘在某个给定分片上没有路由可达性,本地边缘路由器将降低该分片的优先级(depreference),而无需 BwE 等更高层组件的响应。对于较大规模的中断,这比更高层组件的收敛延迟反应更快。
(3) 分钟级 SDN 控制面:在较慢的时间尺度上,一个新引入的 SDN 组件检测到可达性丢失,并向剩余健康分片中的全局 BwE 和 TE 控制器发出信号(约 2 分钟)。这些控制器观察到流量需求增加,并计算出新的、全局最优的路径与带宽分配。在这个时间尺度上,系统还可以处理更微妙的故障,例如减少可用带宽的部分中断。这些故障表现为分片内的拥塞,而非流量黑洞或路由可达性问题。SDN 组件可以以 SLO 感知的方式执行分片故障切换,以缓解带宽可用性问题。在部分中断的情况下,Tier-0 流量的反应时间约为 3 分钟。相反,对于 Tier-1 流量,分布式 SDN 组件将故障切换错开在约 5–15 分钟的窗口内。

边缘网络的局限(Edge Network Limitations)。 我们的 SDN 控制器使用 BGP 将意图传达给边缘路由器;然而 BGP 带来了一些复杂性,因为它需要额外特性来表达各种 SDN 意图。目前,由于边缘路由器缺乏 BGP 多 VRF 支持,SDN 控制器无法按 QoS 类别表达意图。我们通过确保网络按流量类别的 SLO 进行容量规划以吸收分片故障,并利用 BwE 中按 QoS 的主机执行,来缓解这一问题。

SDN 控制器在意图粒度上也受到本地边缘硬件表空间限制的制约。例如,为避免在本地边缘创建大量 WCMP 组,SDN 控制器一次只能关闭一个分片,且只能为 50% 的远端边缘编程唯一状态。实际上这已经足够,因为跨多个分片的并发故障很少见,我们预计分片故障要么从本地边缘视角影响大多数前缀(例如全局中断、本地边缘到核心故障),要么仅限于较少数量的远端边缘(例如远端边缘到核心或远端区域故障)。

SE 还允许我们智能地缓解这两项限制,例如通过 SLO 感知的故障切换,或在出现意外数量的分片故障时选择最关键的目的地。

5 区域化(Regionalization)

虽然分片防范跨分片故障,区域化则限制中断的地理爆炸半径。核心原则是区域隔离:每个区域拥有独立的控制面。这确保区域之外的故障——无论是来自控制系统故障还是与区域无关的不良输入——都不会影响区域内的流量。这对 Google 的云客户尤为重要,因为它降低了其计算与存储发生区域相关性故障的风险。区域化还减轻了全局核心的扩展压力,显著减少了全局核心必须管理的节点数量。

5.1 设计(Design)

区域化沿地理界线对网络进行分区。每个区域如 §4 所述进行分片,且每个分片区域拥有自己的 TE 与 BwE 控制器。这些控制器仅能看到并控制其自身区域内的拓扑与流量(图6)。

图6:区域化架构。区域核心与全局核心在边界处共享节点,边界节点之间的链路被共享并逻辑切分。跨区域流量路径由区域与全局控制器共同拥有

区域内流量(例如同一区域内两个集群之间)的路径与带宽分配完全由区域 TE/BwE 控制器控制。跨区域流量的路径由区域与全局核心控制器共同拥有。每个核心 TE 控制器控制该流量在其所观察和控制的网络切片内的路径。类似地,区域与全局核心 BwE 控制器为其所控制的网络切片上的跨区域流确定带宽分配,然后在主机处合并,以确定整体带宽分配。

5.1.1 网络设计与跨区域控制器架构(Network Design and Inter-Region Controller Architecture)。

为获得所需的隔离特性,我们必须最小化区域与全局控制器之间的依赖。这促成了我们对区域核心与全局核心之间硬边界的设计:拓扑组织为层次树结构,其中区域核心(叶)挂在全局核心(根)之下。

我们考虑过两种替代设计,但都因未能提供必要的隔离保证而被否决:(1) 两层控制器。由较低层的区域内控制器管理区域内的流量,上层跨区域控制器在抽象的区域级图上运行并产生跨区域路径。区域内控制器从上层跨区域控制器接收路径意图,并将其转化为在网络上编程的实际路径。这被否决,因为它损害了隔离性,因为上层控制器仍可能影响(并毒化)区域内控制器。(2) 全局控制器完全控制跨区域流量。虽然专门的区域内控制器控制区域内流量的路径,但全局控制器能看到整个网络并控制跨区域流量的端到端路径。这也基于同样的理由被否决:它要求全局控制器编程深入区域内部的节点,留下了可能影响区域内控制面的风险。这在扩展性上也很差,因为全局核心仍包含整个网络。

5.1.2 边界节点分离(Border Node Separation)。

区域域与全局域之间的边界由每个区域的一组边界节点构成。这些节点在区域与全局控制器之间物理共享,即两个控制器都可以编程这些节点。我们设有保障措施,防止全局控制器通过对这些节点的编程毒化区域控制器,反之亦然。例如,过载保护可防止恶意控制器用编程操作淹没共享节点。在意图冲突的情况下,边界节点严格优先区域控制器意图,保护区域流量免受外部干扰。使用独立的物理区域与全局边界节点将具有更严格的隔离保证;然而,这需要额外的 WAN 容量,并带来显著的成本溢价。

5.1.3 边界链路的物理 vs. 逻辑切分(Physical vs. Logical Carving of Border Links)。

连接两个边界节点的链路既可用于区域内流量,也可用于跨区域流量。为保持隔离,这些物理链路被逻辑切分为独立的虚拟切片,每个切片有专属的带宽分配。具体而言,链路容量的一部分专用于区域控制器,其余部分专用于全局控制器。这种由各自控制器强制执行的逻辑分离,防止了争用,并确保全局控制器不会无意中消耗本用于区域内流量的容量,反之亦然。这种方法提供了仅通过配置更改即可调整容量切分的灵活性,而无需任何物理更改,这在网络的演进与迁移期间被证明至关重要。这种逻辑切分在网络规划过程中根据预测的区域内与跨区域需求自动确定,并按月调整。

物理切分边界链路的替代方案会增加隔离性。然而,它被否决有两个原因:失去了调整容量切分以适应区域内与跨区域流量模式变化的能力,以及部署复杂性高,与增加的隔离收益不相称。

5.1.4 跨边界的负载均衡(Load Balancing across the Border)。

一个关键设计决策是如何在边界节点之间对跨区域流量进行负载均衡。我们要求全局与区域控制器之间严格隔离,这禁止它们之间进行在线通信,并要求负载均衡决策仅依赖本地可用的输入。我们选择了一种基于边界节点相邻容量的算法,受逻辑切分(§5.1.3)约束,以最大化总跨边界流量。这种方法有效,因为它不仅满足隔离要求,还产生稳定的流量交接模式和可预测的路径。此外,这种稳定性是在不牺牲灵活性的情况下实现的,因为该算法可以适应边界节点容量的动态变化。这种适应性由边界节点处的数据包采样实现,它为控制器提供了所需的入站流量数据。

5.1.5 控制器部署模型(Controller Deployment Model)。

区域 BwE/TE 控制器作业运行在与其管理区域共置的计算集群中,跨至少三个灾难域。这确保如果该区域与全球 WAN 切断,它们仍能独立运行,并与区域隔离故障域保持一致。使用标准的领导者选举机制 [8]。

6 部署(Deployment)

向 GGN 的部署与迁移是一项棕地(brownfield)工作,在承载 Google 所有生产流量的实时网络上执行。"一次性切换(big bang cutover)"不是一个选项。

6.1 流量迁移与可用性 SLO(Traffic Migration and Availability SLOs)

我们的流量迁移策略以渐进的、由主机引导的迁移为中心,跨越多年(图8)。我们优先考虑安全性,并满足我们最高优先级流量类别——即 Tier-0 面向用户("UF")流量——的 SLO。满足 SLO 目标对 UF 流量尤为关键,以确保服务在迁移后于 GGN 上体验到与 B2 上相似的网络性能。我们的迁移分步进行:

(1) 物理互联(Physical Interconnect):
首先,我们在传统网络与新的 GGN 核心组件之间建立物理连接,创建从 B2 边缘到 B4/GGN 的连接。
(2) 分阶段迁移到 B4(Phased Migrations to B4):我们将 UF 流量从 B2 错峰迁移到 shard 1,以确立我们分片化 WAN 承载 UF 流量的能力与就绪度。
(3) 随增长填充新分片(Ride the Growth for New Shards):在 shard 1 的能力通过从 B2 的迁移得到确立后,我们接下来利用自然流量增长来填充新分片,使新的流量需求直接在这些分片上配置,从而实现成本有效的扩建。
(4) 基于主机的引导(Host-Based Steering):基于主机的数据包标记提供了对迁移的细粒度控制。我们可以通过指示主机相应地标记其流是否分片,实现按应用、按目的地甚至按流的细粒度分片启用。这允许高度受控的、增量式的推广。

我们构建了自动化系统,在将流量迁移到 GGN 分片之前执行多项安全检查。这些检查包括:(a) 相应分片上已承诺带宽的充足容量,(b) L3 与 L7 的可用性 SLO,以及 (c) 源与目的端点之间在 GGN 上的时延 SLO。我们的 TE 系统允许我们在流量迁移之前为 GGN 上的流预留容量,确保平滑过渡而不会出现初始拥塞。

在 GGN 之前,UF 流量的所有容量规划仅在 B2 上进行。我们为容量规划系统增加了支持,以预测流量需求并在各种故障场景下在 GGN 上构建网络容量,从而满足我们计划从 B2 迁移到 GGN 的所有 UF 流量的 4 个 9 可用性。一项关键的风险缓解策略是在 B2 和 GGN shard 1 上同时为 UF 流量规划并构建网络容量,以便在出现任何性能问题或中断时,我们可以立即将 UF 流量回退到 B2 上路由。我们以分阶段方式向 GGN shard 1 部署新容量,以容纳计划迁移的所有流。我们分阶段迁移流量:每周从单个(源、目的)集群对迁移少量流量,由我们的自动化测量系统持续监控网络健康与可用性。我们的渐进式迁移为 shard 1 满足 UF 流可用性 SLO 的能力建立了信心。随后我们增加了每周迁移的地理范围与流量规模到 shard 1。为支持这些大规模迁移,我们持续向 shard 1 部署额外容量。我们规划容量并将新流量直接引导到 shards 2–4,而无需在 B2 上备份容量。

图7:GGN 中的流量优先级类别。随着可靠性改进逐步推出,这使 GGN 能够越来越多地承载 Tier-0/UF 流量(从 5% 增至 21%)
图8:Tier-0/UF 流量与 GGN 可用性。流量以 2022 年 GGN 为基准归一化。可用性衡量满足 UF SLO 的区域对百分比。2023 年的可用性低谷是 Outage D(§7.3.2),且早于分片引入,分片本可对此提供保护

6.2 网络规模与分片部署(Network Scale and Sharding Deployment)

由于 shard 1(B4)是一张现存的全球网络,启用分片化 GGN 架构需要 (a) 部署新分片(2–4),然后 (b) 安全地将流量迁移到使用所有分片。创建这些新分片需要全球规模的物理部署。这一分片目前正在进行中,我们预计完全分片整个网络将需要数年时间。

图7–11 展示了 UF 总量增长、网络增长、分片与 WBB 的采用情况。我们预计分片采用率未来将急剧上升。图9 还显示了迄今部署的分片化超级节点数量(在 shards 2–4 中)与 shard 1 的对比。最初,这些分片站点承担区域或城域级聚合功能。我们逐步建设其 WAN 互联,要么通过获取新的 WAN 资产,要么通过将现有 L1 基础设施从 shard 1 重新平衡以服务 shards 2–4。我们优先为进行 ML/AI 训练的巨型园区(megacampus)进行早期分片部署。截至 2026 年 7 月,shards 2–4 占 GGN 总容量的 35%,在我们最大的 ML/AI 区域之一,高达 40% 的流量已被分片化。还要注意分片的快速采用:如图10 所示,每个新分片 2–4 的规模约为 B4 在 2019 年基线时的 5 倍(当时 B4 已是世界上最大的网络之一),而 GGN 整体约为其 45 倍。这一建设既庞大又在迅速加速:平均而言,这大约相当于每 2 个月建成一个新的 B4,而最近甚至每 2 周就建成一个。

图9:GGN 站点与超级节点增长。注意 WBB 与分片的快速采用,以及自 2019 年以来约 10 倍的整体站点增长
图10:按分片的容量(堆叠)。以 2019 年 shard 1(B4)为基准归一化。GGN 约为 2019 年 B4 的 45 倍

由于我们对分片化流量使用 ECMP(§7.2.3),我们试图保持所有新分片上已部署容量的对称性,以确保负载均衡保持高效。未来的工作将启用跨分片的 WCMP,以支持非对称部署。

6.3 区域化部署(Regionalization Deployment)

区域化必须在实时生产网络上执行,并且必须渐进且谨慎管理,以避免瞬态拥塞或流量黑洞。Shards 2–4 是绿地(greenfield)部署,从诞生之初就区域化。这与核心分片部署形成了自然的协同,因为用于将流量迁移到这些分片的主机引导机制,同时也增加了受区域化保护的流量规模。相比之下,将 shard 1(B4)区域化更为复杂,因为它有一个预先存在的全局控制器。我们的策略是逐步改造该控制器,使其在内部模拟区域与跨区域控制器的行为。这一多阶段过程包括引入边界链路的逻辑切分、强制执行区域路径约束,以及在边界处将端到端流拆分为区域段与跨区域段。一旦这一改造完成,区域流量的控制权便移交给专门的区域控制器,区域拓扑随后被安全地从全局控制器的管辖范围中移除。迄今为止,我们已对网络 53% 的区域实现了控制面区域化,保护了总区域内流量的 12%。自 2024 年 1 月以来,网络上区域内流量的规模增长了 406%,受区域化保护的流量规模增长了 947%。

7 经验教训(Lessons Learned)

鉴于 B2/B4 足迹的全球规模,向 GGN 的过渡是一项多年努力,涉及仔细规划、分阶段迁移与持续验证。这一迁移虽仍在进行中,但已对可用性产生实质性积极影响。我们描述了迄今的一些经验,包括四个真实世界中断的案例研究,以及 GGN 架构如何处理它们。

7.1 满足可用性 SLO(Meeting Availability SLOs)

到 2023 年,许多关键的 GGN 设计特性仅在部分区域部署(例如区域化、PRR,以及控制面与可用性改进特性(SA))。因此,并非所有区域对都能持续满足承载 UF 流量所需的严格 99.99% 可用性。2024 年,我们识别出一批已持续满足 SLO 的区域对,并优先迁移它们,以尽早获得在 GGN 上承载 UF 流的经验。其余区域对无法持续满足 99.99% 可用性 SLO,因为我们没有网络容量在这些区域对中支持 PRR;此外我们当时尚未推出主动路径多样性(Active Path Diversity)与自动化 TE 到路由回退(Automated TE-to-Routing Fallback)(SA)。我们在 2023 年期间逐步在全球推出上述特性,这显著且持续地改善了可用性。在过去两年中,GGN 中的每个区域对都持续满足 >99.99% 的可用性 SLO(图8)。随后我们加速了现有 UF 流的迁移,并将新的 UF 流直接引导到 GGN 上。

7.2 分片保护与挑战(Sharding Protection and Challenges)

核心分片是 GGN 对全局中断的主要防御。我们通过广泛的模拟与受控生产测试 [7] 以及实际中断,验证了其有效性。在模拟的整分片故障中,高优先级流量在数据面与边缘控制面机制将流量引导到健康分片期间,经历短暂的中断(亚秒级到秒级)。这些流的聚合带宽在全局 BwE 控制器收敛到新分配后的几分钟内完全恢复。对于我们不提供 N−1 容量的较低优先级流量,通过 BwE 基于策略的限流优雅降级,保持关键服务的 SLO。这证实了分片架构成功地将潜在的数小时全局中断转化为短暂的、在 SLO 预算内的中断。

接下来我们描述分片对两次实际生产计划外中断的保护。

7.2.1 Outage A:路由底层响应(Routing Underlay Response)。

一次操作失误导致 Shard 3 上一个整个站点的路由失效。我们观察到了对可达性丢失的分层反应。系统首先通过路由底层与 PRR 等方法快速反应,移除有问题的分片,随后被 SE 识别,使 SE 收敛其解决方案以移除有问题的分片。

在图12 中,我们绘制了代表分片化流量体验的探测丢包情况,并展示了我们通过利用路由设计(§4.2)针对特定分片的探测,对特定分片问题的可见性,使我们即使在 SE 已将某分片从用户流量路径中移除时,也能观察到该分片内的问题。我们还绘制了由 SE 发起的分片故障状态。我们观察到当 Shard 3 故障时,用户流量出现短暂轻微丢包。当 SE 为受影响的流禁用该分片后,这一丢包完全解决。分片内中断解决后不久,SE 为所有流重新启用该分片,对用户流量没有影响。

图12:Outage A。单个分片上的路由问题被缓解为分片化流量的轻微中断(见插图)。BGP 与 PRR 缓解了该问题。随后 SE 禁用该分片,直到观察到其稳定

7.2.2 Outage B:SE 优化的响应(SE-Optimized Response)。

一次容量中断触发了 shard 1 的 TE 控制器过载。这导致编程延迟,使系统无法完全收敛以围绕减少的容量优化隧道。结果,我们没有看到大范围的流量黑洞丢包,但观察到 BwE 发起的限流,以将流量适配到减少的可用容量内。图13 显示了 BwE 限流的严重程度与 SE 的反应。我们看到,在影响我们高可用性(Tier-0 与 Tier-1)流的严重限流期间,SE 在若干位置发起受影响分片的故障切换(第 15–60 分钟)。当 TE 系统收敛且带宽充足时,流量被放回所有分片。我们还看到,在影响较低可用性(Tier-2 与 Tier-3)流量的限流期间(第 140–200 分钟),SE 不做出反应,因为该流量有足够的故障预算来吸收中断。总之,这次中断展示了 SE 的价值,因为它以符合我们业务策略的方式优雅地响应部分容量中断。

图13:Outage B。SE 覆写损坏的路由以启用分片故障切换
图14:Outage C。区域内 UF 流量的 P99 L3 丢包率。区域化区域无丢包
图15:Outage D。跨区域的 L3 丢包百分比。区域化区域无丢包

7.2.3 跨分片负载均衡挑战(Cross-Shard Load Balancing Challenges)。

受边缘路由器扩展限制的制约,我们的架构目前采用 ECMP 在分片之间分配流量,故障切换以每个目的集群为粒度进行管理。当硬件异构或部署延迟(例如错峰升级)导致分片间容量不对称时,这种方法会带来运维挑战。由于 ECMP 假设容量均匀,这会导致总可用带宽利用不佳。我们目前容忍这些瞬态效率损失,同时评估更灵活的流量分配方法,包括 WCMP 与针对部分分片的流钉扎(flow pinning)策略,以实现更好的利用率。

我们生产网络中的硬件异构与负载变化常常损害理想的 ECMP 行为。数据面优化 [24] 还可能进一步导致流量分配偏离;例如,我们在某个位置观察到分片之间 6% 的不均衡。这种偏离在控制面建模中引入了不准确性,使跨分片核心的流管理复杂化。我们正通过将这些不均衡纳入我们的模型,并逐步淘汰表现不佳的设备版本来解决这一问题。

7.3 区域化保护与经验教训(Regionalization Protection and Lessons)

我们描述两次实际中断,其中具有区域化控制面的区域免受影响其他区域的控制面 bug 与不良输入的影响。

7.3.1 Outage C:来自错误配置的保护(Protection from Bad Configuration)。

一个错误的路径策略被传播到全局 TE 控制器,导致其在某些区域撤回区域内流量的最优隧道路径。这些流量随后回退到底层路由,而底层路由默认采用最短路径。这种次优路径导致了网络拥塞和 UF 流量的显著丢包,该问题持续了 90 分钟,直到错误配置被回滚。其中一个区域经历了 L3 丢包的急剧上升(图14)。拥有控制面区域化、自行管理其区域内路径的区域则没有经历任何丢包。

7.3.2 Outage D:来自损坏输入的保护(Protection from Corrupted Input)。

拓扑导出管道中的一个第一天(day-one)bug 向全局 TE 控制器推送了一个缺少许多站点的坏拓扑。全局控制器基于这些错误数据编程路径,导致了短暂但严重的广泛丢包。这是 2023 年可用性主要低谷的原因(图8)。拥有区域化控制面的区域完全免受损坏全局数据的影响(图15)。注意,这次中断早于分片的引入,分片本可进一步保护尚未区域化的位置免受其影响。

7.3.3 网络规划挑战(Network Planning Challenges)。

为区域化调整网络拓扑会带来效率开销,需要配置额外容量。最初与网络规划的集成依赖于事后拟合检查(post-hoc fit check),它反馈所配置的容量是否充足。然而,随着 ML/AI 驱动的增长迅速超出预测,相关成本螺旋上升,使这种方法在经济上不可行。这凸显了将区域化约束直接集成到网络规划优化算法中的必要性,目前这已被纳入。此外,我们为终止于较大区域边界节点的跨区域流量采用了专门的负载均衡策略。这些干预措施共同显著降低了成本,恢复了经济可行性。

7.4 成本分析(Cost Analysis)

WBB 采用(WBB Adoption)。 我们将基于 WBB 的 fabric 的总拥有成本(包括开发、设备、电力、保修等)与我们本会开发的一个假想的下一代 fabric 进行了比较。我们发现,基于 WBB 的方法在 5 年摊销后基本成本中性(净现值节省约 2%),同时提供了关键的业务、架构与可靠性收益(例如厂商可选性、基于硬件的快速故障切换处理)。

核心分片(Core Sharding)。 我们比较了物理分片与扩展单一大型骨干网的成本。基于分片设计的假设(§4),例如仅对 Tier-0 与 Tier-1 流量提供保护,以及设有防止并发分片故障的安全策略,我们发现分片化 WAN 在物理分片拓扑上带来全局中断保护的好处,而成本仅增加 2–5%。

区域化(Regionalization)。 虽然我们的设计提供了严格的隔离保证,但它们引入了网络效率降低的权衡:(a) 由于边界链路的逻辑切分,区域与全局容量份额之间失去了可互换性。(b) 仅依赖本地输入、对等控制器之间无通信的基于容量的负载均衡,可能偏离最优的端到端路径。区域化架构的实施对总网络成本产生了 1% 的开销。

8 相关工作(Related Work)

几乎所有主要云提供商在构建和运营行星级 WAN 时都面临类似挑战,即面对 ML/AI 工作负载的指数级扩展需求、为满足效率与可用性要求而进行的流量工程,以及管理具有全球足迹的网络的运维复杂性。我们简要讨论 Microsoft 的 OneWAN [20]、Meta 的 Express Backbone(EBB)[10, 16] 以及 Alibaba 的 Global WAN(AGN)[28, 29] 及其下一代 eCore WAN [9] 的方法。10

Microsoft 的 OneWAN 与 GGN 有着相似的动机:将分立的 WAN 架构(用于数据中心间的 SWAN、用于互联网的 CORE)统一为一张单一的、基于 SDN 的骨干网。Microsoft 的 Blastshield [19] 是其去中心化的流量工程系统,采用由独立控制器管理的地理分区控制面。虽然 Blastshield 的控制器仅负责编程其域内的路由器,但它们摄取网络范围的输入来计算全局路径解决方案。GGN 的区域化强制执行更严格的隔离保证:每个区域控制器仅消费来自其自身区域的输入。区域化还减小了全局核心拓扑规模,从而缩短跨区域路径的路径计算时间,而 Blastshield 则摄取全局级拓扑与需求输入。

Meta 的 EBB 采用多平面(分片)架构,通过平面实现故障隔离与 A/B 测试,从而提高可靠性。EBB 平面内的流量使用基于 MPLS 的分段路由管理,由每平面一个全局控制器编程(虽然仍未完全分布式,但 GGN 的每分片 TE 将更多控制权下放给区域)。EBB 的控制器在边缘利用不等价多路径(UCMP)策略来应对动态链路故障与维护,以及交换机本地预计算的、容量感知的快速重路由(FRR),优先处理高优先级流量。与 GGN 类似,EBB 的控制器为每个源/目的对计算主路径与备份路径,流量在稳态下对称规划并分散到各平面。

Alibaba 的 Global WAN(AGN)也是一张私有全球 WAN,互连其数据中心网络,并与外部 ISP 对等互联。DCN 与 WAN 之间使用 eBGP 互连,WAN 为单一 AS,内部使用 iBGP/IS-IS 重新分发从外部学到的路由。这与 GGN 的路由底层非常相似。由于 AGN 出于类似的规模与复杂性原因被证明不适合满足新需求,这 necessitated 重新设计并迁移到简化的 eCore 架构。eCore 采用多平面架构,基于 SRv6 的流量工程 [12] 与更小的域,与 GGN 有许多相似之处。它也面临许多相同的挑战,包括从 AGN 到 eCore 的流量迁移安全性。与 GGN 不同,eCore 强调路由器硬件统一性(自研的固定形态白盒)以实现标准化部署与管理。

总之,尽管这些超大规模厂商的 WAN 网络是独立设计与开发的,但它们展现出相似的演进方向,重点是用于可用性与扩展的冗余分片(或"平面")、用于更好故障隔离的更小控制面域,以及用于更好可靠性与管理的更简单协议生态。

9 结论与未来工作(Conclusion and Future Work)

GGN 代表了 Google WAN 架构的范式转变,专为满足 Google Cloud 与 AI 新的严格可用性、可扩展性与速度要求而构建。通过拥抱核心分片实现全局故障隔离、区域化遏制本地故障,以及通过开放标准实现硬件可选性等核心原则,我们构建了一个行星级骨干网,在可靠性与运维敏捷性方面相较传统骨干网设计带来了戏剧性的阶跃式改进。我们的经验还展示了一套在不影响客户的情况下将实时行星级网络迁移到新架构的配方。

展望未来,我们正在加速部署,并在全球范围扩大分片与区域化的足迹。我们还积极致力于提高分片负载均衡的粒度,以获得更好的效率与部署灵活性,扩大保护性重路由(PRR)与类似 Smart Fast ReRoute 功能(FRR)[18] 的范围,等等。我们相信,这一用商用厂商硬件构建、用开放标准与可扩展软件管理的全球网络,是未来十年及以后网络创新的基础。

致谢(Acknowledgments)

构建 GGN 是一项持续的、多年的协作努力,涉及数百名才华横溢的工程师。我们衷心感谢 Google 的同事们帮助将其变为现实。我们特别感谢 Kondapa Naidu Bollineni、Yun Freund、David Gong、Konstantin Iakhontov、Jay Kaimal、Rob Peasegood 和 Yang Zhang。我们还感谢 Jeff Mogul、David Wetherall 以及我们匿名的 SIGCOMM PC 审稿人提供的宝贵反馈与时间。本工作不引发任何伦理问题。Gemini 被用于文案编辑和图表渲染。

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

友情链接更多精彩内容