基本策略

在WerbRTC中，如果同时开启Nack和FEC两个功能， FEC的冗余策略依据当前RTT动态调整，调整方式在代码中有所描述：

// Hybrid Nack FEC has three operational modes:
// 1. Low RTT (below kLowRttNackMs) - Nack only: Set FEC rate
// (_protectionFactorD) to zero. -1 means no FEC.
// 2. High RTT (above _highRttNackMs) - FEC Only: Keep FEC factors.
// -1 means always allow NACK.
// 3. Medium RTT values - Hybrid mode: We will only nack the
// residual following the decoding of the FEC (refer to JB logic). FEC
// delta protection factor will be adjusted based on the RTT.

此外，

可跨帧冗余
视频P帧和I帧的冗余度不同
在时域分层编码中，只对base层做FEC冗余

FEC冗余度计算

FEC冗余度的计算是基于视频码率，丢包率和RTT综合得到，分两步：

首先，根据视频码率和丢包率查表得到一个loss base冗余度。
然后根据RTT，调整得到一个hybrid nack 冗余度。

FEC冗余度表

冗余度表用kFecRateTable定义，该表定义为一个一维数组，但是其含义实际是一个二维数组：kFecRateTable[rate_i][loss_j]，其每一行定义的是129个元素，因此其索引方式为：kFecRateTable[k], where k = rate_i*129 + loss_j。
可以看到数组的一维是一个码率（kbps），这个码率是估算的单帧码率除以5，也就是说每5kbps变化映射到一个索引上。数组的第二维是丢包率，丢包率的表示方法是loss_ratio * 256，loss_ratio为50%时，该值为128，因此50%的丢包率是能支持的最大值。
最后，通过该表查到的冗余度的含义是 256 * fec / (source + fec)。

loss base冗余度计算

loss base冗余计算在VCMFecMethod::ProtectionFactor()函数中完成。

首先,计算一个分辨率参考比这个参考比是基于一个固定的分辨率704*576:

  // Spatial resolution size, relative to a reference size.
  float spatialSizeToRef = rtc::saturated_cast<float>(parameters->codecWidth *
                                                      parameters->codecHeight) /
                           (rtc::saturated_cast<float>(704 * 576));

然后根据分辨率参考比计算一个估算码率增益系数。

  // resolnFac: This parameter will generally increase/decrease the FEC rate
  // (for fixed bitRate and packetLoss) based on system size.
  // Use a smaller exponent (< 1) to control/soften system size effect.
  const float resolnFac = 1.0 / powf(spatialSizeToRef, 0.3f);

增益系数的计算使用公式 $f(x)=x^{-1/3}$ ，其中， $x$ 是上面计算得到的分辨率参考比。该公式的图形如下所示，从图中可以直观看到增益系数如何随参考比变化。

公式图形

估算单帧码率和单帧包数，单帧码率就是用来查表的，但是不是直接用，下面还要再变换一下。

  const int bitRatePerFrame = BitsPerFrame(parameters);

  // Average number of packets per frame (source and fec):
  const uint8_t avgTotPackets = rtc::saturated_cast<uint8_t>(
      1.5f + rtc::saturated_cast<float>(bitRatePerFrame) * 1000.0f /
                 rtc::saturated_cast<float>(8.0 * _maxPayloadSize));

计算增益的单帧码率，增益的单帧码率的计算用到了前面计算的估算码率增益系数，这个码率除以5以后就是上面FEC冗余度表中提到rate_i，再结合丢包率，就可以查表了。

  // Get index for table: the FEC protection depends on an effective rate.
  // The range on the rate index corresponds to rates (bps)
  // from ~200k to ~8000k, for 30fps
  const uint16_t effRateFecTable =
      rtc::saturated_cast<uint16_t>(resolnFac * bitRatePerFrame);
  uint8_t rateIndexTable = rtc::saturated_cast<uint8_t>(
      VCM_MAX(VCM_MIN((effRateFecTable - ratePar1) / ratePar1, ratePar2), 0));

最后查表得到冗余度

  uint16_t indexTable = rateIndexTable * kPacketLossMax + packetLoss;

  // Check on table index
  RTC_DCHECK_LT(indexTable, kFecRateTableSize);

  // Protection factor for P frame
  codeRateDelta = kFecRateTable[indexTable];

上面算的codeRateDelta是P帧的冗余度， I帧的冗余度计算方式略有不同，主要在于计算增益的单帧码率的时候，是在P帧的增益的单帧码率的基础上再次增益，增益系数为I帧的单帧包数除以P帧的单帧报数，但最小增益为2，在BoostCodeRateKey()函数中完成计算。

  // For Key frame:
  // Effectively at a higher rate, so we scale/boost the rate
  // The boost factor may depend on several factors: ratio of packet
  // number of I to P frames, how much protection placed on P frames, etc.
  const uint8_t packetFrameDelta =
      rtc::saturated_cast<uint8_t>(0.5 + parameters->packetsPerFrame);
  const uint8_t packetFrameKey =
      rtc::saturated_cast<uint8_t>(0.5 + parameters->packetsPerFrameKey);
  const uint8_t boostKey = BoostCodeRateKey(packetFrameDelta, packetFrameKey);

  rateIndexTable = rtc::saturated_cast<uint8_t>(VCM_MAX(
      VCM_MIN(1 + (boostKey * effRateFecTable - ratePar1) / ratePar1, ratePar2),
      0));
  uint16_t indexTableKey = rateIndexTable * kPacketLossMax + packetLoss;

根据RTT调整hybrid nack冗余度

冗余度的调整只针对P帧冗余度，I帧冗余度不调整。调整方式也比较简单，当RTT小于某一阈值(20ms)时，冗余度为0；否则，就在原有冗余度的基础上乘以一个系数，这个系数也是通过查表得到，索引就是RTT。系数表定义为VCMNackFecTable：

Table values are built as a sigmoid function, ranging from 0 to 100.

sigmoid函数的图形入下：

sigmoid function

在最近M78版本的代码里查表过程被注释掉了，默认1.0的系数，即对P帧冗余度也不调整了，但是RTT小于某一阈值冗余度设为0的条件还在。

WebRTC FEC 冗余策略