首页
学习
活动
专区
工具
TVP
发布

音频变速变调原理及soundtouch代码分析

概述

音频变速变调在不同的场景可以分为变速不变调、变调不变速以及变调又变速 3 种应用。语音变速是指把一个语音在时域上拉长或则缩短,而语音的采样率、基频以及共振峰都没有发生变化。语音变调是指把语音的基因频率降低或升高,共振峰做出相应的的改变,采样频率不变。简单介绍下音频变速变调的应用场景。

1) 变速不变调:各种各样的视频播放器中的 2 倍速,0.5 倍速播放就是应用的语音变速不变调原理;当然变速不变调还应用于网络电话 VOIP 中的应对网络抖动,简单的说,就是当网络不好的时候,播放端从网络中拉取到的数据少,缓存区的数据不够用,这个时候就使用缓存的数据播放的慢一点。反之,缓存区数据过多,就播放的快一点。这部分的实现可以参照 webrtc 的 netEQ 模块。平时在使用微信语音的时候应该能感受到网络特别卡时,为了保持语音连续,会故意慢放语音。

2)变调不变速:变调不变速主要应用在声效上,声音提高音调将男声变成女生,或则将女生变成男声;另外,变速不变调配合其他一些音效算法,如 EQ,混响,tremolo 和 vibrato 可以实现变声效果,比如 QQ 上的萝莉音,大叔音等。

音频变速变调在各种音频编辑器如 cooledit,audition,audacity 上都有实现,常用的开源代码是 soundtouch,另外还有一个开源代码为 sonic,都可在 github 上找到。

音频变速原理

音频变速不变调的经典文章为<<A Review of Time-Scale Modification of Music Signals>>,其中

介绍了很多种变速不变调算法的实现。

TSM(Time-Scale Modifacaiton)

变速不变调的经典算法为 TSM(Time-Scale Modifacaiton),还有一些语音合成的方法来实现变速,通过提取音频的基音信息和声道的激励模型来实现。我们重点介绍 TSM 方法

TSM 方法的原理很简单。熟悉音频处理的朋友都知道,音频信号为了保证前后帧处理特征的平滑性,会在帧与帧之间设置一个重叠(overlap),因此就出现了分帧(analysis fames)和合帧(synthesis frames), 一般设置重叠为 50%。如果分帧(analysis fames)以 50%的 overlap,而合帧(synthesis frames)时以 75%,那么就实现了慢放。

TSM 算法的步骤为

  • step1: 原始信号分帧
  • step2:分解好的帧重新定位
  • step3: 合成最终的帧

 Hs 和 Ha 分别代码分帧和合帧的 overlap。Rate = Hs/ Ha,如果 Ha=Hs,则原速;Hs<Ha 时,加速;Hs>Ha 时,减速。

OLA(Overlap-and-Add)

OLA(Overlap-and-Add, OLA)重叠相加算是音频变速算法中最简单的时域方法,它是后续时域算法(SOLA, SOLA-FS, TD-PSOLA, WSOLA)的基础。  

下图演示语音被加速播放的情况

图中 x 和 y 分别表示处理前后的语音信息。变速的关键在 c 图和 d 图,能够看到 OLA 直接暴力的将 x(m+1)的波形拷贝到 y(m+1)处,并与 y(m)进行叠加。此时语音省略掉了 x(m)和 x(m+1)之间的信息,实现了快放。这个算法最简单,但是缺点也很明显,就是没有考虑到 x(m+1)和 y(m)之间的连续性,换句话说,没有考虑到不加速播放时本来该播放的语音 y'(m+1)和拷贝过来的 y(m+1)之间的相似性。因此会造成下图这样的后果,造成相位不连续,相邻帧重叠区域产生基频失真。

出现了基频断裂的问题,当然是要去解决了,因此出现了改进版的 SOLA 算法和 WSOLA 算法。y'(m+1)和 y(m)是连续的,只需找到一帧 y(m+1)最相似 y'(m+1),用它来替换 y'(m+1),那么语音就会很自然。SOLA 算法和 WSOLA 算法都是这个原理。不同的是 SOLA 算法是固定 y(m+1),去寻找 y'(m+1)与 y(m+1)最相似。WSOLA 则是固定 y'(m+1),寻找 y(m+1)与 y'(m+1)最相似。由于 soundtouch 中使用的是 WSOLA 算法,主要研究 WSOLA 算法,关于 SOLA 算法的具体处理可以看上面的那篇论文

WSOLA(Waveform Similarity Overlap-Add)

下图是 WSOLA 的实现步骤

a 图中的实现还是和 OLA 一样的,OLA 寻找找的替换帧为 x(m+1)。在 b 图中有一个 Delta(max),会在 Delta(max)这个窗口内寻找与替换帧最相似的那一帧 x'(m+1),这个就是 WSOLA 算法的原理。如何来定义相似呢,常用的方法有:

1)相关法(寻找相关峰,soundtouch 使用方法)

2)AMDF(sonic 使用的方法)

音频变速还有其他方法:PV-TSM 等,

音频变调不变速原理

最常见的音频变调就是使用重采样了,如果将一个 8Khz 的语音使用 16K 采样率播放,那么能明显感受到音调升高,但是语速也提高了 2 倍。因此,音频变调不变速就是首先使用重采样算法进行采样,然后使用变速不变调算法纠正速度。重采样其实就是对数据一个抽取或则内插的过程,常使用的方法是线性插值重采样的方法。

soundtouch 的原理

 SoundTouch 是实现音频变速变调的开源代码。其中音频变调使用的是升降采样的方法,变速则是使用的是 wsola 算法。SoundTouch 的源代码目录结构清晰简单,在开源代码中有 vs 工程文件,soundtouch 的主要代码文件如下:

SoundTouch 中设置变速变调的范围,在其使用手册中各个范围为:

" -tempo=n : Change sound tempo by n percents (n=-95..+5000 %)\n" 变速不变调

" -pitch=n : Change sound pitch by n semitones (n=-60..+60 semitones)\n" 变调不变速

" -rate=n : Change sound rate by n percents (n=-95..+5000 %)\n" 变调变速

SoundTouch 的主要 API 是定义在 SoundTouch 类中的,SoundTouch 包含了主要的数据处理类 RateTransposer 和 TDStretch,SoundTouch 只负责数据之间的传递,和关键参数的控制。RateTransposer 实现语音的变速变调,TDStretch 实现变速不变调。SoundTouch 继承自 FIFOProcessor,在 rate<=1 的情况下会设置 TDStretch 为输出,在 rate>1 的情况下设置 RateTransposer 为输出。

变速不变调 TDStretch

变速不变调通过 wsola 实现,类中主要成员为:

class TDStretch : public FIFOProcessor{
  protected:
  int channels;
  int sampleReq; //变速不变调 需要缓存的数据
  int overlapLength; //wsola涉及的overlap
  int seekLength; //在seekLength的长度里寻找与pMidBuffer相关值最大的offset
  int seekWindowLength; //一帧数据的长度+overlap的长度
  int sampleRate;
  int sequenceMs; //默认40ms
  int seekWindowMs; //默认15ms
  int overlapMs;  //默认8ms 根据ms去计算length

  float maxnormf;

  double tempo;
  double skipFract; //变速需要跳过的步长

  SAMPLETYPE *pMidBuffer;  //缓存中间的数据,用于计算相关性  数据长度为overlap 

  FIFOSampleBuffer outputBuffer;
  FIFOSampleBuffer inputBuffer;
}

overlapLength、seekLength、seekWindowLength 见下图。

以 tempo=2 overlapLength=128 seekLength = 240 seekWindowLength=640 为例。soundtouch 的处理流程为:

首先处理第一帧:

  1. 拷贝输入数据 inputBuffer 中 seekWindowLength-2*overlapLength = 384 的数据到 outputBuffer 中
  2. 拷贝 inputBuffer 从 384 起的 overlapLength=128 数据到 pMidBuffer 中
  3. inputBuffer 的数据跳跃到 skipFract = 648 的位置

其中 skipFract += nominalSkip

nominalSkip = tempo * (seekWindowLength - overlapLength);

  1. 计算 inputBuffer 中 648 位置起的 seekLength 个数据 与 pMidBuffer 的相关性 选取相关性最大的 offset 这里 offset = 119
  2. 将 648 + offset 起的 128 个数据与 pMindbuffer 中的 128 个数据叠加输出到 outputBuffer 中
  3. 拷贝 inputBuffer 648 + offset +128 位置起的 seekWindowLength-2*overlapLength = 384 的数据到 outputBuffer 中
  4. go on

具体实现为:

void TDStretch::processSamples(){int ovlSkip;int offset = 0;int temp;
while ((int)inputBuffer.numSamples() >= sampleReq)  //缓存数据sampleReq
{
    if (isBeginning == false)
    {
        offset = seekBestOverlapPosition(inputBuffer.ptrBegin()); //寻找相关性最大的位置

        overlap(outputBuffer.ptrEnd((uint)overlapLength), inputBuffer.ptrBegin(), (uint)offset); //overlap 
        outputBuffer.putSamples((uint)overlapLength);
        offset += overlapLength;
    }
    else
    {
        isBeginning = false;
        int skip = (int)(tempo * overlapLength + 0.5 * seekLength + 0.5);

        #ifdef ST_SIMD_AVOID_UNALIGNED
        // in SIMD mode, round the skip amount to value corresponding to aligned memory address
        if (channels == 1)
        {
            skip &= -4;
        }
        else if (channels == 2)
        {
            skip &= -2;
        }
        #endif
        skipFract -= skip;
        assert(nominalSkip >= -skipFract);
    }


    if ((int)inputBuffer.numSamples() < (offset + seekWindowLength - overlapLength))
    {
        continue;    // just in case, shouldn't really happen
    }

    // length of sequence
    temp = (seekWindowLength - 2 * overlapLength);
    outputBuffer.putSamples(inputBuffer.ptrBegin() + channels * offset, (uint)temp);
    assert((offset + temp + overlapLength) <= (int)inputBuffer.numSamples());
    memcpy(pMidBuffer, inputBuffer.ptrBegin() + channels * (offset + temp), 
        channels * sizeof(SAMPLETYPE) * overlapLength);.
    skipFract += nominalSkip;   // real skip size
    ovlSkip = (int)skipFract;   // rounded to integer skip
    skipFract -= ovlSkip;       // maintain the fraction part, i.e. real vs. integer skip
    inputBuffer.receiveSamples((uint)ovlSkip);  //跳过数据 和tempo相关 实现变速的关键
}
}

变速变调 RateTranposer 类

RateTransPoser 其实就是通过升降采样来实现语音的变速变调的。类具体实现如下:

class RateTransposer : 
  public FIFOProcessor{
  protected:
    /// Anti-alias filter object
  AAFilter *pAAFilter; //抗混叠滤波器
  TransposerBase *pTransposer; //提供实现变速变调的算法
  FIFOSampleBuffer inputBuffer;

  /// Buffer for keeping samples between transposing & anti-alias filter
  FIFOSampleBuffer midBuffer;

  /// Output sample buffer
  FIFOSampleBuffer outputBuffer;

  bool bUseAAFilter;

  void processSamples(const SAMPLETYPE *src, 
                      uint numSamples);
}

其中核心函数 processSamples

void RateTransposer::processSamples(const SAMPLETYPE *src, uint nSamples)
{
  uint count;
  if (nSamples == 0) return;
  // 接受数据
  inputBuffer.putSamples(src, nSamples);
  // 数据处理
  if (bUseAAFilter == false)
  {
  count = pTransposer->transpose(outputBuffer, inputBuffer);
  return;
  }
  assert(pAAFilter);
  if (pTransposer->rate < 1.0f) 
  {
      // 实现升降采样
      pTransposer->transpose(midBuffer, inputBuffer);   
      // AAFilter滤波
      pAAFilter->evaluate(outputBuffer, midBuffer);
  } 
  else  
  {
      pAAFilter->evaluate(midBuffer, inputBuffer);
      pTransposer->transpose(outputBuffer, midBuffer);
  }
}

TransposerBase 类其实为一个工厂方法,其中涉及了 3 种升降采样方法,其实也就是插值方法。分别为:

插值算法原理待补充。

soundtouch 需要注意的点:

其中数据缓存和每次跳跃的大小为:

nominalSkip = tempo * (seekWindowLength - overlapLength);

sampleReq = max(intskip + overlapLength, seekWindowLength) + seekLength;

变速不变调中计算相关性根据不同的平台可以使用 TDStretchSSE 或 TDStretchMMX。

TDStreach 的实现来看,其具有较大的算法延迟。要实时实现减小延迟,可考虑减小 sequenceMs 的大小以及缓存数据来处理。

最后

简要的分析了一下 soundtouch 的实现,关于 soundtouch 的数据输入输出 FIFOProcessor 等类没有详细的介绍。后面会分析下 sonic 算法原理的实现。A Review of Time-Scale Modification of Music Signals 这篇经典文章的地址为:https://www.mdpi.com/2076-3417/6/2/57。文章中有什么不对的地方,希望大家一起讨论。

参考

A Review of Time-Scale Modification of Music Signals:https://www.mdpi.com/2076-3417/6/2/57

知乎变声导论:https://zhuanlan.zhihu.com/p/110278983

论文:基于 WSOLA 算法的语音时长调整研究

论文:AN OVERLAP-ADD TECHNIQUE BASED ON WAVEFORM SIMILARITY (WSOLA) FOR HIGH QUALITY TIME-SCALE MODIFICATION OF SPEECH

soundtouch 官网:http://www.surina.net/soundtouch/

  • 发表于:
  • 本文为 InfoQ 中文站特供稿件
  • 首发地址https://www.infoq.cn/article/6c522d10615dfaa4abe6df4f6
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券