pyaudio库的安装（portaudio.h文件无法找到问题解决）

pyaudio是语音处理的python库，提供了比较丰富的功能。

具体功能如下：

• 特征提取(feature extraction)：关于时域信号和频域信号都有所涉及
• 分类(classification)：监督学习，需要用已有的训练集来进行训练。交叉验证也实现了，进行参数优化使用。分类器可以保存在文件中以后使用。
• 回归(regression)：将语音信号映射到一个回归值。
• 分割(segmenttation)：有四个功能被实现了 
  • [x] 固定大小的分割
  • [x] 静音检测（silence removal）
  • [x] 语音聚类（speaker diarization）
  • [x] 语音缩略图(audio thumbnailing)
• 可视化：给定语音，将内容可视化

所有的短时间特征可以见下图 

image

• 短时间特征（short-term features） 
  • 时域特征（特征1-3）是直接提取的
  • 频域特征（特征4-34，MFCC除外）是由傅里叶转换而来
  • MFCC特征提取过程已经讨论过

过程：语音信号分帧，一帧有34个特征。一般20~100ms

• 中等长度特征（mid-term features）和特别长的特征（long-term features)
  • 中等长度的调用短时间的特征，并进行统计运算
  • 1-10分钟左右长度
  • long-term调用Mid-term然后做统计运算
• 速度有关的特征

语音分割

pyaudio提供了两类的语音分割  - 有监督的语音分割：需要有提供一些材料，例如，已经训练好的分类器。为此，此库提供了两种算法：分类的方法和隐马尔科夫的算法  - 无监督的语音分割：无监督的或者半监督的，不需要提供知识准备，主要的例子是静音检测，语音聚类，语音缩略图

有监督的

• 固定长度的分割算法（fix-sized segmentation） 
  • audioSegmentation.py的函数mtFileClassfication()是主要的 
    • 切分一个语音段为一个连续的中等长度的段（mid-term)并且提取min-term features，使用mtFeatureExtraction()
    • 使用已经训练好的模型来进行分类
    • 只要两个段相连并且都是同一个类别，就将两个段进行合并
    • 将数据进行可视化
  • 注意事项，一个.segment的文件必须要有
  • plotSegmentationResults()用来画图可视化数据
• 隐马尔科夫模型分割算法（HMM-based segmentation）
  • 用户需要提供已经标注过的数据，包括：段开始点，段结束点，段类别
  • 一个语音文件配一个标注的配置文件，两者构成训练集
  • TrainHMM_fromFile()和TrainHMM_fromDir()是两个训练的函数
  • hmmSegmentation()函数用来使用HMM算法
  • plotSegmentationResult()可视化并且计算正确率

image

无监督的语音分割

• 静音检测
  • 短时间特征提取
  • 训练SVM，在高能帧和低能帧中，特别的，10%的高能帧和10%的低能帧用在训练SVM模型
  • 将SVM分类器用在全部的语音中，得到一串概率值，对应此帧是个时间帧（audio event）的概率
  • 一个动态的阈值被用来探测段是不是活跃的

image

在做python环境下的语音识别等相关任务时，一般都需要用到这个库。然而，对于第一次安装这个库的时候，发现都装不上，报的错就是：

找不到portaudio.h文件。

针对这个问题，本来以为是PIP安装的时候下载的包错了，后来对着文件名进行搜索了下，原来是pyaudio的运行需要依赖于portaudio这个库。

因此需要从http://portaudio.com/download.html这个网址上下载相应的软件包，然后进行正常的C＋＋编译和安装。

再次运行pip install pyaudio，果然非常顺利就成功了。