移动平台上的视频主观质量评价

本文是来自MHV(Mile High Video)2019的演讲，演讲者来自于Twitter公司的Sebastiaan Van Leuven。本次演讲主要讲述如何评价移动端上播放视频的用户体验。

Sebastiaan首先介绍了对视频测试平均意见分数（Mean Opinion Score）的方法及其优缺点。第一种方法是绝对类别评级（Absolute Category Rating）:向受试者随即展示一段视频，受试者直接在1到5的区间内打分，然后一直重复。这种办法最简单，易于操作，但测试结果不精确，非线性，在不同的测试组中结果不一致，而且测试往往需要大量的受试者。另一种方法是双刺激MOS（Double Stimulus MOS）：随机选择一段视频，向受试者分别展示原视频和损伤视频，受试者直接在1到5的区间内打分，一直重复直至测试完成。这种方法结果一致性高于MOS，但测试结果同样不精确，非线性，且需要大量打分者。

接下来Sebastiaan介绍了参照标度的设计（Referenced Scale Design），其目的是设计一个线性单调递增的感知质量标度。他们对视频集在不同分辨率和码率下进行编码，然后创建PSNR曲线的凸包，然后选取50个对数间隔的分数点，然后以这些点中间位置对应的码率和分辨率重新对视频进行编码，得到最初参考视频集。受试者对最初参考集中的视频成对打分，使用梯度下降推断相对感知质量，从感知质量轴中选择50个线性间隔的样本，在中间位置对新样本进行编码，以改善参考视频集。

最后，Sebastiaan介绍了自适应成对比较（Adaptive Paired Comparison）。当我们有了质量呈线性分布的参照视频后，便可将其作为对照对某一视频进行打分。首先随机选取一个视频，用粒子滤波算法从参照视频中选择一个，向受试者展示两个视频并询问哪个视频看起来更好，然后更新主观质量的概率分布。在对所有样本打分后得到测试视频相比于所有参考视频的优劣情况，对以上数据进行逻辑回归，具有50％概率的交点对应的参考视频等级即为观察到的质量水平。

附上演讲视频：

演讲PPT全文