ISCAS 2019 视频编码相关论文汇总
前言
2019 IEEE International Symposium onCircuits and Systems (ISCAS 2019)会议将于5月26日至29日在日本北海道举行，其论文已于5月1日在IEEE数据库中开放[1]。本文将关注与视频编码相关的论文进行简要介绍，主要分为“基于学习的视频编码”和“视频编码与优化”两大类。
基于学习的视频编码
1.An In-Loop Filter Based onLow-Complexity CNN using Residuals in Intra Video Coding
作者：
Daowen Li, Lu Yu
论文链接：
https://ieeexplore.ieee.org/document/8702443
简介：近年来，基于神经网络的滤波器已经显示出它们在消除视频压缩伪像方面的潜力，但是大多数网络过于复杂，并且有噪声的重建图像是滤波器的唯一输入。作者认为可以将一些有助于滤波的信息（例如残差信息）和重建图像一起作为神经网络的输入以提升网络的性能，并提出一种基于低复杂度的使用残差的CNN网络（CNNF-R）的环路滤波器。与HEVC相比，在AI（All Intra）配置下BD-rate平均降低4.8%，RA（Random Access）下平均下降2.3%。同时在复杂度、资源占用和BD-rate下降方面，CNNF-R也明显优于经典的VRCNN。
CNNF-R网络结构
2.Asymmetric-Kernel CNN BasedFast CTU Partition for HEVC Intra Coding
作者：
Jun Shi, Changsheng Gao, Zhibo Chen
论文链接：
https://ieeexplore.ieee.org/document/8702494
简介：基于递归RDO实现最优CTU划分导致HEVC较高的编码复杂度。作者提出一种用于HEVC的快速CTU分区算法，其使用非对称内核CNN（AK-CNN）来预测完整的CTU分区和PU分区。如下图中的网络中，三个核分别对应纵向纹理，一般纹理核横向纹理。为了更好地训练网络，作者建立了一个包含高清和低清原始图像的数据集，标签包括二进制分区标签和RD-cost。实验结果表明，与HEVC相比，该方法的编码时间缩短69.8%，而BD-rate上升2.12%。
非对称内核CNN结构
3.CNN-Based Bi-PredictionUtilizing Spatial Information for Video Coding
作者：
Jue Mao, Hualong Yu, Xiaoding Gao, Lu Yu
论文链接：
https://ieeexplore.ieee.org/document/8702552
简介：近年来，以两个参考块为输入的CNN双向预测器在减少视频编码结构化残差方面取得不错的成绩。本文中，作者将当前帧的块和两个参考帧的块及其空间相邻像素作为CNN模型的输入，以进一步减少残差，生成更准确的双向预测器。实验数据显示，在RA配置下，该方案比HEVC平均节省3.46%的BD-rate。
基于CNN的双向预测的框架
CNN模型的架构
4.Neural Network-Based ArithmeticCoding for Inter Prediction Information in HEVC
作者：
Changyue Ma, Dong Liu, Xiulian Peng, Zheng-Jun Zha, FengWu
论文链接：
https://ieeexplore.ieee.org/document/8702499
简介：提出了一种基于神经网络的算术编码方法，重点研究了HEVC low-delay P（LDP）配置下，帧间预测信息的语法元素，包括merge标志，merge索引，参考索引，运动矢量差和运动矢量预测索引。该方法将周围的语法元素值直接馈入神经网络而不转换为重构像素，实现了解码和重建的分离并且便于硬件实现；其次，对于不同的预测块大小，训练统一的神经网络，减少了神经网络模型的数量；最后，将当前预测块内预测信息的所有语法元素与周围块内的语法元素进行一次性预测，省去了当前预测块内语法元素之间的依赖关系，提高了并行性。实验结果表明，与HEVC相比，该方法在LDP配置上实现了平均0.3%的BD-rate降低。
采用的两种基本网络结构
5.Switch Mode Based DeepFractional Interpolation in Video Coding
作者：
Sifeng Xia, Wenhan Yang, Yueyu Hu, Wen-Huang Cheng,Jiaying Liu
论文链接：
https://ieeexplore.ieee.org/document/8702522
简介：作者提出了一种运用于HEVC的基于CNN的四分之一像素插值方法。与GVTCNN不同的是，GVTCNN的所有子像素都是通过推断与左上角整数像素值之间的差异来插值的，而本文提出了一种基于模式选择的深度分数像素插值，其两个模式如下图所示，其中mode1即为GVTCNN中的方案。实验结果表明，相较于HEVC编码，该方案平均可以节省2.8%的码流。
分数像素插值的两种模式
采用的网络结构
视频编码与优化
1.A Linear Model forYUV 4:2:0 Chroma Intra Prediction
作者：
Shanxi Li, Qingguo Zhou, Zhifeng Chen, YuhongLiu, and Nam Ling
论文链接：
https://ieeexplore.ieee.org/document/8702550
简介：YCbCr 4:2:0格式在视频标准中得到广泛应用，这三个分量之间的相互关系可以建模为线性关系，而利用这种关系则可以进行预测。已有的方法存在两个问题：在缺乏训练数据的情况下难以对较小尺寸的块进行参数估计；编码长度较长的预测模式对较小的块产生更多开销。文中提出了两种新的预测模式：线性模型和基于色度样本上采样的多模型线性模型，其使用距离预测块更近的训练样本来估计线性模型。该方法的性能始终优于JEM-7.0， Y、Cb和C,的平均BD-rate分别降低了0.06%、0.31%和0.25%，编码器和解码器复杂度略微增加。
2.TITAN: TileTiming-Aware Balancing Algorithm for Speeding Up the 3D-HEVC Intra Coding
作者：
Mário Saldanha, Gustavo Sanchez, Bruno Zatt,César Marcon, Luciano Agostini
论文链接：
https://ieeexplore.ieee.org/document/8702475
简介：HEVC标准包含tile级并行来实现编码的并行加速。目前基于tiles的HEVC编码复杂度优化都是针对2D视频的。作者提出一种Tile Timing-Aware平衡算法（TITAN）来加速3D-HEVC的帧内编码，其思想是基于先前编码帧的tiles的工作负载来控制当前帧tiles的边界。实验结果表明，与3D-HM相比，该方案有平均6.2%的编码速率提升。
TITAN算法流程图
3.Parallel-to-AxisUniform Cubemap Projection for Omnidirectional Video
作者：
Xuchang Huangfu, Yule Sun, Ruidi Zheng, BinWang, Lu Yu
论文链接：
https://ieeexplore.ieee.org/document/8702432
简介：对全向视频的编码需要先将全向图像投影到二维平面然后再进行压缩编码。但是目前的投影方法存在过度采样、采样不均匀等问题。文中提出了一种新的投影方式，称为平行轴均匀立体图投影（PAU），与等角立体投影（EAC）和调整后的立体投影（ACP）不同，其调整采样点在水平方向和垂直方向的映射位置的方法是不同的。在该方法中，像素在选定的轴上以及与另一个轴平行的所有直线上等角采样。通过这种非对称映射位置调整方法，可以使球面的采样更加均匀。实验表明，与上述方案相比，该方案具有更好的编码性能。与ERP相比，该方案可以实现10.68％的比特率增益。
位置调整后，PAU采样点在PAU面和ERP上的水平和垂直分布
4.VMAF Oriented Perceptual Optimization for Video Coding
作者：
Zhengyi Luo, Yan Huang, Xiangwen Wang, RongXiey, Li Song
论文链接：
https://ieeexplore.ieee.org/document/8702513
简介：虽然视觉质量最可靠的衡量标准是主观评估，但主观评估通常需要繁琐的步骤和较高的成本，所以有效的客观质量评估方法必不可少，其重要应用之一就是视频编码。本文以VMAF为例，提出了一种适用于基于学习的度量的感知编码方法。作者使用SSE局部拟合VMAF指标，并以VMAF为指标进行RDO过程lambda值的调整，优化了编码性能。实验结果表明，BD-rate for VMAF最大下降了7.71%，平均下降3.21%。
局部拟合示意图
参考链接
[1]https://ieeexplore.ieee.org/xpl/mostRecentIssue.jsp?punumber=8682239