首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    实现一个h264编码器前期准备

    H264是新一代的编码标准,以高压缩高质量和支持多种网络的流媒体传输著称,在编码方面,我理解的他的理论依据是:参照一段时间内图像的统计结果表明,在相邻几幅图像画面中,一般有差别的像素只有10%以内的点,亮度差值变化不超过2%,而色度差值的变化只有1%以内。所以对于一段变化不大图像画面,我们可以先编码出一个完整的图像帧A,随后的B帧就不编码全部图像,只写入与A帧的差别,这样B帧的大小就只有完整帧的1/10或更小!B帧之后的C帧如果变化不大,我们可以继续以参考B的方式编码C帧,这样循环下去。这段图像我们称为一个序列(序列就是有相同特点的一段数据),当某个图像与之前的图像变化很大,无法参考前面的帧来生成,那我们就结束上一个序列,开始下一段序列,也就是对这个图像生成一个完整帧A1,随后的图像就参考A1生成,只写入与A1的差别内容。

    04

    ICCV 2023 | AdaNIC:通过动态变换路由实现实用的神经图像压缩

    自动编码器的特定变体,即压缩自动编码器(CAE),已成为神经图像压缩中流行的架构选择。采用CAE学习图像信号的紧凑非线性表示取得了巨大成功,与现有的编解码器相比,产生了相当甚至更优的率失真性能。之前的研究工作已经证明,CAE的规模与图像质量或比特率高度相关。在这种情况下,经过充分研究的信道修剪方法可能适合复杂性缓解的需要。当使用信道修剪方法去除部分信道时,过度的信道修剪可能导致率失真性能严重下降。因此,静态的信道修剪方式可能不适合进一步的率失真复杂度优化。具体结果可见图1,对于三张不同的输入图像,直接将潜在变量的通道数由192裁剪为176。深色圆点代表了原始的率失真表现,浅色圆点代表裁剪后的率失真表现。可以看到,三张图像表现出了不同的下降趋势,但复杂度的降低是一致的。更进一步的,箭头代表不同图像块的率失真表现,可以发现,同一图像的不同图像块也会有不同的率失真下降趋势。因此,这种通道裁剪方法需要更细粒度的划分,而不仅仅是作用在整张图像上。此外,作者希望研究一种动态路由解决方案,以探索率失真和复杂度的联合优化。因为,在运行时使用内容自适应优化能实现最大的系统吞吐量。由于动态路由的作用空间被设计为样本或区域自适应,因此它可以无缝集成到其他可行的解决方案中,以加速神经非线性变换,从而产生静态轻量级模型,并通过联合优化提高其性能。这种动态路由方法在运行时做出编码决策,这类似于现代图像/视频编码标准通常采用的传统RDO过程或快速算法。这种运行时权衡可以带来更大的灵活性,从而通过定制行为实现更好的速率失真或复杂性权衡。

    01

    CVPR2023 | 用于统一的图像恢复和增强的生成扩散先验

    在拍摄、存储、传输和渲染过程中,图像质量往往会降低。图像恢复和增强的目标是逆转这种退化并改善图像质量。通常,恢复和增强任务可以分为两大类:1)线性反演问题,例如图像超分辨率(SR)、去模糊、修补、彩色化等,在这些任务中,退化模型通常是线性的且已知;2)非线性或盲问题,例如低光增强和HDR图像恢复,其中退化模型是非线性的且未知。对于特定的线性退化模型,可以通过对神经网络进行端到端的监督训练来解决图像恢复问题。然而,在现实世界中,受损图像往往存在多个复杂的退化情况,全面监督的方法很难泛化应用。近年来,通过生成模型寻找更通用的图像先验并在无监督设置下处理图像恢复问题引起了广泛的兴趣。在推理过程中,可以处理不同退化模型的多个恢复任务而无需重新训练。例如,经过大量干净图像数据集训练的生成对抗网络(GAN)通过GAN反演,在各种线性反演问题上取得了成功,学习到了真实世界场景的丰富知识。与此同时,去噪扩散概率模型(DDPMs)在GAN的基础上展现了令人印象深刻的生成能力、细节水平和多样性。作为早期尝试,现有的工作——去噪扩散恢复模型(DDRM)使用预训练的DDPMs进行变分推断,并在多个恢复任务上取得了令人满意的结果,但其在已知线性退化矩阵上利用奇异值分解(SVD),因此仍然局限于线性反演问题。本文进一步提出了一种高效的方法,名为生成扩散先验(GDP)。它利用经过良好训练的DDPM作为通用图像恢复和增强的有效先验,并以退化图像作为引导。作为一个统一的框架,GDP不仅适用于各种线性反演问题,还首次推广到非线性和盲目图像恢复和增强任务。GDP采用了一种盲退化估计策略,在去噪过程中随机初始化并优化GDP的退化模型参数。此外,为了进一步提高光真实性和图像质量,本文系统地研究了一种有效的指导扩散模型的方法。另外,借助提出的分层指导和基于分块的生成策略,GDP能够恢复任意分辨率的图像,其中首先预测低分辨率图像和退化模型,以引导高分辨率图像的生成过程。

    01
    领券