腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

媒矿工厂

专栏作者

887

文章

1046297

阅读量

236

订阅数

IBC 2023 | 最新人工智能/深度学习模型趋势在超分辨率视频增强中的技术概述

深度学习人工智能模型视频网络

超分辨率（SR）方法指的是从低分辨率输入生成高分辨率图像或视频的过程。这些技术几十年来一直是研究的重要课题，早期的 SR 方法依赖于空间插值技术。虽然这些方法简单且有效，但上转换图像的质量受到其无法生成高频细节的能力的限制。随着时间的推移，引入了更复杂的方法，包括统计、基于预测、基于块或基于边缘的方法。然而，最显著的进步是由新兴的深度学习技术，特别是卷积神经网络（CNNs）带来的。尽管卷积神经网络（CNNs）自 20 世纪 80 年代以来就存在，但直到 20 世纪 90 年代中期，由于缺乏适合训练和运行大型网络的硬件，它们才开始在研究社区中获得广泛关注。

2024-03-20

2130

MPEG 标准化路线图

人工智能编码视频系统压缩

MPEG 从 1990 年起，已经创建了大量多媒体标准，包括MP3、AVC、HEVC、VVC等等。

2023-11-07

1210

通往人工智能的感知运动之路

人工智能机器人模型数据系统

可以说智力始于大约5.5亿年前的寒武纪，当时有了第一只可以移动的多细胞生物。移动给它带来了优势，因为它可以在不同的地方找到食物。但如果你想在不同的地方移动和寻找食物，你需要感知，你需要知道去哪里，这意味着你需要有某种视觉系统或感知系统。就像Gibson所说的：“We see in order to move and we move in order to see.”

2023-09-09

1470

视频压缩足够好了吗？

机器学习神经网络深度学习人工智能

来源：Video Insiders 主讲人：Ramzi Khsib 内容整理：杨晓璇 AWS Elemental 的首席软件工程师 Ramzi Khsib 分享了他对视频编解码的现状和未来前景的看法，讨论了 AVC、HEVC、VVC 和 AV1 的市场采用情况，内容自适应编码，硬件与软件的实现，以及如何利用机器学习工具提高现有编解码器的压缩效率。目录前言传统编解码的现状和未来码率控制——QVBR 机器学习在视频压缩中的应用总结前言 Video Insider 是一个有关视频的专业节目，两位主持人

2022-11-07

7190

VoxGRAF：基于稀疏体素的快速三维感知图像合成

渲染机器学习神经网络深度学习人工智能

对场景进行高分辨率的高保真渲染是计算机视觉和图形学领域的一个长期目标。实现这一目标的主要范式是精心设计一个场景的三维模型，再加上相应的光照模型，使用逼真的相机模型渲染输出高保真图像。生成对抗网络（GAN）已经成为一类强大的可以实现高保真高分辨率图像合成的生成模型。这种二维模型的好处之一是他们可以使用便于获得的大量图像进行训练。然而，将 GAN 扩展到三维则相对困难，因为用于监督的三维真实模型难以获得。近期，3D-aware GAN 解决了人工制作的三维模型以及缺乏三维约束的用于图像合成的 2D GAN 之间的不匹配问题。3D-aware GAN 由三维生成器、可微分渲染以及对抗训练组成，从而对新视角图像合成过程中的相机位姿以及潜在的场景的对象形状、外观等其他场景性质进行显式控制。GRAF 采用了 NeRF 中基于坐标的场景表示方法，提出了一种使用基于坐标的 MLP 和体渲染的 3D-aware GAN，将基于 3D 感知的图像合成推进到更高的图像分辨率，同时基于物理真实且无参数的渲染，保持了场景的三维一致性。然而在三维场景进行密集采样会产生巨大的消耗，同时三维的内容经常与观察视角纠缠在一起，而进行下游应用时，场景的三维表征往往需要集成到物理引擎中，因此难以直接获得场景三维内容的高分辨率表征。许多近期的方法通过将 MLP 移出场景表征从而加速了新视角合成的训练速度，通过优化稀疏体素证明了 NeRF能够获得高保真图像的原因不是由于其使用了 MLP ，而是由于体渲染和基于梯度的优化模式。

2022-11-07

1.1K0

低复杂度多模型 CNN 环路滤波 for AVS3

机器学习深度学习人工智能神经网络卷积神经网络

卷积神经网络（CNN）在许多图像/视频处理任务中取得了不错的性能表现。而AVS3作为国内自研的新一代视频编码标准，我们将 CNN 应用于 AVS3 视频编码标准，提出了一个低复杂度多模型 CNN 环路过滤方案。首先通过多个轻量级网络模型对比，选择简化的 ResNet 作为整体方案的基础单模型。然后在这基础上，提出了多模型迭代训练框架，实现多模型滤波器方案。并针对不同的比特率范围对网络深度与多模型数量进行了优化，以实现网络模型性能和计算复杂度之间的权衡。实验结果表明：所提出的方法在 All intra 配置条件下，在 Y 分量上实现平均 6.06% 的 BD-rate 节省。与其他编码性能相当的 CNN 环路滤波器相比，我们所提出的多模型环路滤波方案可以显著降低解码器的复杂性，实验结果表明，解码时间平均可以节省 26.6%。

2022-05-25

1.1K0

使用贝叶斯优化改进流媒体服务体验

机器学习神经网络深度学习人工智能腾讯云测试服务

在日常体验流媒体服务时，我们总是希望视频质量高，且无卡顿与缓冲。但是快速且稳定的网络并不是时时刻刻都有的——有时手机远离信号塔并失去信号，有时网络产生拥塞，有时由于睡眠模式导致天线需要重新连接，还有的时候，后台的任务可能会与流媒体竞争资源，这些因素都会导致流媒体服务质量的下降。

2022-04-12

4920

用神经网络重新审视 VVC 的 SAO 环路滤器

神经网络机器学习深度学习人工智能 node.js

Philippe 首先介绍道，在最近的视频编解码器中，环路后处理滤波已经成为一种至关重要的组件。它可以减少压缩伪影，并减少与原始样本的失真。AVC 首先引入了去块滤波器，之后 HEVC 额外引入了 Sample Adaptive Offset 后处理滤波器，以减少振铃效应和颜色偏差。最近发布的 VVC 标准设计了一种自适应的环路滤波器，使用基于维那滤波器的自适应滤波系数，来最小化重建像素和原始像素之间的 MSE。

2022-02-18

7510

从 RTC 走向元宇宙

游戏虚拟化神经网络深度学习人工智能

元宇宙无疑是是当下产业和技术的热词，成为近期全球科技领域炙手可热的新概念。上海交通大学 Medialab 的宋利老师最近就这一热点话题，做过多次访谈或技术报告，包括上海人民广播电台长三角之声《思创空间》、上海科技报《科技会客厅》、数字电视与无线多媒体通信国际论坛(IFTC2021) 、视频体验联盟(VEA)、以及百视通、华为等企业。最近受邀在 RTSConf 2021(12 月 26 日，线上)做了“从 RTC 到元宇宙”的分享。

2021-12-31

1.2K0

基于 CNN 模型选择的 VVC 质量增强

机器学习神经网络深度学习人工智能

Fatemeh 首先介绍道，即便是 VVC， AV1/AV2 或 EVC 等下一代编码器使用了更为先进和复杂的编码工具，被编码的视频也无可避免地会产生模糊、块效应、振铃效应等明显可见的压缩伪影，尤其是在低码率编码的情况下。在编码器普遍采用的基于块的混合编码框架中，在块的边界部分产生的不连续性导致了块效应失真。另一种失真来源是量化损失，在低码率下使用粗糙量化和较大的量化步长时，残差信号的变换系数就产生了量化损失，这会引入振铃效应、平滑边缘或者模糊的失真。

2021-12-22

1.1K0

Compira Labs 重振视频流和云游戏的服务质量

机器学习神经网络深度学习人工智能云游戏

对于许多人来说，糟糕的体验质量 (QoE) 在视频流方面是一个十分常见的问题和挑战，包括视频延迟高、质量低下、反复重新缓冲等，这些在视频电话会议和云游戏中也十分普遍。

2021-12-02

6540

在基于学习的图像编解码器压缩域实现超分

文件存储机器学习神经网络深度学习人工智能

近年来，基于学习的图像编码已经显示出很好的效果。在我们的工作中，我们将只考虑单一图像的超分。与视频超分不同，视频可以利用后续帧之间的关联性来获得额外的性能和质量。

2021-12-02

1.6K1

基于 CNN 的视频压缩预处理研究

机器学习神经网络深度学习人工智能视频处理

有损压缩通过变换和量化技术证明了其在视频压缩中的效率的同时，也表明其会带来量化错误问题。为了补偿这一误差，许多研究者开发了滤波技术，比如去块滤波、样本自适应偏移以及基于维纳的滤波。更进一步的，最近的编码标准将滤波技术应用于环内也取得了图像质量实质上的提高。目前，大部分的滤波技术集中在环路内，作为预处理的滤波还没有被广泛用于有损视频压缩，尤其是最近的视频编码标准 HEVC 和 VVC 中。少部分研究者根据视频压缩标准，基于传统的信号处理技术来进行预处理以提高视频质量，这样做复杂度低但是效率有限。

2021-11-23

1.7K0

回归VMAF分数的视频质量评价模块

机器学习深度学习人工智能神经网络卷积神经网络

VMAF是目前比较好用的质量评价模型。但是在图像/视频压缩，视频增强等领域，可能需要一定的质量评价模块作为损失函数指导网络的训练。VMAF作为不可微的质量评价模型，无法直接作为损失函数，在这样的前提下，Darren等人提出使用神经网络去模拟VMAF的分数，使得该质量评价模块可以直接应用于其他网络的训练过程当中。

2021-10-22

1.4K0

英伟达研究亮点和启发

深度学习机器学习神经网络人工智能编程算法

Bill 首先简单介绍了他所在研究实验室。这里松散地分为供给方和需求方，供应方试图开发技术直接为产品组提供更好的 GPU 和更好的电路。另一方面设计方法的架构，以降低使用成本。接着介绍了 NVIDIA 实验室在不同阶段完成的三个最新的研究成果。

2021-09-17

8160

基于决策树的 VVC 快速算法

决策树机器学习神经网络深度学习人工智能

Versatile Video Coding (VVC) 是目前最优的视频编码标准，它具有很高的编码效率，同时也带来了很高的复杂度。为了解决这一问题，Kulupana 等人提出了一种基于机器学习（ML）的 VVC 帧间编码快速算法。

2021-09-17

1.3K0

人工智能的下一个十年：迈向强大人工智能的四个步骤

神经网络人工智能深度学习大数据机器人

本文来自NVIDIA GTC21的一次技术分享视频，演讲者是Gary Marcus，他是Robust.AI的创建者和CEO，演讲的主题是“The Next Decade in AI: Four Steps Toward Robust Artificial Intelligence”，即“人工智能的下一个十年：迈向强大人工智能的四个步骤”。

2021-07-29

4620

面向VMAF的HEVC感知率失真优化

机器学习神经网络深度学习人工智能

论文标题：HEVC VMAF-oriented Perceptual Rate Distortion Optimization using CNN

2021-07-29

6830

基于SVM的VVC帧内快速CU划分算法

图像处理机器学习神经网络深度学习人工智能

论文标题：SVM Based Fast CU Partitioning Algorithm for VVC Intra Coding

2021-07-06

1.5K0

facebook如何编码视频

图像处理机器学习神经网络深度学习人工智能

原作者：Taein Kim, Ploy Temiyasathit, Haixiong Wang

2021-04-14

7350

点击加载更多

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态