腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

媒矿工厂

专栏作者

881

文章

1034312

阅读量

235

订阅数

RTC @scale 2024 | RTC 下基于机器学习的带宽估计和拥塞控制

模型网络机器学习 rtc scale

演讲者在进行介绍基于机器学习的带宽预测和拥塞控制方法之前，先介绍了当前 webRTC 中应用的基于 Google 拥塞控制机制的带宽预测方法（GCC）。

2024-04-12

940

IBC 2023 | 通过机器学习改善广播观众体验

模型数据网络机器学习路由

保持低的广播网络延迟对于维持沉浸式观看体验至关重要，特别是在要求互联网或广播中心提供高质量媒体广播时。而目前存在的问题是重量级广播媒体流需要高传输数据速率与长时间寿命，其对资源与网络的占用会与传输短数据流产生冲突，导致交换机缓冲区过载或网络拥塞，从而出现丢包和由于重传超时导致的延迟（TCP-RTOs）。在广播中心中，媒体流通常属于大象流（elephant flows，EF）分类，短数据流被分类为老鼠流（mice flows，MF）。EF的快速性和提前检测功能使得SDN控制器可以对其重新规划路由并减少它们对广播 IP 网络内的 MF 的影响。这减少了数据包丢失，使得TCP-RTO不会被触发，从而可以保持较低的延迟并有良好的观看体验。

2024-03-20

980

CVPR 2022 | StyleSDF: 高分辨率三维一致图像和几何生成

渲染编程算法机器学习神经网络深度学习

StyleGAN 架构展示了高质量 RGB 图像生成，但是它们仅针对生成单个 RGB 视图，而不是 3D 内容。本文提出的 StyleSDF 是一种生成 3D 一致的高分辨率（1024 × 1024） RGB 图像和几何图形的方法。相关的 3D 生成模型通过基于坐标的多层感知器(MLP)实现形状和外观的合成，然而这些工作往往需要 3D 或多视图数据进行监督，这些数据很难收集，并且由于它们依赖于昂贵的体积场采样，现有算法大多仅限于低分辨率的渲染输出。

2023-02-03

1.1K0

视频压缩足够好了吗？

机器学习神经网络深度学习人工智能

来源：Video Insiders 主讲人：Ramzi Khsib 内容整理：杨晓璇 AWS Elemental 的首席软件工程师 Ramzi Khsib 分享了他对视频编解码的现状和未来前景的看法，讨论了 AVC、HEVC、VVC 和 AV1 的市场采用情况，内容自适应编码，硬件与软件的实现，以及如何利用机器学习工具提高现有编解码器的压缩效率。目录前言传统编解码的现状和未来码率控制——QVBR 机器学习在视频压缩中的应用总结前言 Video Insider 是一个有关视频的专业节目，两位主持人

2022-11-07

7140

VoxGRAF：基于稀疏体素的快速三维感知图像合成

渲染机器学习神经网络深度学习人工智能

对场景进行高分辨率的高保真渲染是计算机视觉和图形学领域的一个长期目标。实现这一目标的主要范式是精心设计一个场景的三维模型，再加上相应的光照模型，使用逼真的相机模型渲染输出高保真图像。生成对抗网络（GAN）已经成为一类强大的可以实现高保真高分辨率图像合成的生成模型。这种二维模型的好处之一是他们可以使用便于获得的大量图像进行训练。然而，将 GAN 扩展到三维则相对困难，因为用于监督的三维真实模型难以获得。近期，3D-aware GAN 解决了人工制作的三维模型以及缺乏三维约束的用于图像合成的 2D GAN 之间的不匹配问题。3D-aware GAN 由三维生成器、可微分渲染以及对抗训练组成，从而对新视角图像合成过程中的相机位姿以及潜在的场景的对象形状、外观等其他场景性质进行显式控制。GRAF 采用了 NeRF 中基于坐标的场景表示方法，提出了一种使用基于坐标的 MLP 和体渲染的 3D-aware GAN，将基于 3D 感知的图像合成推进到更高的图像分辨率，同时基于物理真实且无参数的渲染，保持了场景的三维一致性。然而在三维场景进行密集采样会产生巨大的消耗，同时三维的内容经常与观察视角纠缠在一起，而进行下游应用时，场景的三维表征往往需要集成到物理引擎中，因此难以直接获得场景三维内容的高分辨率表征。许多近期的方法通过将 MLP 移出场景表征从而加速了新视角合成的训练速度，通过优化稀疏体素证明了 NeRF能够获得高保真图像的原因不是由于其使用了 MLP ，而是由于体渲染和基于梯度的优化模式。

2022-11-07

1.1K0

低复杂度多模型 CNN 环路滤波 for AVS3

机器学习深度学习人工智能神经网络卷积神经网络

卷积神经网络（CNN）在许多图像/视频处理任务中取得了不错的性能表现。而AVS3作为国内自研的新一代视频编码标准，我们将 CNN 应用于 AVS3 视频编码标准，提出了一个低复杂度多模型 CNN 环路过滤方案。首先通过多个轻量级网络模型对比，选择简化的 ResNet 作为整体方案的基础单模型。然后在这基础上，提出了多模型迭代训练框架，实现多模型滤波器方案。并针对不同的比特率范围对网络深度与多模型数量进行了优化，以实现网络模型性能和计算复杂度之间的权衡。实验结果表明：所提出的方法在 All intra 配置条件下，在 Y 分量上实现平均 6.06% 的 BD-rate 节省。与其他编码性能相当的 CNN 环路滤波器相比，我们所提出的多模型环路滤波方案可以显著降低解码器的复杂性，实验结果表明，解码时间平均可以节省 26.6%。

2022-05-25

1.1K0

使用贝叶斯优化改进流媒体服务体验

机器学习神经网络深度学习人工智能腾讯云测试服务

在日常体验流媒体服务时，我们总是希望视频质量高，且无卡顿与缓冲。但是快速且稳定的网络并不是时时刻刻都有的——有时手机远离信号塔并失去信号，有时网络产生拥塞，有时由于睡眠模式导致天线需要重新连接，还有的时候，后台的任务可能会与流媒体竞争资源，这些因素都会导致流媒体服务质量的下降。

2022-04-12

4890

用 Livepeer 在区块链上进行实时视频转码

开源云直播机器学习云点播神经网络

P2P 时代（90 年代）遗存下来的 BitTorrent 现在仍占据了 15-20% 的互联网流量。回过头去看看，人们真正创造 BitTorrent 的目的是想在互联网上从点对点的角度分享信息，在某些情况下比集中式系统性能更好。区块链是一种新的类型的去中心化系统，但实际上人们在去中心化的基础上又增加了许多其他有趣的功能。

2022-02-18

1.1K0

大话实时视频编码中的人工智能（下）

图像处理 processing 硬件开发神经网络机器学习

上述大多数文献都报告了显著的改进，它们与开源参考软件相比，有令人印象深刻的速度提升。但我们都知道，这些参考代码库远未优化，其速度以“每帧秒数”而非“每秒帧数”表示。要证明相对于这些代码库的速度提升是很容易的，但如果与经过专家调优、用汇编指令集优化并在高帧率和分辨率下实时运行的优化编码器相比，就会变得非常困难。

2022-02-18

5590

大话实时视频编码中的人工智能（上）

图像处理 processing linux 神经网络机器学习

在过去的十年中，已经出现了数千篇主张 AI 和 ML 有益处的文章。其中一些是现实的，而另一些则夸大了 ML 技术在大量应用中可能带来的好处。那么真正的好处在哪里，市场营销部门在哪里越过界线，变成了无稽之谈？在诸如实时（视频）处理或编码等严格条件下的应用呢？考虑到计算开销、延迟和成本限制后，能保留了多少净收益？

2022-02-18

7940

用神经网络重新审视 VVC 的 SAO 环路滤器

神经网络机器学习深度学习人工智能 node.js

Philippe 首先介绍道，在最近的视频编解码器中，环路后处理滤波已经成为一种至关重要的组件。它可以减少压缩伪影，并减少与原始样本的失真。AVC 首先引入了去块滤波器，之后 HEVC 额外引入了 Sample Adaptive Offset 后处理滤波器，以减少振铃效应和颜色偏差。最近发布的 VVC 标准设计了一种自适应的环路滤波器，使用基于维那滤波器的自适应滤波系数，来最小化重建像素和原始像素之间的 MSE。

2022-02-18

7380

高保真人脸交换和重演（FG2021）

人脸融合 node.js 机器学习神经网络深度学习

原标题：Dense 3D Coordinate Code Prior Guidance for High-Fidelity Face Swapping and Face Reenactment

2021-12-27

1.2K0

基于 CNN 模型选择的 VVC 质量增强

机器学习神经网络深度学习人工智能

Fatemeh 首先介绍道，即便是 VVC， AV1/AV2 或 EVC 等下一代编码器使用了更为先进和复杂的编码工具，被编码的视频也无可避免地会产生模糊、块效应、振铃效应等明显可见的压缩伪影，尤其是在低码率编码的情况下。在编码器普遍采用的基于块的混合编码框架中，在块的边界部分产生的不连续性导致了块效应失真。另一种失真来源是量化损失，在低码率下使用粗糙量化和较大的量化步长时，残差信号的变换系数就产生了量化损失，这会引入振铃效应、平滑边缘或者模糊的失真。

2021-12-22

1.1K0

Compira Labs 重振视频流和云游戏的服务质量

机器学习神经网络深度学习人工智能云游戏

对于许多人来说，糟糕的体验质量 (QoE) 在视频流方面是一个十分常见的问题和挑战，包括视频延迟高、质量低下、反复重新缓冲等，这些在视频电话会议和云游戏中也十分普遍。

2021-12-02

6510

在基于学习的图像编解码器压缩域实现超分

文件存储机器学习神经网络深度学习人工智能

近年来，基于学习的图像编码已经显示出很好的效果。在我们的工作中，我们将只考虑单一图像的超分。与视频超分不同，视频可以利用后续帧之间的关联性来获得额外的性能和质量。

2021-12-02

1.6K1

基于 CNN 的视频压缩预处理研究

机器学习神经网络深度学习人工智能视频处理

有损压缩通过变换和量化技术证明了其在视频压缩中的效率的同时，也表明其会带来量化错误问题。为了补偿这一误差，许多研究者开发了滤波技术，比如去块滤波、样本自适应偏移以及基于维纳的滤波。更进一步的，最近的编码标准将滤波技术应用于环内也取得了图像质量实质上的提高。目前，大部分的滤波技术集中在环路内，作为预处理的滤波还没有被广泛用于有损视频压缩，尤其是最近的视频编码标准 HEVC 和 VVC 中。少部分研究者根据视频压缩标准，基于传统的信号处理技术来进行预处理以提高视频质量，这样做复杂度低但是效率有限。

2021-11-23

1.7K0

针对 UGC 视频编码优化的基于机器学习的编码系数调整

编程算法线性回归机器学习神经网络

本次演讲主题为针对 UGC 视频编码优化的基于机器学习的编码系数调整，主讲人从五个部分分别介绍了所提出的方法，最后提供了在Facebook视频序列上的测试结果，展示了这种方法在不同的编码器上均能够带来码率的节省。

2021-11-23

7680

回归VMAF分数的视频质量评价模块

机器学习深度学习人工智能神经网络卷积神经网络

VMAF是目前比较好用的质量评价模型。但是在图像/视频压缩，视频增强等领域，可能需要一定的质量评价模块作为损失函数指导网络的训练。VMAF作为不可微的质量评价模型，无法直接作为损失函数，在这样的前提下，Darren等人提出使用神经网络去模拟VMAF的分数，使得该质量评价模块可以直接应用于其他网络的训练过程当中。

2021-10-22

1.4K0

英伟达研究亮点和启发

深度学习机器学习神经网络人工智能编程算法

Bill 首先简单介绍了他所在研究实验室。这里松散地分为供给方和需求方，供应方试图开发技术直接为产品组提供更好的 GPU 和更好的电路。另一方面设计方法的架构，以降低使用成本。接着介绍了 NVIDIA 实验室在不同阶段完成的三个最新的研究成果。

2021-09-17

8110

基于决策树的 VVC 快速算法

决策树机器学习神经网络深度学习人工智能

Versatile Video Coding (VVC) 是目前最优的视频编码标准，它具有很高的编码效率，同时也带来了很高的复杂度。为了解决这一问题，Kulupana 等人提出了一种基于机器学习（ML）的 VVC 帧间编码快速算法。

2021-09-17

1.3K0

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态