第一个被广泛接受的视频压缩标准MPEG-2于1996年被采纳，随后数字卫星电视得到了快速发展。下一个标准是MPEG-4 part 10（H.264/AVC），它提供了两倍的视频数据压缩率。它于2003年被采纳，导致了DVB-T/ C systems、互联网电视的发展以及各种视频共享和视频通信服务的出现。从2010年到2013年，联合视频编码联合协作小组（JCT-VC）积极致力于创建下一个视频压缩标准，开发者称之为高效视频编码（HEVC）；它实现了数字视频数据压缩率的两倍增长。这一标准于2013年获得批准。同年，由谷歌开发的VP9标准被采纳，据称在视频数据压缩率上不逊于HEVC。
本文来自THEO的行业研讨会，演讲者是THEO的CTO和创始人Pieter-Jan Speelmans。本文的主题是苹果最新推出的LL-HLS。
原文 https://bitmovin.com/compression-standards-vvc-2020/
封装就是把编码器生成的音频,视频同步以生成我们肉眼可见,耳朵可听并且看到的与听到的是同步的视频文件.即封装后生成一个容器,来存放音频和视频流以及一些其他信息(比如字幕, metadata等).
3D-HEVC编码结构是对HEVC的扩展，每个视点纹理及深度图编码主要采用HEVC编码框架，但在其基础上增加了一些新的编码技术，使其更有利于深度图和多视点的编码。
https://miro.medium.com/max/1200/1*s9raSe9mLeSSuxE3API-ZA.gif
前面使用检测网络预测的边界框来裁剪图像，并将它们的大小调整为512×512。裁剪后的图像路径被输入到分割网络以获得Instance Mask。
概述 概念：RTMP协议从属于应用层，被设计用来在适合的传输协议（如TCP）上复用和打包多媒体传输流（如音频、视频和互动内容）。RTMP提供了一套全双工的可靠的多路复用消息服务，类似于TCP协议[RFC0793]，用来在一对结点之间并行传输带时间戳的音频流，视频流，数据流。通常情况下，不同类型的消息会被分配不同的优先级，当网络传输能力受限时，优先级用来控制消息在网络底层的排队顺序。 RTMP块流 实时消息传递协议块流(RTMP块流)。RTMP块流作为一款高级多媒体流协议提供了流的多路复用和打包服务。RTMP
视频是由一帧帧图像组成，视频为了不卡顿，一秒钟至少要16帧画面，但是图片内容太大，传输不现实。因此需要对他们编码。
基于人工智能和深度学习方法的现代计算机视觉技术在过去10年里取得了显著进展。如今，它被用于图像分类、人脸识别、图像中物体的识别、视频分析和分类以及机器人和自动驾驶车辆的图像处理等应用上。
最近，有很多朋友提出，肾脏分割模型在实际使用时会出现很多错误分割，很多大腿区域被错误分割出是肾脏区域。今天我将分享如何设计肾脏粗分割方法去除错误分割区域，使用的模型VNet方法跟肾脏分割是类似的。
HEVC（high efficient advanced code）（即H.265），是继AVC（advanced video code）（H.264）以后的新一代视频编码技术。2013标准已经发布，目前已经开始商用。
这就是阿里达摩院提出的图像分析新方法：“频域学习”（Learning in the Frequency Domain）。
本文创作：腾讯视频智能弹幕团队 弹（dàn）幕：21世纪互联网颠覆性发明之一。各类网络视频中从右到左横向飘过的评论性语句即为弹幕。不受时间约束，可随意在屏幕上与网友隔空喊话。 新时代有点儿社恐的青年，要怎么解决倾诉欲？——弹幕。弹幕更改了新青年们看电视的方式，“前方高能”+“弹幕护体”是新一代的刷屏暗号。 举个栗子：当你的爱豆唱出“明知这是一场意外你要不要来”的时候，用弹幕回答就是这样的： 弹幕作为用户与视频，用户与用户之间沟通的桥梁，是一个非常有趣并且有意义的存在。 然而弹幕对于视频内容的遮
RTMP协议是Real Time Message Protocol(实时信息传输协议)的缩写，它是由Adobe公司提出的一种应用层的协议，用来解决多媒体数据传输流的多路复用（Multiplexing）和分包（packetizing）的问题。
H.264编码将一帧数据分成多个块，其中每个块可以单独进行编码。编码的过程包括预测、变换和量化等步骤。
音视频的发展正在向各个行业不断扩展，从教育的远程授课，交通的人脸识别，医疗的远程就医等等，音视频方向已经占据一个相当重要的位置，而音视频真正入门的文章又少之甚少，一个刚毕业小白可能很难切入理解,因为音视频中涉及大量理论知识,而代码的书写需要结合这些理论,所以搞懂音视频,编解码等理论知识至关重要.本人也是从实习开始接触音视频项目,看过很多人的文章，在这里总结一个通俗易懂的文章，让更多准备学习音视频的同学更快入门。
一种新的浏览器内 ML 解决方案，用于模糊和替换 Google Meet 中的背景。效果出色毫无 PS 痕迹，且在低端设备上实现了实时性能和低功耗。
2022 年，Vision Transformers（ViT） 已经成为了卷积神经网络 （CNN） 的最具有竞争力替代品。虽然卷积神经网络目前在计算机视觉中处于领先地位，被广泛用于不同的图像识别任务。但是ViT 模型在计算效率和准确性方面比当前的 SOTA算法（CNN） 高出了近 4 倍。
视频的一场或一帧可用来产生一个编码图像。通常，视频帧可分成两种类型：连续或隔行视频帧。在电视中，为减少大面积闪烁现象，把一帧分成两个隔行的场。显然，这时场内邻行之间的空间相关性较强，而帧内邻近行空间相关性强，因此活动量较小或静止的图像宜采用帧编码方式，对活动量较大的运动图像则宜采用场编码方式。
机器之心报道 机器之心编辑部 视频分割效果优于所有现有方法，这篇入选CVPR 2022的论文是用Transformer解决CV任务的又一典范。 基于注意力的深度神经网络（DNN）在NLP和CV等不同领域的各种任务上都表现出了卓越的性能。这些进展使得此类网络（如 Transformer）成为解决多模态问题的有力候选。特别是近一两年，Transformer 模型已经开始在CV任务上大展手脚，从目标识别到检测，效果优于通用的CNN视觉骨干网络。 参考视频对象分割（referring video object se
（本文基本逻辑：RTMP 协议的数据传输流程和协议设计思想 → 消息概念具体细节 → 块概念具体细节）
VVC 作为最新的有损视频编码标准，一直受到视频编码界的关注。与其前身相比，该标准的压缩效率有了显著提高，然而，VVC 的增益是以显著的编码复杂度为代价：VVC 继承了早期标准中基于块的混合编码结构。在 VVC 中，输入视频帧被分成称为编码树单元 (CTU) 的块。CTU 由不同级别的编码单元 (CU) 组成，这些编码单元共享相同的预测风格(即帧内或帧间)。CU 分区过程是通过计算和比较所有分区的 RD 成本来实现的，这是一项非常耗时的任务。
（本文基本逻辑：视频编码的理论基础是什么 → H.264 视频编码的基本概念、编码工具、编码流程及码流结构 → H.265 的编码工具及改进 → H.266 的编码工具及改进）
这次带队参加了ICCV2021的UVO(Unidentified Video Objects) Challenge，本次比赛共有两个赛道，分别为基于图片的开放世界实例分割和基于视频的开放世界实例分割。我们运气不错，拿下了本次比赛两个赛道的冠军。以下为本次比赛介绍和我们的方法简介。
目标分割是计算机视觉领域的一个重要任务，旨在从图像或视频中准确地分割出特定的目标或对象。与目标检测关注物体位置和边界框不同，目标分割要求精确地识别并标记目标的每个像素，实现对目标的像素级别理解。
文 / Google研究院软件工程师，Tingbo Hou & Tyler Mullen
一.H.264基本流结构 H.264 的基本流（elementary stream,ES）的结构分为两层，包括视频编码层（VCL）和网络适配层（NAL）。视频编码层负责高效的视频内容表示，而网络适配层负责以网络所要求的恰当的方式对数据进行打包和传送。引入NAL并使之与VCL分离带来的好处包括两方面：1、使信号处理和网络传输分离，VCL 和NAL 可以在不同的处理平台上实现；2、VCL 和NAL 分离设计，使得在不同的网络环境内，网关不需要因为网络环境不同而对VCL比特流进行重构和重编码。 ☆VCL（Vide
译者 | 王柯凝 【 AI 科技大本营导读】目前，计算机视觉是深度学习领域最热门的研究领域之一。计算机视觉实际上是一个跨领域的交叉学科，包括计算机科学（图形、算法、理论、系统、体系结构），数学（信息检索、机器学习），工程学（机器人、语音、自然语言处理、图像处理），物理学（光学 ），生物学（神经科学）和心理学（认知科学）等等。许多科学家认为，计算机视觉为人工智能的发展开拓了道路。 那么什么是计算机视觉呢？ 这里给出了几个比较严谨的定义： ✦ “对图像中的客观对象构建明确而有意义的描述”（Ballard＆B
目前，计算机视觉是深度学习领域最热门的研究领域之一。计算机视觉实际上是一个跨领域的交叉学科，包括计算机科学（图形、算法、理论、系统、体系结构），数学（信息检索、机器学习），工程学（机器人、语音、自然语言处理、图像处理），物理学（光学 ），生物学（神经科学）和心理学（认知科学）等等。许多科学家认为，计算机视觉为人工智能的发展开拓了道路。
本文为Adobe rtmp规范1.0的中文介绍，其中内容大部分都是翻译自rtmp官方文档rtmp_specification_1.0.pdf
下面要介绍的论文由北航、旷视、鹏城实验室发于2019年12月，题为「Real-Time Semantic Segmentation via Multiply Spatial Fusion Network」。
这些已有的工作仅针对有限的视觉数据，并且生成的视频时间短、分辨率及长宽比固定。本工作验证了在原有的大小上训练模型有优势：
从作者给出的 demo 可以看到，他们的方法效果非常惊艳，即使视频中的人疯狂甩头发也没有影响合成效果：
A.采用的两种编码标准： 1. VP9： VP9是一款由Google开发的免费开源的视频编解码器，与最优的H.264编码器相比具有将近50%的性能增益。VP9在Web浏览器和移动设备具有广泛的支持（支持Android设备，大多数浏览器以及越来越多的消费类电子设备）。VP9编解码器早已用于YouTube，而且最近被Netflix用于编码低比特率的移动视频流。近期，Ittiam与Google，Netflix合作解决vp9开源实现libvpx的一些关键问题。这些改进将为更大的视频流社区带来显著
绿幕是影视剧中抠图、换背景的利器，但如果不在绿幕前拍摄，我们还能完美地转换背景吗？华盛顿大学的研究者最近就上传了这样一份论文，不在绿幕前拍摄也能完美转换视频背景，让整个世界都变成你的绿幕。
H.264，又称为 MPEG-4 第10部分，高级视频编码（英语：MPEG-4 Part 10, Advanced Video Coding，缩写为 MPEG-4 AVC）是一种面向块的基于运动补偿的视频编码标准 。
与 HTTP(超文本传输协议)同样是一个基于 TCP 的 Real Time Messaging Protocol（实时消息传输协议）。由 Adobe Systems 公司为 Flash 播放器和服务器之间音频、视频和数据传输开发的一种开放协议 。在国内被广泛的应用于直播 领域。HTTP 默认端口为 80，RTMP 则为 1935。 我们通过阅读 Adobe 的协议规范，通过与服务器建立 TCP 通信，根据协议格式生成与解析数据即可使用 RTMP 进行 直播。当然我们也可以借助一些实现了 RTMP 协议的开源库来完成这一过程。
1.背景 目前网络中图片仍然是占用流量较大的一部分，对于移动端更是如此，因此，如何在保证图片视觉不失真前提下缩小体积，对于节省带宽和电池电量十分重要。 然而目前对于JPEG、PNG、GIF等常用图片格式的优化已几乎达到极致，因此Google于2010年提出了一种新的图片压缩格式 — WebP，给图片的优化提供了新的可能。 WebP为网络图片提供了无损和有损压缩能力，同时在有损条件下支持透明通道。据官方实验显示：无损WebP相比PNG减少26%大小；有损WebP在相同的SSIM（Structural Simi
INR（Implicit Neural Representation，隐式神经表示） 通常学习坐标到值的映射以支持原始信号的隐式重建。当使用 INR 编码视频时，可以通过对各个输入视频执行模型压缩来实现视频压缩。与其他方法相比，INR 方法表现出相对较高的解码速度，但未能提供与视频压缩领域的最新技术相当的速率质量性能。这主要是由于所采用的网络架构的简单性，限制了它们的表示能力。现有的一些 INR 方法使用的卷积层或子像素卷积层在参数效率上存在问题，而基于傅立叶的位置编码在训练时间上较长且只能达到次优的重建质量。
H264是新一代的编码标准，以高压缩高质量和支持多种网络的流媒体传输著称，在编码方面，我理解的他的理论依据是：参照一段时间内图像的统计结果表明，在相邻几幅图像画面中，一般有差别的像素只有10%以内的点,亮度差值变化不超过2%，而色度差值的变化只有1%以内。所以对于一段变化不大图像画面，我们可以先编码出一个完整的图像帧A，随后的B帧就不编码全部图像，只写入与A帧的差别，这样B帧的大小就只有完整帧的1/10或更小！B帧之后的C帧如果变化不大，我们可以继续以参考B的方式编码C帧，这样循环下去。这段图像我们称为一个序列（序列就是有相同特点的一段数据），当某个图像与之前的图像变化很大，无法参考前面的帧来生成，那我们就结束上一个序列，开始下一段序列，也就是对这个图像生成一个完整帧A1，随后的图像就参考A1生成，只写入与A1的差别内容。
[paper]DeepLab2: A TensorFlow Library for Deep Labeling [code]DeepLab2: A TensorFLow Library for Deep Labeling DeepLab2 是一个用于深度标注的 TensorFlow 库，旨在为密集像素标注任务提供统一的、最先进的 TensorFlow 代码库，包括但不限于语义分割、实例分割、全景分割、深度估计，甚至 视频全景分割。
编译 | 阿司匹林 AI科技大本营按：近日，FAIR 团队的吴育昕和何恺明提出了组归一化（Group Normalization，简称 GN）的方法。其中，GN 将信号通道分成一个个组别，并在每个组别内计算归一化的均值和方差，以进行归一化处理。此外，GN 的计算与批量大小无关，而且在批次大小大幅变化时，精度依然稳定。实验结果证明，GN 在多个任务中的表现均优于基于 BN 的同类算法，这表明 GN 能够在一系列任务中有效地替代 BN。 以下内容来自 Group Normalization 论文，AI科技大
小物体（即32×32像素以下的物体）的物体检测精度落后于大物体。为了解决这个问题，我们设计了创新的体系结构，并发布了新的数据集。尽管如此，许多数据集中的小目标数量不足以进行训练。生成对抗性网络（GAN）的出现为训练体系结构开辟了一种新的数据增强可能性，而无需为小目标注释巨大数据集这一昂贵的任务。 在本文中，我们提出了一种用于小目标检测的数据增强的完整流程，该流程将基于GAN的目标生成器与目标分割、图像修复和图像混合技术相结合，以实现高质量的合成数据。我们的流水线的主要组件是DS-GAN，这是一种基于GAN的新型架构，可以从较大的对象生成逼真的小对象。实验结果表明，我们的整体数据增强方法将最先进模型的性能提高了11.9%AP@。在UAVDT上5 s和4.7%AP@。iSAID上的5s，无论是对于小目标子集还是对于训练实例数量有限的场景。
我们在前文《视频编码（1）》中探讨了 H.264 视频编码的基本概念、编码工具、编码流程及码流结构等基础知识，接下来我们来继续探讨在 H.264 基础上迭代而生的 H.265 有哪些改进，看看它是如何在同样的画面质量下将编码码率降下来的。本文内容包括如下章节：
分片上传，就是将所要上传的文件，按照一定的大小，将整个文件分隔成多个数据块（Part）来进行分片上传
翻 译 | 天字一号（郑州大学）、李美丽（华南师范大学）、had_in（电子科技大学）、nengdaiper（北京科技大学）
当我们的文件特别大的时候，上传是不是需要很长的时间啊，这么长时间的长连接，如果网络波动了呢？中间网络断开了呢？在这么长时间的过程中如果出现不稳定的情况，本次上传的所有内容就全部失败了，又要重新上传。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
