2020年，直播带货火爆全网。想一探淘宝直播背后的前端技术？本文将带你进入淘宝直播前端技术的世界。
在Mozilla，我们一直在努力研究新一代AV1视频编解码器。AV1可比HEVC（H.265）和Google VP9提高25％的编码效率，并由AOM开放媒体联盟（ Mozilla & ATEME都是是其一部分）开发。
有的前端视频帧提取主要是基于浪canvas浪+ video一标签的方式，在用户本地选取视频文件后，将本地文件转为 ObjectUrl 后设置到 video 标签的 src 属性中，再通过 canvas 的 drawImage 接口提取出当前时刻的视频帧。
随着音视频业务的快速发展，作为前端工程师，我们团队也逐步深入到音视频编解码领域，涉及到流媒体技术中的文本、图形、图像、音频和视频多种理论知识的学习，并有机会大规模应用到具体实践中。
随着近些年直播技术的不断更新迭代，高画质、低带宽、低成本成为直播行业追求的重要目标之一，在这种背景下，H.264 标准已成为行业主流，而新一代的 HEVC（H.265）标准也正在直播领域被越来越广泛地采用。花椒直播一直在对 HEVC（H.265）进行研究、应用以及不断优化。
Jonathan 首先介绍了视频编解码器产生的整数溢出失真，如下图所示。事实上，很难计算出编解码器中整数需要多大才能避免这个问题。设计的足够大的整数实际上并不够大，当然太大的整数也会造成实现成本上升。
奇舞团是360集团最大的大前端团队，同样也是TC39和W3C会员，拥有Web前端、服务端、Android、iOS、设计、产品、运营等岗位人员，旗下的开源框架和技术品牌有SpriteJS、ThinkJS、MeshJS、Chimee、QiShare、声享、即视、奇字库、众成翻译、奇舞学院、奇舞周刊、泛前端分享等。
蔡砚刚：大家好，我是蔡砚刚，来自深圳市优微视觉科技有限公司，也是一名在音视频领域摸爬滚打多年的老兵。目前主要负责优微视觉的前进方向以及主持公司的日常业务活动。在这里我更期望先介绍一下我们的团队，我们团队核心成员均出自北京大学数字视频编解码技术国家工程实验室：有在北大学习工作十六载并持续优化编解码器的王振宇，有在腾讯工作过的韩冰杰，有在人民银行工作过的李旭峰，我本人曾在阿里、快手等公司工作过。“十年磨一剑，霜刃未曾试。今日把示君，谁有不平事。”经过大家十年间的持续积累与摸索，我们拥有了自己的u264、u265、uavs、uavs+、uavs2、uavs3等编解码器，并且我们的内核也普遍应用到广电与互联网领域。
本文简要介绍了论文“Visible Watermark Removal via Self-calibrated Localization and Background Refinement ”的相关工作。在图像上叠加可见的水印，为解决版权问题提供了一种强大的武器。现代的水印去除方法可以同时进行水印定位和背景恢复，这可以看作是一个多任务学习问题。然而，现有的方法存在水印检测不完整和恢复背景的纹理质量下降的问题。因此，作者设计了一个双阶段多任务网络来解决上述问题。粗度阶段由水印分支和背景分支组成，其中水印分支对粗略估算的掩膜进行自校准，并将校准后的掩膜传递给背景分支，重建水印区域。在细化阶段，作者整合了多层次的特征来提高水印区域的纹理质量。在两个数据集上的大量实验证明了作者所提出的方法的有效性。
最近，越来越多的图像被压缩并发送到后端设备进行机器视觉分析任务（例如目标检测），而不仅仅是供人类观看。然而，大多数传统的或可学习的图像编解码器都是最小化人类视觉系统的失真，而没有考虑到机器视觉系统的需求。在这项工作中，我们提出了一种用于机器视觉任务的图像压缩前处理方法。我们的框架不依赖于可学习的图像编解码器，而是可用于传统的非可微分编解码器，这意味着它与编码标准兼容，并且可以轻松部署在实际应用中。具体而言，我们在编码器之前增加一个神经网络前处理模块，用于保留对下游任务有用的语义信息并抑制无关信息以节省比特率。此外，我们的神经网络前处理模块是量化自适应的，可以在不同的压缩比下使用。更重要的是，为了联合优化前处理模块和下游机器视觉任务，我们在反向传播阶段引入了传统非可微分编解码器的代理网络。我们在几个具有不同骨干网络的代表性下游任务上进行了广泛的实验。实验结果表明，我们的方法通过节省约20%的比特率，在编码比特率和下游机器视觉任务性能之间取得了更好的权衡。
“问渠那得清如许，为有源头活水来”，通过前沿领域知识的学习，从其他研究领域得到启发，对研究问题的本质有更清晰的认识和理解，是自我提高的不竭源泉。为此，我们特别精选论文阅读笔记，开辟“源头活水”专栏，帮助你广泛而深入的阅读科研文献，敬请关注。
Unet是一种被广泛应用于图像分割任务的卷积神经网络结构。它的独特之处在于其编码器-解码器结构和跳跃链接的设计。本文将对Unet进行详细解析，并讨论其在稳定扩散方面的应用。
与翻译模型类似，我们的图像字幕模型通过输入图像张量和特殊的句首标记（即<start>）来启动字幕生成过程。这个模型生成了我们单词的概率分布（实际上是logits）。橙色方框显示解码算法的选择，帮助我们选择使用哪个单词。然后，选择的单词和图像再次传递给模型，直到我们满足停止条件，即我们获得特殊的句子结束标记（即<STOP>）作为下一个单词，或者我们超过了预先定义的步骤数。一个步骤是将图像和单词的张量传递给字幕生成器模型，并使用解码算法选择单词。
一般来说，大多数学习的图像压缩系统主要是为了人类感知设计的。最近，由于针对高级识别任务跨设备传输视觉数据的需求不断增长，用于机器感知的图像编码成为一个活跃的研究领域。如果为用于不同机器感知任务的图像编码设计一个通用的编码器，则很难实现最近的速率-失真权衡。但如果为每一个任务都定制编码器的代价远远超过了可承受范围。
原文：https://mux.com/blog/streaming-video-on-the-internet-without-mpeg/
机器学习中体现着各种工程和科学上的哲学思想，大的有集成学习，没有免费午餐，奥卡姆剃刀；小的有最大化类间差异、最小化类内差异。对于很多问题，存在着一类通行的解决思路，其中的一个典型代表就是“编码器-解码器”结构。这一看似简单的结构，背后蕴含的工程思想却非常值得我们学习和品味。
图像标注（Image Captioning）是产生图像文字描述的过程。使用了自然语言处理和计算机视觉去产生描述。
原标题：Comprehensive Guide to LCEVC (MPEG-5 Part 2) - Low Complexity Enhancement Video Coding
本文介绍了一种名为EfficientSAM的模型，该模型通过利用遮罩图像预训练来提高图像分割的性能。作者使用了一个名为SAMI的方法，通过将SAM图像编码器的特征作为重建目标，从SAM图像编码器中重建特征，从而实现遮罩图像预训练。作者还使用SAMI预训练的轻量级图像编码器构建了EfficientSAM模型，并在SA-1B数据集上进行了验证。实验结果表明，EfficientSAM模型在图像分类、目标检测、实例分割和语义分割等任务中均取得了比其他预训练方法更好的性能。此外，作者还讨论了与遮罩图像预训练相关的方法和应用。
如上图所示，输入的帧或场Fn 以宏块为单位被编码器处理。首先，按帧内或帧间预测编码的方法进行处理。如果采用帧内预测编码，其预测值PRED（图中用P 表示）是由当前片中前面已编码的参考图像经运动补偿（MC）后得出，其中参考图像用F’n-1 表示。为了提高预测精度，从而提高压缩比，实际的参考图像可在过去或未来（指显示次序上）已编码解码重建和滤波的帧中进行选择。预测值PRED 和当前块相减后，产生一个残差块Dn，经块变换、量化后产生一组量化后的变换系数X，再经熵编码，与解码所需的一些边信息（如预测模式量化参数、运动矢量等）一起组成一个压缩后的码流，经NAL（网络自适应层）供传输和存储用。正如上述，为了提供进一步预测用的参考图像，编码器必须有重建图像的功能。因此必须使残差图像经反量化、反变换后得到的Dn’与预测值P 相加，得到uFn’（未经滤波的帧）。为了去除编码解码环路中产生的噪声，为了提高参考帧的图像质量，从而提高压缩图像性能，设置了一个环路滤波器，滤波后的输出Fn’即重建图像可用作参考图像。
ChatGPT Zhang等人彻底改变了NLP领域，标志着生成人工智能（AIGC，又称人工智能生成内容）的突破。使这成为可能的是Brown等人、Radford等人的GPT系列模型，这些模型是Bommasani等人在网络规模的文本数据集上训练的基础模型。
在数字图像处理领域，图像上色 一直是一个重要的课题。传统的图像上色方法通常需要人工干预，耗时且效果有限。
今天给大家介绍清华大学YudongChen等人发表在AAAI上的一篇文章 “MetaDelta:AMeta-LearningSystemforFew-shotImageClassifification” 。现有的元学习算法很少考虑未知数据集的时间和资源效率或泛化能力，这限制了它们在实际场景中的适用性。在这篇文章中，作者提出了一种新的实用的元学习系统MetaDelta，用于小镜头图像分类。MetaDelta由两个核心组件组成：(1)由中央控制器监督的多个meta-learners以确保效率，(2)一个元集成模块负责集成推理和更好的泛化。MetaDelta的每个meta-learner都由一个经过批量训练的预训练编码器和用于预测的无参数解码器组成。
2015年，Segnet模型由Vijay Badrinarayanan, Alex Kendall, Roberto Cipolla发表, 在FCN的语义分割任务基础上，搭建编码器-解码器对称结构，实现端到端的像素级别图像分割。
在本文中，作者证明了masked autoencoders（MAE） 是一种可扩展的计算机视觉自监督学习方法。本文的MAE方法很简单：mask输入图像的随机patch，并重建丢失的像素 。它基于两个核心设计的。
由于人们每天对视频的数量需求巨大且分辨率在不断提高，这使得视频压缩仍然是一个非常热门的话题。现有的流行的视频压缩算法，如 MPEG 和 H.26x 族，都是通过计算像素块的运动来估计这些块在附近帧中的外观。除了估计位移外，还存储量重建误差的近似值。
U-Net是一个基于卷积神经网络（CNN）的端到端图像分割模型，其主要特点是其对称的编码器-解码器结构。编码器负责提取图像特征，而解码器则重建并生成分割后的图像。
扩散模型中的一个关键组件是用于噪声预测的UNet。虽然一些工作已经探索了UNet解码器的基本属性，但其编码器在很大程度上仍未被探索。
像神经网络这样的数据驱动算法已席卷全球。他们最近的激增是由于硬件变得更加便宜也更加强大，同时也不缺乏大量的数据的支持。神经网络目前发展到“图像识别”，“自然语言理解”等认知任务，当然也仅限于此类任务。在这篇文章中，我将讨论一种使用神经网络压缩图像的方法，以更快的速度实现图像压缩的最新技术。 本文基于“基于卷积神经网络的端到端压缩框架”（https://arxiv.org/pdf/1708.00838v1.pdf）。 你需要对神经网络有一些熟悉，包括卷积和损失函数。 什么是图像压缩 图像压缩是转换图像使其
近年来，基于学习的图像编码已经显示出很好的效果。在我们的工作中，我们将只考虑单一图像的超分。与视频超分不同，视频可以利用后续帧之间的关联性来获得额外的性能和质量。
视觉语言预训练 (VLP) 提高了许多视觉语言任务的性能。但是，大多数现有的预训练模型仅在基于理解的任务或基于生成的任务中表现出色。此外，通过使用从web收集的嘈杂的图像-文本对来扩展数据集，在很大程度上实现了性能改进，但这是监督的次优来源。
深度神经网络采用空间金字塔池化模块或编解码器结构进行语义分割。前者通过多速率、多有效视场的过滤或池化操作，能够编码多尺度背景信息;后者通过逐步恢复空间信息，能够捕获更清晰的物体边界。在本研究中，我们建议结合这两种方法的优点。具体来说，我们提出的模型DeepLabv3+扩展了DeepLabv3，通过添加一个简单但有效的解码器模块来细化分割结果，特别是沿着对象边界。我们进一步探索了Xception模型，并将深度可分离卷积应用于Atrous空间金字塔池和解码器模块，从而获得更快、更强的编码器-解码器网络。我们在PASCAL VOC 2012和Cityscapes数据集上验证了该模型的有效性，在没有任何后处理的情况下，测试集的性能分别达到了89.0%和82.1%。
论文地址：https://arxiv.org/pdf/2306.14289.pdf
11 月 12 日，一篇由 Facebook AI 研究院完成、何恺明一作的论文《Masked Autoencoders Are Scalable Vision Learners》成为了计算机视觉圈的热门话题。
论文「Masked Autoencoders Are Scalable Vision Learners」证明了 masked autoencoders（MAE） 是一种可扩展的计算机视觉自监督学习方法。
变分自动编码器(VAE)是一种有方向的图形生成模型，已经取得了很好的效果，是目前生成模型的最先进方法之一。它假设数据是由一些随机过程,涉及一个未被注意的连续随机变量z假设生成的z是先验分布Pθ(z)和条件生成数据分布Pθ(X | z),其中X表示这些数据。z有时被称为数据X的隐藏表示。
点击上方蓝字，发现更多精彩 什么是AVIF AVIF是一种基于AV1视频编码的新图像格式，相对于JPEG，WEBP这类图片格式来说，它的压缩率更高，并且画面细节更好。而最关键的是，它是免费且开源的，没有任何授权费用。 The AV1 format is and will always be royalty-free with a permissive FOSS license. 同时，它是由开放媒体联盟推动的一个标准，这个联盟包括了谷歌，微软，苹果等巨头，可以说是未来可期。 截止到目前(2021/3)
论文地址：https://arxiv.org/pdf/2005.12872.pdf
量化通过将连续值映射到用于熵编码的有限离散值集来离散图像特征以压缩图像。虽然目前基于神经网络的图像压缩采用的量化方法解决了训练测试不匹配的问题，但量化对潜在特征的随机影响仍未解决。量化将连续值统一映射到单个离散值，根据特征可变性引入不同程度的噪声。例如，从
题目：Think Twice before Driving: Towards Scalable Decoders for End-to-End Autonomous Driving
在这项工作中，我们首先观察到DPMs通常难以学习图像中物体部分之间的关联关系，导致训练过程缓慢。为了解决这个问题，提出了一种有效的掩码扩散变换器（Masked Diffusion Transformer，MDT），以提高DPMs的训练效率。MDT引入了一个蒙面潜在建模方案，专门为基于Transformer的DPMs设计，以明确增强上下文学习能力并改进图像语义之间的关联关系学习。MDT在潜在空间中进行扩散过程以节省计算成本。它对某些图像标记进行掩码，并设计了一个不对称的掩码扩散变换器（AMDT），以一种扩散生成的方式预测被掩码的标记。MDT可以从其上下文不完整的输入中重建图像的完整信息，学习图像语义之间的关联关系。
现在很多数学专业的硕博发论文，都感觉超级难。所以，有一个路子可以走，那就是发计算机方向的。
dll自己百度下载 hi_h264dec.dll hi_h264dec_w.dll
在人工智能和深度学习的迅猛发展下，图像生成技术已经取得了令人瞩目的进展。特别是，Stable Diffusion模型以其文本到图像的生成能力吸引了广泛关注。本文将深入探讨Stable Diffusion中一个关键技术——U-Net架构的应用，揭示它如何在生成细节丰富且与文本描述紧密相连的图像中发挥核心作用。
今日分享论文『Panoptic SegFormer』全景分割第一名！由南大&港大&NVIDIA 联合提出 Panoptic SegFormer，霸榜全景分割。
论文下载：https://yuxiangsun.github.io/pub/RAL2019_rtfnet.pdf
AI 科技评论按：2017 年 7 月，美国二手汽车零售平台 Carvana 在知名机器学习竞赛平台 kaggle 上发布了名为 Carvana 图像掩模大挑战赛（Carvana Image Mask
从本节开始，我们介绍一种人工智能实现无缝变脸的网络名为可变自动编解码器，英文名称:variational autoencoder。在前面章节中我们曾介绍过，很多事物看起来似乎很复杂，但只要抓住其关键变量，那就等同于抓住事物的本质，例如一个圆柱体，它的关键变量就是底部圆的半径，和高度，掌握了这两个变量的信息，我们可以轻易的将圆柱构造出来。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
