音视频技术开发周刊 85期

架构

开源声码器WORLD在语音合成中的应用

语音合成(TTS)是语音AI平台的基础设施,而声码器则决定着其中的声学模型以及合成质量。喜马拉雅FM音视频高级工程师 马力在LiveVideoStack线上交流分享中详细介绍了新一代合成音质更高,速度更快的开源免费WORLD声码器的原理架构,并结合Tacotron模型,演示中文语音合成的应用。本文由LiveVideoStack整理而成。

高孟平:深度学习是视频技术与人眼视觉连结的重要桥梁

LiveVideoStack通过邮件专访了腾讯音视频实验室专家高孟平,他聊起了自己的成长与从业经历,并畅谈了带领AI、视频处理、编解码、质量等团队打造人眼视觉为标准的视频服务平台——丽影平台的前前后后。

WebRTC-Android 探索 - 创建音视频通话程序的基本姿势

若要在 Android 上实现一个 WebRTC 通话应用,需要通过 采集 - 渲染本地预览画面 - 创建连接 - 信令交换相关信息 - 渲染远端画面 这五步的工作。WebRTC 中为开发者做了一系列的封装,减轻了开发者开发一个通话应用的压力。本篇文章将通过介绍这五步的实现简单介绍一下基本的使用姿势。

传输网络

B站QUIC实践之路

QUIC协议快速建立连接、拥塞控制灵活、多路复用等特性为网络传输带来了不少收益,也更好的提升了用户的体验。哔哩哔哩高级工程师 王盛在LiveVideoStack线上交流分享中介绍了B站在QIUC研发与部署中的实践经验,LiveVideoStack对分享内容进行了整理。

HTTP/3的前世今生

在去年年底进行的IETF 103会议中,QUIC 工作组会议上大家对“HTTP over QUIC”更名为“HTTP/3”达成了共识。一直以来,由于命名的混乱,人们对不同版本的QUIC,以及其与HTTP各版本之间的关系存在疑问。本文通过梳理各个标准发布的时间线,帮助读者理解HTTP/3的前世今生,以及其改名背后的动机。本文译自来自Cloudflare的Lucas Pardue写的博客“HTTP/3: From root to tip”。

音频/视频技术

WebRTC QOS方法六(花屏问题解决方法)

做过视频会议都清楚,当网络出现丢包异常后,经常会导致视频出现长时间花屏问题。严重降低用户体验。测试WebRTC发现,视频无论在什么环境,都没有出现花屏现象。若出现丢包,通过掉帧方式解决该问题。最坏的情况就是视频出现卡顿,但是也不会出现花屏。

视频质量评价——从裁判到教练

视频质量评价(VQA)是视频服务系统中的重要技术要素,贯穿成像、编辑、处理、编/转/解码、渲染、显示等整个视频技术链条。上海交通大学教授宋利在LiveVideoStackCon 2018大会上对VQA的工业标准,服务流程管理技术等相关内容进行了详细的介绍。LiveVideStack对演讲内容进行了整理。

Android音视频开发入门(四)

本篇的任务目标是使用Camera API进行视频的采集,分别用SurfaceView和TextureView预览Camera数据,并获取到NV21数据回调。

爱奇艺短视频质量评估模型

短视频信息流产品是目前最炙手可热的互联网产品,完全占领了用户的碎片时间,据艾瑞统计2018年短视频产品月独立设备数有6亿+台。爱奇艺也有自己的视频信息流产品矩阵,如爱奇艺热点、小视频、爱奇艺PPS、 纳逗、姜饼等。每天有大量新的UGC视频被生产出来,短视频质量变得参差不齐,批量化的准确识别视频质量有助于提升用户体验,优化推荐算法对于高质量视频的露出

编解码

构建轻量级H.264 WebRTC堆栈

|pipe|联合创始人/CTO Tim Panton希望构建一个轻量级的H.264 WebRTC堆栈。本文展示了Tim一步步努力实现视频播放的过程,以及从中取得的收获。LiveVideoStack对文章进行了翻译。

iOS直播(四)对视频进行压缩编码

不经过压缩编码的原视频,所占空间大,不便于保存和网络传输,所以视频录制完后,需要先编码,再传输,解码后再播放。

Android多媒体框架(1)——MediaCodec.java源代码分析

MediaCodec勇于访问底层的编解码器,是Android底层多媒体支持框架的一部分。它可以操作三种数据:压缩后的,原始的音频数据,以及原始的视频数据。MediaCodec以异步的方式处理数据,会用到一组输入和输出缓冲区,后文会详细介绍。MediaCodec有内部类BufferInfo来描述缓冲区。

AI智能

图像超分辨率进ASC19超算大赛,PyTorch+GAN受关注

图像超分辨率(Super-Resolution,简称SR)技术是近几十年来广受关注的一项视觉计算技术,其目标是将低分辨率图像恢复或重建为高分辨率图像。来自全球200余所高校的300多支大学生队伍,将在长达两个月的初赛阶段,尝试挑战一项当前热门的人工智能技术——单张图像超分辨率(Single Image Super-Resolution,简称SISR)赛题。

SAE:基于仿真的自动驾驶汽车关键场景识别

关键场景(Critical Scenario)识别对自动驾驶测试具有重大意义。过往的关键场景识别主要是考虑安全因素。而本文则综合考虑了安全影响和交通质量影响。除了安全指标,定义了四个覆盖宏观与微观的交通质量指标,并对这些指标进行了归一化和权重分配,在此基础上应用仿真工具链进行分析。

超详综述:GAN在图像生成上的应用

GAN 在图像生成上取得了巨大的成功,这无疑取决于 GAN 在博弈下不断提高建模能力,最终实现以假乱真的图像生成。本文围绕 An Introduction to Image Synthesis with Generative Adversarial Nets 一文对 GAN 在图像生成应用做个综述。

去噪、去水印、超分辨率,这款不用学习的神经网络无所不能

不同的神经网络可以实现给图像去噪、去水印、消除马赛克等等功能,但我们能否让一个模型完成上述所有事?事实证明 AI 确实有这样的能力。来自 Skoltech、Yandex 和牛津大学的学者们提出了一种可以满足所有大胆想法的神经网络。

图像

一种基于SGNN和IHS的图像融合新方法

针对图像的融合,本文提出了一种基于SGNN(自生成神经网络)和IHS变换的模糊图像融合方法。新方法首先对图像作IHS变换,得到亮度I、色度H、饱和度S三个分量;然后,利用SGNN模糊聚类方法融合图像的亮度分量,并用融合后的图像替代原图像的亮度分量;最后,作IHS反变换得到新的图像。通过试验结果和数据显示,可以看到新方法在性能方面有优越性,优于简单的IHS变换和SGNN图像融合方法。

DxOMark自拍评测之景深,自动对焦和美颜

2019年1月22日,DxOMark Image Labs宣布推出DxOMark Selfie新评测体系,用以评测智能手机前置摄像头的图像质量。与此同时,领先的图像质量评测网站dxomark.com 也发布了首批DxOMark Selfie评分。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20190212A0C01200?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券