iOS/Android 客户端开发同学如果想要开始学习音视频开发，最丝滑的方式是对音视频基础概念知识有一定了解后，再借助 iOS/Android 平台的音视频能力上手去实践音视频的采集 → 编码 → 封装 → 解封装 → 解码 → 渲染过程，并借助音视频工具来分析和理解对应的音视频数据。
图片通常是移动端应用流量耗费最多的部分，并且占据着重要的视觉空间。以大家最常用的即时通讯IM应用为例，应用中存在大量的图片数据往来（比如图片消息、用户相册、用户头像等等）。合理的图片格式选用和优化不仅能减小图片传递过程中的数据量、提升视觉效果，还能显著降低服务端的带宽、计算资源等基础设施成本，一举多得。
原标题：The Streaming Codec Landscape in 2021
1.1 什么是protocol buffer ProtocolBuffer是用于结构化数据串行化的灵活、高效、自动的方法，有如XML，不过它更小、更快、也更简单。你可以定义自己的数据结构，然后使用代码生成器生成的代码来读写这个数据结构。你甚至可以在无需重新部署程序的情况下更新数据结构。 1.2 他们如何工作 你首先需要在一个 .proto 文件中定义你需要做串行化的数据结构信息。每个ProtocolBuffer信息是一小段逻辑记录，包含一系列的键值对。这里有个非常简单的 .proto 文件定义了个人
音视频处理在现代多媒体应用中起着重要的作用。C++是一种强大且广泛使用的编程语言，提供了许多用于处理音频和视频数据的库和工具。本文将介绍C++中常用的音频和视频编码解码技术，以及相关的库和工具。
如果说移动时代的前身是什么，我想一个可能的答案就是网络时代。网络的兴起，让所有设备相连成为了可能，也催生了电商、社交、搜索等多个领域的商业巨头。而移动时代，则是网络时代的必然延伸，它代表着更便捷、更广阔、更深入的连接。
转载: http://msching.github.io/blog/2014/07/07/audio-in-ios/
原文链接：https://www.red5pro.com/blog/6-points-of-comparison-for-vp9-or-h265/
先来了解一下视频在互联网上传输需要经历哪些环节。它必须先使用麦克风和摄像机捕捉音频与视频。然后，原始数据必须压缩（编码）到编解码器中，通过互联网连接（使用传输协议）广播，发送到某种服务器端解决方案（server-side solution）（通常是CDN或一个基于云的集群（cloud-based cluster），如Red5 Pro），然后解压（解码），最终供用户观看视频。
了解Apple如何为WWDC18构建精选演示，并获得使用ARKit，SceneKit和Swift制作自己的多人游戏的技巧。
原文 http://www.streamingmedia.com/Articles/Editorial/Featured-Articles/At-the-Battle-of-the-Codecs-Answers-on-AV1-HEVC-and-VP9-128213.aspx
在之前的系列文章中，我们提到了netty中的channel只接受ByteBuf类型的对象，如果不是ByteBuf对象的话，需要用编码和解码器对其进行转换，今天来聊一下netty自定义的编码和解码器实现中需要注意的问题。
4K分辨率即4096×2160的像素分辨率，它是2K投影机和高清电视分辨率的4倍，属于超高清分辨率。在此分辨率下，观众将可以看清画面中的每一个细节，每一个特写。影院如果采用惊人的4096×2160像素，无论在影院的哪个位置，观众都可以清楚的看到画面的每一个细节，影片色彩鲜艳、文字清晰锐丽，再配合超真实音效，这种感觉真的是一种难以言传的享受。
如今的手持设备足够强大，可以在本地运行神经网络，而不需要云服务器的连接，这在您外出时是一个很大的便利。不过，在您的手机或平板电脑上部署和运行一个自定义的神经网络并不简单，而且这个过程取决于机器的操作系统。在这篇文章中，我将专注于iOS设备，并指导您完成所有必要的步骤，使用Wolfram语言训练一个自定义的图像分类器神经网络模型，通过ONNX（12.2版中的新功能）导出，将其转换为Core ML（苹果的机器学习框架，用于iOS应用程序），最后将其部署到您的iPhone或iPad。
FFmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。它包括了目前领先的音/视频编码库libavcodec。 FFmpeg是在 Linux 下开发出来的，但它可以在包括 Windows在内的大多数操作系统中编译。这个项目是由 Fabrice Bellard 发起的，现在由 Michael Niedermayer 主持。可以轻易地实现多种视频格式之间的相互转换，例如可以将摄录下的视频avi等转成现在视频网站所采用的flv格式。 FFmpeg是一个开源免费跨平台的视频和音频流方案，属于自由软件，采用LGPL或GPL许可证（依据你选择的组件）。它提供了录制、转换以及流化音视 频的完整解决方案。它包含了非常先进的音频/视频编解码库libavcodec，为了保证高可移植性和编解码质量，libavcodec里很多codec 都是从头开发的。
http://www.streamingmedia.com/Articles/Editorial/Featured-Articles/Return-of-the-Codec-Wars-A-New-Hope-a-Streaming-Summer-Sequel-126339.aspx
直播回放：https://www.livevideostack.cn/video/online-piasy/
我们知道数据在netty中传输是以ByteBuf的形式进行的,可以说ByteBuf是netty的数据传输基础。但是对于现代的应用程序来说，通常我们需要用到其他的数据结构或者类型。
本文来自 BitRipple 的演讲，由CEO Michael Luby 带来，主题为LT码的设计与分析。
From：http://yate.null.ro/pmwiki/index.php?n=Main.CppTutorial3 Yate的编解码模块不处理任何消息，而是通过API方式调用。其他模块通常两者
是什么因素使一个程序成为Cocoa程序呢？不是编程语言，因为在Cocoa开发中你可以使用各种语言；也不是开发工具，你可以在命令行上就可以创建Cocoa程序。Cocoa程序可以这么说，它是由一些对象组成，而这些对象的类最后都是继承于它们的根类 ：NSObject。而且它们都是基于Objective-C运行环境的。
HEVC和AV1之间正在进行一场编解码器之间的竞赛，最近的事件让它们变得更佳有料可看。如今HEVC编解码器已经超过20亿移动设备支持，这包括三星Galaxy手机和苹果的Safari浏览器，Apple TV，Mac和iOS设备的支持。 这让HEVC可以在近50％的智能手机上播放。尽管很多设备广泛得到技术上支持，可HEVC还是没有普遍部署，最主要限制是许可授权问题。然而HEVC Advance最近放弃了流媒体费用新消息，这对编码器厂商来说是很棒的进步。streamingmedia最近一项调查根据苹果公司的支持HEVC部署场景来看，发现24%的运营商已经部署了HEVC，那么到2018年底这个数字预计会增长到64%。
iOS/Android 客户端开发同学如果想要开始学习音视频开发，最丝滑的方式是对音视频基础概念知识有一定了解后，再借助本地平台的音视频能力上手去实践音视频的采集 → 编码 → 封装 → 解封装 → 解码 → 渲染过程，并借助音视频工具来分析和理解对应的音视频数据。
原文：https://mux.com/blog/streaming-video-on-the-internet-without-mpeg/
本文主题：编码和解码，或者说是数据从一种特定协议的格式到另一种的转换。这些任务通常由编解码器组件处理 Netty 提供了多种组件，简化了为支持广泛协议而创建自定义编解码器的过程。 若你正在构建一个基于 Netty 的邮件服务器，那就会发现 Netty 对于编解码器的支持对于实现 POP3、IMAP 和 SMTP 协议来说是多么宝贵！
📷 『音视频技术开发周刊』由LiveVideoStack团队出品，专注在音视频技术领域，纵览相关技术领域的干货和新闻投稿，每周一期。 架构 FFmpeg Maintainer赵军：FFmpeg关键组件与硬件加速 本文来自FFmpeg Maintainer赵军在LiveVideoStackCon 2018热身分享，并由LiveVideoStack整理而成。在分享中，赵军介绍了FFmpeg的历史、关键组件，并介绍了英特尔平台上的多种FFmpeg硬件加速方式。 WebRTC点对点通讯架构设计 虽然几乎所有人都
许多编程任务涉及通过网络连接发送数据，将数据保存到磁盘或将数据提交到API和服务。 这些任务通常要求在传输数据时将数据编码和解码为中间格式。
图片是现代化 APP 界面设计里应用广泛的东西，精美的图片可以带来视觉上的享受，提高用户体验。由此给技术上带来了一些挑战，比如动图的处理、图片显示流畅程度的优化、图片包大小的优化、超大图片的处理等。
前言 随着互联网的发展以及智能终端的普及，视频已成为用户获取信息、休闲娱乐的重要媒体渠道。原始视频的信息数据量往往很大，对网络传输及本地存储都带来了很大的挑战，可以通过视频编解码器对原始视频进行压缩和解压处理，达到快速的传输和存储的效果。 目前广泛应用的H.264视频编码标准于2003年发布，并在之后的十年内得到了极大的普及，随后，H.265视频编码标准也于2013年首推，但它的普及却是困难重重，主要原因是专利收费主体不明及标准太高。直到现在，市面上仍有很多视频类应用采用H.264来进行压缩，可以说，
在Java中，字符流是用于处理文本数据的输入和输出的一种机制。它们以字符为单位进行操作，而不是字节。 Java提供了两个主要的字符流类：Reader和Writer。
选自Medium 机器之心编译 参与：路雪、黄小天 如今，正在兴起一项有关手机应用和深度学习的新动向。 2017 年 4 月：谷歌发布 MobileNets，一个可在计算资源有限的环境中使用的轻量级
两兄弟 N.Coder 和 D.Coder 经营着一家艺术画廊。一周末，他们举办了一场特别奇怪的展览，因为它只有一面墙，没有实体艺术品。当他们收到一幅新画时，N.Coder 在墙上选择一个点作为标记来代表这幅画，然后扔掉原来的艺术品。当顾客要求观看这幅画时，D.Coder 尝试仅使用墙上相关标记的坐标来重新创作这件艺术品。
网络传输的单位是字节，如何将应用程序的数据转换为字节，以及将字节转换为应用程序的数据，就要说到到我们该篇介绍的编码器和解码器。
路遥工具箱是一款基于C# WPF开发的开源工具箱软件，旨在解决开发过程中常见的功能性需求，并将其自动化。目前已经拥有十数项实用功能，让你的开发工作事半功倍！
整理自：IOS 整体框架类图值得收藏 一 整体框架 在iOS开发过程中，对iOS整体框架的了解和学习是必不可少的一个环节，今天我们就好好来了解一下iOS的整体框架。首先贴一个关于iOS的框架介绍：iOS系统框架概述。我们通常称呼iOS的框架为Cocoa Touch框架，Cocoa Touch是一个框架的集合，里面包含了众多的子框架。每一个子框架都是一个目录，包含了共享资源库，用于访问该资源库中储存的代码的头文件，以及图像、声音文件等其他资源，共享资源库定义应用程序可以调用的函数和方法。框架中的类相互
前言 总结的一些音视频相关的知识，文末总结有传送门。 概念 协议层（Protocol Layer）：该层处理的数据为符合特定流媒体协议规范的数据，例如http，rtmp，file等； 封装层（Format Layer）：该层处理的数据为符合特定封装格式规范的数据，例如mkv，mp4，flv，mpegts，avi等； 编码层（Codec Layer）：该层处理的数据为符合特定编码标准规范的数据，例如h264，h265，mpeg2，mpeg4等； 像素层（Pixel Layer）：该层处理的数据为符合特定
就像很多标准的架构模式都被各种专用框架所支持一样，常见的数据处理模式往往也是目标实现的很好的候选对象，它可以节省开发人员大量的时间和精力。 当然这也适应于本文的主题:编码和解码，或者数据从一种特定协议的格式到另一种格式的转 换。这些任务将由通常称为编解码器的组件来处理 Netty 提供了多种组件，简化了为了支持广泛 的协议而创建自定义的编解码器的过程 例如，如果你正在构建一个基于 Netty 的邮件服务器，那 么你将会发现 Netty 对于编解码器的支持对于实现 POP3、IMAP 和 SMTP 协议来说是多么的宝贵
今天讲一下目前移动领域很常用的技术——二维码。现在大街小巷、各大网站都有二维码的踪迹，不管是IOS、Android、WP都有相关支持的软件。之前我就想了解二维码是如何工作，最近因为工作需要使用相关技术，所以做了初步了解。今天主要是讲解如何使用ZXing库，生成和识别二维码。这篇文章实用性为主，理论性不会讲解太多，有兴趣可以自己查看源码。
主流的Seq-Seq的模型通常采用RNN或者是CNN，一般在网络结构中都会用到encoder和decoder, 效果比较好的模型会通过attention(注意力机制)连接encoder和decoder。但是这种网络结构也存在一些问题：
随着用户对高质量视频的需求不断增加，视频内容不断向超高清、高码率的方向发展，面对不断增长的成本，新一代视频编码技术的落地应用对平台变得尤为重要。作为老少咸宜的音乐娱乐社交平台，全民K歌APP中视频化内容在平台占比逐年增加，巨大的带宽成本同样给K歌团队带来了不小的压力。
作者：一点一滴的Beer 个人主页:http://www.cnblogs.com/beer
实现视频编码和解码的高效算法是一个复杂而庞大的领域，并且涉及到很多细节和技术。在Java中，我们可以利用一些库和工具来帮助我们实现视频编码和解码的功能。下面将介绍一些基本的概念和方法，以及一些常用的库和工具，以帮助您开始实现视频编码和解码的高效算法。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
