备案控制台
学习
实践
活动
专区
工具
TVP
文章/答案/技术大牛
写文章

音视频技术基础（一）--音视频技术概念基础

最近开始学习TRTC实时音视频技术，我会记录并分享我的一些学习心得和体会，欢迎各位大佬来一起交流指正。 在开始正式学习TRTC之前，还是需要先了解一下音视频技术，这样可以方便以后的学习。 音视频技术介绍 什么是音视频技术？音视频技术其实就是音频技术和视频技术的一个统称，在技术处理上，其实音频和视频是要分开处理的。 音视频同步的算法如下图所示： image.png 流媒体协议 通常音视频数据体积比较大，所以在网络传输过程中都是连续不断的多媒体流量，在网络中传输音视频数据的技术叫流媒体技术，传输使用的协议就是流媒体协议 总结 以上是我整合了一些其他大佬的资料和一些自己的理解写出的知识点，音视频技术涵盖的内容其实比较广泛的，我这里也仅仅是列出了一些基础的概念，后续的TRTC学习之旅，有机会的话，我们继续探讨一些其他的知识 第一次写文章，有技术上或是文字上的错误，欢迎各位大佬来指正。 修正和补充 2020-06-17 补充了GOP对画质的影响；

3.4K133

音视频技术图谱

PS: FFmpeg是一个涉及所有音视频处理的环节，放哪也不合适，所以就在图中间了 采集 音视频的采集，主要的硬件设备集中在摄像头和麦克风。摄像头用来采集图像数据，本质就是图片。 传输 说到传输，指的是通过网络传输音视频数据，我们把网络想象成现实世界中的公路，音视频的传输比作寄快递。那么，这个过程主要两个子过程，一个是对快递的打包，一个是选择哪一家快递。 播放器的功能，主要就是要将解码后的音视频数据的呈现。比较知名的播放器有，vlc，mplayer。 ? 后期的处理 （1）存储 对于音视频文件后期的处理，笔者将其分为两大类，一类是音视频文件的存储。 （2）处理 关于处理，一般是指根据音视频文件提取信息，如人脸识别，如边缘检测等技术，比较有知名度的就算OpenCV了。除此之外，还有针对视频的游戏额处理，比如加字幕，加个滤镜等等功能。 也许可能真的如此吧，但是随着5G技术的不断成熟和落地，未来视频在空间上的扩展依然有很大的想象空间。VR/MR/AR在未来一定也是大有所为的空间和战场。

1.1K32
  • 广告
    关闭

    1元体验视频云点播

    11.11云上盛惠，云点播流量包首购0.01元起，新老同享点播流量包0.08元/GB起，更有点播存储包/点播转码包/点播审核时长包/闲时流量包等7.4折起础版 使用权+1年视频播放 License 使用权

    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    音视频技术(6)-iOS音视频同步

    音视频同步播放流程 网上绝大多数代码都是参照ffplay来实现的，下面按照接入流程一步步讲解如何实现iOS平台上音视频同步 iOS接入ffmpeg和SDL可以参考前面的文章，本文不做赘述。 打开流并解析音视频帧 注意几点 1.新版本ffmpeg里，新增api,avcodec_parameters_to_context(...)用来获取解码参数 2.新的解码方法，和渲染的api 视频解码需要将pts自然数转成秒值，以和音频同步，音视频同步有多种方法，基于人对声音比较敏感，一般采用视频同步到音频。 可以参考前面音频 和 视频渲染讲解，没有复杂之处 本篇文章花的时间较长，反复研读代码才基本明白是怎么回事，想要再进一步理解，还得去读ffmpeg的源码实现，当前阶段先不做深入了解，比这更重要的是把整个音视频处理大的流程和基本原理磕清楚 音视频处理确实涉及的技术比较深，与笔者当前的工作并不match，只能在不多的休息时间里再挤一点时间，日拱一卒去学习钻研，加油。

    1.1K30

    音视频直播--技术架构

    前言 今天和大家讲一下音视频直播技术架构。 之前的关注点主要放在客户端如何采集音频数据上，经过这两天的思考，我觉得应该先给大家讲一下音视频直播技术架构，这样更容易从整体上理解视频直播技术是如何运转的，之后再逐步的介绍每一个主题。 接收端向信令服务器发指令，获取共享者共享的流名称，然后通过流名称从CDN网络拉取音视频流，再经过解码后渲染在屏幕上。 实时交互的音视频直播架构 ? 客户端通过 UDP 进行数据传输，这样可以大大减少由于网络及CDN结构导致的音视频延迟问题。 共享者共享音视频时，都是通过UDP协议上传到自有网络服务器上。 共享者的音视频数据上传到自有网络后，还要通过专门的服务将数据流转成RTMP流推到CDN网络，这样对于大多数不参与时实互动的用户就可以从CDN获取数音视频数据了。

    1.5K41

    音视频直播技术漫谈

    直播 前言 今天的给大家简单的介绍一下音视频技术主要应用于哪些产品， 以及这些产品都涉及到哪些技术，并简单讲一下每种技术的难点，最后我想谈一谈音视频直播的未来。 其实音视频直播技术不光应用于这类泛娱乐直播，还有很多其它类型的直播，如音视频会议、教育直播等，这两种我们称之为实时互动直播。 泛娱乐化直播主要有音频，视频，聊天，打赏等功能。 所以说，实时互动直播泛娱乐化直播技术门槛高了好几个级别。 技术漫谈 下面我们来讲一下音视频直播都用到了哪些技术。说到音视频直播技术，我们最先想到的是音频技术和视频技术。 音视频使用的压缩技术称为有损压缩技术。而像我们平RAR，ZIP工具进行的压缩都是无损压缩。就是说解压后的数据与原始数据一样叫做无损压缩，解压后和原始数据高度接近称为有损压缩，音视频编码属于后者。 在当时来讲技术的门槛还是比较高的，既要解决音视频的问题，又要解决传输的问题， 还要解决 服务端高负载、大并发、高可用等问题，所以做一个音视频会议或实时互动直播的产品是非常麻烦的。

    49730

    音视频技术的高光时刻: LiveVideoStackCon 2019上海 音视频技术大会

    Mux 流媒体专家Phil Cluff在4月19、20日举办的LiveVideoStackCon 2019上海音视频技术大会中发表了主题演讲，并根据自己在大会中的所见所闻，对其它部分精彩内容进行了详细的分析与总结 mux.com/blog/highlights-livevideostackcon-shanghai-2019/ 上个月，我很荣幸地被邀请参加在上海举办的LiveVideoStackCon 2019 音视频技术大会并就如何设计出色的视频 不得不说，这是一场由LiveVideoStack组织的专注于在线流媒体等音视频技术、服务与解决方案的饕餮盛宴。 LiveVideoStackCon 2019对我们——Mux与Demuxed会议的运营者来说是一个不错的能与音视频行业的优秀同仁沟通交流机会，因此我决定跨越大半个地球来到令人惊叹的上海参加这场技术大会。 虽然我的中文不算出色，但凭借在音视频领域的多年耕耘与谷歌翻译的良好协助，我完全体会到了与会嘉宾和观众的热情以及音视频技术不断发展的澎湃动力。 ?

    68130

    音视频技术学习 - 启动篇

    目前市面上我们所熟悉的音视频开发大致有：视频播放器、短视频、视音频直播 等等，他们之间有很多的共性像音视频编解码、视音频同步等，因此我们首先来看下这些共性内容。 视频编码是视音频技术中最重要的技术之一。视频码流的数据量占了视音频总数据量的绝大部分。高效率的视频编码在同等的码率下，可以获得更高的视频质量。 音频编码也是互联网视音频技术中一个重要的技术。但是一般情况下音频的数据量要远小于视频的数据量，因而即使使用稍微落后的音频编码标准，而导致音频数据量有所增加，也不会对视音频的总数据量产生太大的影响。 FFmpeg 整个音视频技术学习的核心就在协议和编解码，其中最复杂重要的部分当属编解码了，如果没有基础的话，我们可以买一些书看一下，实体书或电子书都行。 因此如果是初学习音视频技术，还是建议大家基于一些第三方的开源库来实现功能，等时机成熟了再去了解底层的源码和算法。我选的是一个常用的同时也是大家比较熟悉的开源库 FFmpeg。

    57910

    实时音视频技术入门提纲

    2、实时音视频开发包括哪些技术内容 虽然一篇文章无法把音视频开发的知识点都介绍清楚，但是大概的学习路线还是可以梳理一下的，我们先看看下面这张图： ? 每一个门类，都可以深挖，衍生出一个又一个充满技术挑战的话题，比如：如何更高效地渲染画面、如何提高音视频的压缩比，如何优化弱网下的音视频数据传输等等。 其实无论在哪个平台，图像、视频最初都是来自摄像头，而音频最初都是来自麦克风，因此，做音视频采集，就要掌握如下的技术知识。 1）系统的摄像头采集接口是什么，怎么用 ？ 其实无论在哪个平台，图像、视频最终都是要绘制到视图上面，而音频最终都是要输出到扬声器，因此，做音视频渲染，就要掌握如下的技术知识。 ? 5、具体技术点之处理 处理，它解决的是，数据怎么加工的问题，那么，数据究竟可以怎么加工呢 ？ 首先，我们看看图像/音视频的数据可以做哪些加工 ？ ?

    1K40

    音视频技术基础（三）--音视频数据格式

    后面会讲关于音视频处理及渲染的内容，渲染和处理都是对音视频raw数据的操作，所以我们先来学习一下音视频的数据格式。 YCbCr 是用在数字视频、图像的压缩和传输，如 MPEG、JPEG。今天大家所讲的 YUV 其实就是指 YCbCr。Y 表示亮度（luma），CbCr 表示色度（chroma）。 主流的采样方式有三种，YUV444，YUV422，YUV420，后面三个数字代表什么意思？大家可以读读这为大佬的文章如何理解 YUV ？ image.png PCM音频编码 PCM中文名称叫脉冲编码调制，其主要工作原理就是把一个时间连续，取值连续的模拟信号变换成时间离散，取值离散的数字信号后在信道中传输。 其中PCM8和PCM16后面的数字代表的是采样位数。 8位采样数据小，方便传输，多用于电话通信之类的； 16位采样数据比较大，但是精度比8位高很多，多用于媒体。

    1K21

    数字签名技术

    介绍数字签名数字签名是一种用于确认数据的完整性、确认发送者身份的技术。签名主要包含两个过程：做摘要、进行非对称加密。 考虑到加解密的运算速度是相对缓慢的，数字签名算法建议对消息摘要值进行签名，因为摘要值的长度是固定的，并且一般消息的摘要值的长度要比消息的长度短，加解密的运算速度会比较快。 数字签名的作用数字签名技术的本质不是为了加密。技术是为了解决问题而生的，进行数字签名的目的是：防止他人篡改信息：由于只有私钥持有者才能 “签署” 消息（不考虑私钥泄露的问题），因此其他人无法篡改信息。 数字签名进行的是非对称加密。如果数字签名进行的是对称加密的话，那么数字签名将不能防止签名者抵赖。原因就在于消息发送者 和 消息接收者拥有同样的密钥（公钥），所以消息发送方可以抵赖，否认消息是他发送的。 参考资料数字签名是什么？ - 阮一峰的网络日志 (ruanyifeng.com)《深入浅出 HTTPS 从原理到实战》

    13320

    音视频技术开发周刊 | 235

    每周一期，纵览音视频技术领域的干货。 新闻投稿：contribute@livevideostack.com。 根据采样频率计算音频时长 采样频率是指将模拟声音波形进行数字化时，每秒钟抽取声波幅度样本的次数。 探索咪咕视频在冬奥期间的技术创新与应用 最近LiveVideoStack采访了咪咕公司的音视频AI领域资深专家、高级研发总监周效军，在此次与LiveVideoStack的对话中，他分享了咪咕在冬奥直播转播赛事过程中对音视频和 中学生也能看懂的DRM 在本篇文章中，我们将介绍：什么是DRM（数字版权管理）？DRM在通过加密、访问限制技术以及商业规则确保数字资源公平使用的过程中所发挥的重要作用。 腾讯云、阿里云、火山引擎、声网、美摄科技、网易云信、即构科技、铃盛、NETINT、瀚博半导体、视杏科技、网心科技、PPIO、快手、相芯科技等国内外聚焦音视频技术的前沿公司一起，奉上一场音视频技术的饕餮盛宴

    30250

    音视频技术开发周刊 | 239

    每周一期，纵览音视频技术领域的干货。 新闻投稿：contribute@livevideostack.com。 什么是体积视频？ 小目标检测、图像分类、图像识别等开源数据集汇总 本文收集整理了多个小目标检测、图像识别、图像分类等方向的开源数据集，本次还有猫咪、斯坦福狗狗数据集以及3D MNIST数字识别等～ TensorFlow基础入门十大操作总结 ---- 阅读推荐 对话七牛云技术总监陈辉：音视频行业中的新系统新规划和新增长 我们有幸地采访到了七牛云技术总监陈辉，聊一聊这半年来七牛云在以音画质量为主线，结合自身 QRTC 产品进行的迭代和创新；以及七牛云未来在 音视频PaaS的“未毕之旅” 本文由LiveVideoStack和赵加雨的对话整理而成，旨在还原一名技术创业者的思考，涉及创业、RTC与音视频PaaS、to B SaaS、出海和钉钉生态。 在即将开幕的LiveVideoStackCon 2022音视频技术大会上海站中，七牛云将继续以音画质量为主线，结合自身QRTC的产品，给大家带来这半年的迭代和创新。

    28730

    音视频技术开发周刊 | 232

    每周一期，纵览音视频技术领域的干货。 新闻投稿：contribute@livevideostack.com。 本次LiveVideoStackCon 2021音视频技术大会 北京站，我们邀请到了美团高级算法专家马彬老师来分享短视频内容理解与生成技术，在美团业务场景的落地实践。 FFmpeg 工具：音视频开发都用它，快@你兄弟来看丨音视频工具 从事音视频开发的程序员几乎都应该知道或使用过 FFmpeg。 音视频基础概念合集：148 个问题带你快速上车音视频丨音视频基础 这篇文章是为音视频基础的概念建一个索引，方便记忆和查阅。如果你是对音视频方向感兴趣的开发者，强烈建议点赞、收藏、分享。 ，我们向音视频领域的一线技术工作者们发出了约稿邀请，希望他们能够输出一些音视频方向的技术内容。

    26230
    点击加载更多

    关注

    腾讯云开发者公众号
    将获得
    10元无门槛代金券
    洞察腾讯核心技术
    剖析业界实践案例
    腾讯云开发者公众号二维码

    相关产品

    • Web3.0数字营销平台

      Web3.0数字营销平台

      数字藏品一站式营销解决方案

    相关资讯

    热门标签

    更多标签

    活动推荐

    运营活动

    活动名称
    广告关闭

    腾讯云开发者

    扫码关注腾讯云开发者

    领取腾讯云代金券

    热门产品

    热门推荐

    更多推荐

    Copyright © 2013 - 2023 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

    深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

    腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号 |京公网安备号11010802020287

    扫码关注腾讯云开发者

    领取腾讯云代金券