OpenCV-Python:如何从直播视频流中获取最新帧或跳过旧帧 - 腾讯云开发者社区

文章/答案/技术大牛

发布

腾讯视频云剪辑技术实现

2.1 云剪辑思想云剪辑是一种用于在线编辑直播流一种实现方法，卫星信号接入直播编码器输出两路在线直播流，一路低码，一路高码，两路具有相同PTS时间。低码用于在线剪辑，高码用于分布式后台转码。...假如播放某个网络流，每一帧都有一个PTS,如果中间时码复位和跳变，播放就会异常或乱序。最常见直播过程出现半个小时断流，那么用户预览会半个小时黑屏，最好能够自动跳过黑屏部分，继续播放黑屏后面有效画面。...那如何才能实现单调递增的唯一时码呢？ m3u8 文件中存储每一个 ts 分片都有一个近似时长字段 “#EXT-X-TARGETDURATION”。...从时间线精确切除某广告位置方法如下：（1）、用户先通过模糊seek定位广告所在分片n. （2）、通过左移右移一帧寻找广告开始结束位置。...（3）、左移一帧查找当前（4）、右移一帧查找当前（5）、直到查找到广告开始结束位置（6）、获取广告开始结束位置，分片名+分片内广告真正开始结束时间。

14.3K1 1

玩转直播系列之从 0 到 1 构建简单直播系统（1）

播放端模块播放端的逻辑就相对比较简单，简而言之就是获取拉流地址，进行音视频的播放，不过在实际开发的过程中，播放端的业务工作量和技术优化点都是最多的，如上图所示的首屏秒开，解码优化，切换直播间等功能，都是需要花费大量的精力...三、搭建步骤本入门直播简单教程主要分为如下几个模块：搭建直播服务器；使用OBS进行推流；直播流如何观看；直播间消息的实现。...3.1 搭建直播服务器直播服务器实时地将推流端上传的视频流进行解析和编解码，以用于支持rtmp、hls或httpflv等直播协议的观看端进行观看。...一帧就是视频中的一个画面，其中： I帧（intra coded picture）：最完整的画面，自带全部信息，无需参考其他帧即可解码，每个GOP都是以I帧开始； P帧（predictive coded...picture）：帧间预测编码帧，需要参考前面的I帧或P帧，才能进行解码，压缩率较高； B帧（bipredictive coded picture）：双向预测编码帧，以前帧后帧作为参考帧，压缩率最高

2.2K7 0

您找到你想要的搜索结果了吗？

是的

没有找到

LiveKit 入门实战：基于 Python SDK 构建视频会议客户端

媒体订阅与渲染：接收并显示房间内其他用户的视频流（支持画中画显示）。自定义视频管线：演示如何结合 OpenCV 进行视频采集和渲染，为后续添加 AI 滤镜或计算机视觉处理打下基础。2....总结通过这个实战案例，我们掌握了 LiveKit Python SDK 的几个关键点：Room 连接与鉴权：如何建立安全连接。事件驱动模型：如何响应连接和媒体流事件。...# 如果需要控制特定输出设备或进行音频分析，可以处理原始音频流。 # 在这个演示中，我们主要依赖默认播放行为。...# 这是为了演示如何将处理过（或仅仅是读取）的 OpenCV 帧输入到 LiveKit 的 VideoSource 中。...：负责消耗 VideoStream 中的视频帧，将其转换为 OpenCV 可用的格式并更新共享状态。

1K1 0

如何打造毫秒级响应的RTSP播放器：架构拆解与实战优化指南

那么，如何评估一款 RTSP 播放器的延迟表现？又如何从底层协议处理、缓冲机制、解码路径、渲染方式等方面进行系统性优化？...延迟背后的设计权衡造成延迟的根本，并非代码“写得不够好”，而是播放器在默认设计中往往优先考虑稳定性、兼容性和播放流畅度：缓冲设计偏“冗余”，以避免解码失败或跳帧；音视频同步被强制对齐，即使纯视频场景也要等音频缓冲...、无人机图传、工业视觉、远程操控、AI分析输入✅ 大牛直播SDK的核心优势大牛直播SDK是一款专为高并发、低延迟、弱网环境下的专业视频播放而设计的RTSP播放内核，具备如下突出能力：延迟控制支持裸码流直接回调...大牛直播SDK 正是基于这样的理念，从底层架构到平台封装均围绕“低延迟、高性能”构建，已经在多个工业/安防/无人系统中得到实战验证。...3️⃣ 多线程架构 + 实时状态上报接收、解码、渲染分别跑在独立线程中，互不阻塞；可通过回调获取：当前延迟、码率、帧率、缓冲状态、连接状态等；支持业务动态切换清晰度、调整缓存策略或切流。

1.3K1 0

你黑了吗

今天你黑了吗，哈哈，当然不是指的你皮肤变黑了，而是身处在直播浪潮中的你，在观看直播中是否碰见了黑屏的现象，不过不要慌张，接下来就以腾讯云直播为例告诉您引起黑屏的原因以及如何去规避黑屏。...（3）源流是纯音频流：此图可以看到streams信息只有音频数据的编码信息，没有视频信息。...vlc播放器情况下可能会黑2秒，如果使用火狐可能直接跳过没有关键帧的片，自研播放器可能一直黑屏，大概率原因是播放器只判断了第一个ts里面帧的类型，后面不再进行判断，导致一直黑屏下去。...如何查看关键帧可以通过videoeye查看，看type类型，两个I帧，通过两个pts相减，即可得到关键帧间隔。...image.png 现在呢我们既然找到了问题的所在，接下来跟着我走看看如何去避免这些小问题的发生解决方案（1）针对摄像头权限问题：App 侧做好权限处理问题，增加对摄像头和麦克风的检测判断，如果检测到未获取对应的权限

2.9K12 2

视频直播流媒体服务器的http-flv是如何直播的？

那么本篇的问题就来了，http-flv是如何直播的？ ? 这里我们主要研究HTTP-FLV和HLS。...aac视频tag的body： 0xaf+0x01+aac raw 以上就是flv格式的详细说明，可以看出格式简单，封装的前后数据关联很小，当我们得到音频头和视频头，就可以从后面任意的一个关键帧开始播放。...当某个客户端想要来获取直播数据，比如httpflv的方式来观看直播，服务器会怎么做呢？...服务器会先发送前面几个flvtag，header+metadata+spspps+aacheader，当这几个tag发送完毕，服务器会从直播流tag中，找到最新的视频关键帧tag，从这个关键帧tag开发数据...因为视频流是IBP帧相互存在的，I是完整数据，BP解码都需要I帧和前面的帧，所以，正常视频数据，必须是从I帧开始发送的。这里就涉及到gop间距了，rtmp低延时秒开就是这个原理。

5.3K1 0

4K8K 超高清实时处理与分发

针对8K超高分辨率的编码特性，可以通过预分析mvp跳过原先编码器中的搜索过程；进行帧内帧间分析时，可以自适应选择先做帧内还是帧间，进行快速搜索。...另一部分是如何支持实时超分？通过视频增强、AI增强算法等操作可以实现4K实时超分，但是目前还很难支持实时超分8K。在这个背景下，我们利用分布式增强能力，支持直播过程中从4K到8K的超分。...比如，从我们监控中看到大概每过1-2小时，整个直播转码系统会产生TCP慢速的过程。原因可能是我们提供的转码服务收到了拉流数据包之后，ack报文从虚拟网卡发送到物理网卡有3s延时，而正常应该是瞬时。...---- 如果您有相关业务需求或想要进一步了解快直播相关产品内容，欢迎扫描下方二维码添加音视频小姐姐微信，与我们的产研团队深入沟通交流。...RT-Cube™ 提供All in One 的终端SDK，助力客户一键获取众多腾讯云音视频能力。

1.5K2 0

视频直播| 基础原理篇

一、直播难与易 `直播难`：个人认为要想把直播从零开始做出来，绝对是牛逼中的牛逼，大牛中的大牛，因为直播中运用到的技术难点非常之多，视频/音频处理，图形处理，视频/音频压缩，CDN分发，...、`直播列表` 关注、热门、最新、分类直播用户列表等； 4、`自己直播` 录制、推流、解码、播放、美颜、心跳、后台切换、主播对管理员操作、管理员对用户等； 5、`房间逻辑` 创建房间、进入房间...AVC`: 一种视频压缩方式,采用事先预测和与MPEG中的P-B帧一样的帧预测方法压缩，它可以根据需要产生适合网络情况传输的视频流,还有更高的压缩比，有更好的图象质量注意1:如果是从单个画面清晰度比较...帧间压缩一般是无损的 `muxing（合成）`：将视频流、音频流甚至是字幕流封装到一个文件中(`容器格式（FLV，TS）`)，作为一个信号进行传输。...7.解码 ***** 7.1 解封装 ***** `demuxing（分离）`：从视频流、音频流，字幕流合成的文件(`容器格式（FLV，TS）`)中，分解出视频、音频或字幕，各自进行解码 *****

7.9K14 10

OpenCv-Python 开源计算机视觉库 (一)

cv.imwrite('dog_gray.png', img_gray) True 我们已经知道如何使用 opencv-python 打开，显示，保存图片，那么综合应用起来，可以做一个完整的小程序。...，播放，保存 5.2.1 捕获实时视频流从笔记本电脑内置摄像头，捕获实时视频流（一张张图片），并显示经过灰度处理后的视频帧，效果就是经过灰度处理后的视频。...exit() while True: # 一帧一帧读取视频 ret, frame = cap.read() # 如果成功读取到视频帧，返回 True if not ret...# 如果成功读取到视频帧，返回 True if not ret: print("无法接收视频输入，请检查是否开启设备访问权限。...从视频输入设备，如笔记本电脑内置摄像头，捕获实时视频流输入，进行一帧帧处理后，保存到文件 output.avi 。

3.3K1 0

SIGCOMM 2023 | Dragonfly：以更高的感知质量实现连续 360° 视频播放

其次，主动跳过 tile 的获取提供了可以用以增强用户体验的额外自由度，例如，可能希望跳过一个截止时间更紧急、仅有少量帧受益且位于视口边缘的 tile ，并取而代之以以更高质量获取一个稍后需要但在多个帧中位于视口中心的...在决定如何在主要流中安排 tile 获取时，现有方法如 Flare 和 Pano 不能直接应用，因为它们旨在获取所有 tile 同时最小化停滞。...维护一个列表（初始为空的抓取列表），其中包含主要流应获取的所有 tile 以及相关质量。每一轮中，算法首先计算将每个 tile 从其当前分配的质量提升到质量的效用增益。...主要部分包括：(i) tile 调度器，决定应该获取 tile 的顺序，以及哪些 tile 即使存在于视口中也可能被丢弃；(ii) 带宽调度器，决定如何在主要流和保障流之间划分流量。...当接收到新请求时，服务器会丢弃先前较旧的请求，并根据较新的请求传输 tile 。在发送队列中尚未传输的旧请求中的 tile 将被丢弃。

1.6K1 0

视频直播技术干货(十一)：超低延时视频直播技术的演进之路

2、系列文章本文是系列文章中的第 11 篇，本系列总目录如下：《视频直播技术干货(一)：揭秘百万级粉丝互动的Facebook实时视频直播》《视频直播技术干货(二)：P2P技术如何将实时视频直播带宽降低...《视频直播技术干货(三)：实时直播答题系统的实现思路与技术难点分享》《视频直播技术干货(四)：首次披露快手是如何做到百万观众同场看直播仍能秒开且不卡顿的？》...扩展头携带帧的类型：如果携带并解析了正确的帧类型，客户端可以不用解析 metadata ；同时在弱网情形，客户端可以跳过 B 帧直接解码 P 帧，加速出帧并减少潜在卡顿。...扩展头携带 P 帧的参考帧信息：如果发生弱网情形，那么客户端可以依照扩展头指定的参考帧关系及其对应时间戳，跳过 B 帧解码，减少卡顿发生。...将 RTM 视频解码模块从 RTC 内核中迁移至 TTMP 播放内核，复用了 FLV 的视频解码模块（ MediaCodec 避免重新初始化）。

5.3K1 1

腾讯云快直播——超低延迟直播技术方案及应用

举个例子，主播在推流，然后发送缓存，因为TCP有一个可靠缓存的对列，而网络条件比较差的时候，发送窗口发送完了却一直没有ACK，窗口一直没有往前滑动，就会导致直播这种实时传播的数据积压，甚至会导致几秒钟或几十秒钟的延迟...3.3 快直播方案快直播方案改造的就是从CDN分发节点到SDK、再到观众端播放这部分，这样的好处在于主播推流中间的录制、截图、转码等都可以复用，接入简单，可以同时出flv、rtmp、hls、WebRTC...3.5 快直播如何接入快直播的接入其实非常简单，只需要一步就可以从标准直播升级为快直播——升级播放端、其余全部复用。Web/H5端调用浏览器WebRTC接入快直播，App接入需要集成SDK。...4.2 快直播首帧耗时秒开标准WebRTC要经过sdp交互、ice、dtls握手、rtp/rtcp，这里第二步和第三步基本是可以跳过的，ice可以用简单的storm来代替，dtls握手对于不需要加解密的也可以跳过...4.4 快直播画质优化画质优化主要通过“云+端”来做协同优化，就是源流在编码的时候做修复增强，再通过一定的算法把视频进行压缩输出低码率的流，同时在云端进行云上的预分析，检测出视频的纹理区域以及边缘区域

11.3K6 4

视频体验评估标准(uVES1.0)模型及算法解读

以IPTV为例，默认情况下，直播采用CBR，点播采用VBR。 Mode1：基于码流层的增强模型 Mode1是综合考虑显示质量和视频源压缩码流分析的增强模型。...Mode1 需要从一段观看时间(比如10分钟)内的视频数据分组，通过对比特流中的帧级关键信息的提取，衡量视频压缩对于视频源质量的损伤情况。...主要衡量的指标包含帧类型及帧大小、编码量化参数、运动矢量信息以及帧内编码单元跳过比例。因此，Mode1 的计算复杂度相对变大，模型准确度更高, 适合计算精度要求较高的场景。...上式中采用了帧级QP的均值、最大值、最小值，其中FrameRate为视频帧率，IntraFlicker为布尔变量，表示当前视频码流中是否发生QP值的突变，当前I帧的平均QP值与前后I帧的平均QP值的差大于...需要说明的是，Mode2处于发展和完善阶段，尚未规模化应用于体验评测中。下边具体介绍性能指标如何影响人眼对于画面的视觉感受，以及如何计算。

6.8K2 6

视频直播技术大全、直播架构、技术原理和实现思路方案整理

，绝对是牛逼中的牛逼，大牛中的大牛，因为直播中运用到的技术难点非常之多，视频/音频处理，图形处理，视频/音频压缩，CDN分发，即时通讯等技术，每一个技术都够你学几年的。...一种视频压缩方式,采用事先预测和与MPEG中的P-B帧一样的帧预测方法压缩，它可以根据需要产生适合网络情况传输的视频流,还有更高的压缩比，有更好的图象质量 ☞ 注意1:如果是从单个画面清晰度比较，MPEG4...帧间压缩一般是无损的 muxing（合成）：将视频流、音频流甚至是字幕流封装到一个文件中(容器格式（FLV，TS）)，作为一个信号进行传输。...所以从延迟角度来看，HTTP-FLV要优于RTMP。 RTSP:实时流传输协议,定义了一对多应用程序如何有效地通过IP网络传送多媒体数据....解码解封装 demuxing（分离）：从视频流、音频流，字幕流合成的文件(容器格式（FLV，TS）)中，分解出视频、音频或字幕，各自进行解码。

6.6K3 0

codebuddy模型基于Python的实时音视频直播系统开发：多线程采集、WebSocket传输与JWT安全认证实践

系统启动时要有一个GUI窗口，检测摄像头和麦克风，显示友好名称，选择设备后开始直播，同时检测网络状态，未联网的话显示红字提示。Web端需要登录验证，然后播放同步的音视频流。先看看用户提供的搜索结果。...前端用HTML5的video标签，可能结合WebRTC，但设置STUN/TURN服务器可能复杂，所以暂时用WebSocket传输视频帧和音频流。...代码重构与模块拆分辅助对项目结构中的功能模块，如设备枚举、JWT 验证逻辑、视频数据广播等，CodeBuddy 可推荐封装为独立函数或类，提高代码结构清晰度，利于团队协作开发。...前后端协同建议在前端页面通过 WebSocket 接收视频帧并动态渲染时，CodeBuddy 能识别 JavaScript 脚本中的逻辑不一致、DOM 操作异常等问题，确保音视频同步效果流畅。...总结借助 CodeBuddy，开发者无需反复查阅文档或依赖搜索引擎，即可在本地高效完成从设备检测到实时传输、从多线程并发到前后端联调的全流程开发，真正实现 AI 助力、高效开发、快速上线！

1.3K2 2

播放器秒开优化丨音视频工业实战

最简单的做法是，从直播列表页点击某个直播卡片到直播间后，从服务器请求直播流地址以及各种直播间信息（主播信息、聊天信息、点赞信息、礼物信息等等），拿到直播流地址后，交给播放器播放。...，省去了从服务器请求直播流地址的时间（虽然这个时间可能没多少）。...业务侧提前获取流地址另外，客户端业务侧还可以在进入直播间之前通过 HTTPDNS 来选择网络情况最好的 CDN 节点，在进入直播间时从最好的节点拉取直播流播放从而优化网络加载的时间，加快首屏渲染。...在上下滑的场景，业务层如果提前获取还未展示的视频或直播对应的 HTTP DNS IP，那用户滑到对应的内容时，这个 IP 也可能是失效的。...一个视频流来了，播放器是不清楚这个视频流是什么格式的，所以它需要去探测到一定量的视频流信息，去检测它的格式并决定如何去处理它。这就意味着在播放视频前有一个数据预读过程和一个分析过程。

4.9K3 1

Python × OpenCV × RTSP|RTMP：构建低延迟智能视频分析系统实战指南

然而，在实际工程部署中，一个长期存在的“断点”是：如何将实时视频流稳定、高效地接入到 Python + OpenCV 的处理链路中？...本文将围绕 “大牛直播SDK × Python × OpenCV” 这一组合，从架构设计、接口调用、图像处理实战到典型应用场景，全面介绍如何实现： ✅ 实时视频接入 ✅ 高效图像分析 ✅ 目标识别与追踪...二、基于大牛直播SDK构建高性能视频接入通道在传统视频处理系统中，Python 端通常通过 cv2.VideoCapture() 或 ffmpeg 解码方式接入视频流。...为此，我们采用大牛直播SDK 提供的 “YUV / RGB 回调 + 零拷贝共享” 机制，实现从 RTSP/RTMP 拉流 → 原始帧获取 → 高效送入 Python 环境的完整闭环。...“智能决策力”在智能视觉系统快速发展的时代背景下，从视频中获取高价值信息，已经成为安防、工业、交通、巡检等领域的核心诉求。

1.7K0 0

将直播交付 VOD 从 15 分钟加速到 1 分钟

来源：Demuxed 2021 主讲人：Loke Dupont 内容整理：付一兵当今我们期望一个新的系统能取代旧的直播到点播交付(Live 2 VOD，L2V) 系统，以解决旧系统的一些问题，如缺少节目...新系统应该能够根据我们的播放系统时间表完全自动运行，不需要人工干预或手动切割；能让用户在内容播出后立即播放，并可在以后扩展到“重新开始”功能；最后，我们希望正常 VOD 库中能够提供 L2V 视频。...，或者写入的速度达不到我们所期望的播放系统我们首先看实际上是如何广播的，为了更好地了解如何获取信息我们需要知道程序什么时候开始。...幸运的是，Marina 已经从包含程序元数据的系统中获得了我们需要的传输 ID，称为协调密钥，然后是调度信息，这个系统被称作 WhatsOn。...即时获取即时获取的时间线我们要做的是寻找 SCTE-35 标记的时间，然后我们发布一个虚拟 VOD 资产，指向我们用于直播的源服务的直播缓冲区，这将返回稍微不准确的版本表示，因此，从我们发布它的时候起

1K1 0

视频直播技术干货：一文读懂主流视频直播系统的推拉流架构、传输协议等

7、视频直播数据流解封装原理介绍流协议之前，先要介绍我们从云端拿到一份数据，要经过几个步骤才能解析出最终需要的音视频数据。...如上图所示，总体来说，从获取到数据到最终将音视频播放出来要经历四个步骤。第一步：解协议。...获取到封装格式数据以后需要进行解封装操作，从中分别提取音频压缩流数据和视频压缩流数据，封装格式数据我们平时经常见到的如MP4、AVI，在直播中我们接触比较多的封装格式有TS、FLV。...FlV的视频编码格式通常是H.264，音频编码是ACC或MP3。 HTTP-FLV在直播中是通过走HTTP长连接的方式，通过分块传输向请求端传递FLV封包数据。...从视频推送的稳定性考虑，我们也要求主播将关键帧间隔设置为定长，通常是1-3秒，因此除去其他因素，我们的直播在播放时也会产生1-3秒的延时。

6.8K4 3

熊猫TV直播H5播放器架构探索

我来自熊猫直播，从去年的7月份加入熊猫并在 11月中旬开始开发播放器，主要致力于HTML5播放器的研制开发。接下来我将从以下几个方面介绍HTML5播放器的相关内容： 1....灰色框为视频帧组成的视频流，红色框为音频帧组成的音频流，理想状态下的视频流与音频流应当是长度一致。...首先是向缓存中填充数据，再通过消息通道通知下一个模块获取数据；之后会给出获取数据的长度，否则下一块模块无法确定获取数据量；接下来收到这些消息后下一模块从缓存中提取数据。...这两种不同追帧方式，如果只是抖动，最后拉流多少就是多少。我们会监测实际播放时长和理论播放时长的差值，根据差值找最新的GOP里的I帧。如果有就不用重新拉流，如果没有则需要重新拉流。...根据视频帧的位置计算音频帧的位置，如果这帧出现缺失我们就补帧。 Q6.1：补前一帧与后一帧的区别？ A：根据不同场景选择最优化的方案，从代码修改简便的角度我们会优先选择补前一帧。

4.4K2 0

点击加载更多

腾讯视频云剪辑技术实现

玩转直播系列之从 0 到 1 构建简单直播系统（1）

LiveKit 入门实战：基于 Python SDK 构建视频会议客户端

如何打造毫秒级响应的RTSP播放器：架构拆解与实战优化指南

你黑了吗

视频直播流媒体服务器的http-flv是如何直播的？

4K8K 超高清实时处理与分发

视频直播| 基础原理篇

OpenCv-Python 开源计算机视觉库 (一)

SIGCOMM 2023 | Dragonfly：以更高的感知质量实现连续 360° 视频播放

视频直播技术干货(十一)：超低延时视频直播技术的演进之路

腾讯云快直播——超低延迟直播技术方案及应用

视频体验评估标准(uVES1.0)模型及算法解读

视频直播技术大全、直播架构、技术原理和实现思路方案整理

codebuddy模型基于Python的实时音视频直播系统开发：多线程采集、WebSocket传输与JWT安全认证实践

播放器秒开优化丨音视频工业实战

Python × OpenCV × RTSP|RTMP：构建低延迟智能视频分析系统实战指南

将直播交付 VOD 从 15 分钟加速到 1 分钟

视频直播技术干货：一文读懂主流视频直播系统的推拉流架构、传输协议等

熊猫TV直播H5播放器架构探索

相关资讯

热门标签

活动推荐

运营活动

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐