前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >【目标检测】视频输出体积太大?分析视频的编码与码率问题

【目标检测】视频输出体积太大?分析视频的编码与码率问题

作者头像
zstar
发布2023-12-19 10:03:48
2790
发布2023-12-19 10:03:48
举报
文章被收录于专栏:往期博文往期博文

在做视频目标检测时,发现一个问题,检测输出完的视频时大时小,有时输出体积过大,造成播放器播放时严重卡顿现象。本文就这一情况进行分析,并就该问题提出相关解决方案。

视频基础知识

隔行扫描和逐行扫描

早期电视台在传输节目信息时,由于带宽有限,于是想在带宽不变的情况下,增加图像的分辨率,让画面看起来更清晰,于是就采用隔行扫描的方式,如下图所示[1],第一帧扫描奇数行的数据,第二帧扫描偶数行的数据,交替进行。由于视觉暂留,在人眼看来就是完整的视频图像。

在这里插入图片描述
在这里插入图片描述

隔行扫描1920x1080分辨率的视频也简称1080i,逐行扫描则称为1080p。

现在的带宽已经能满足绝大多数逐行扫描的视频,因此隔行扫描逐渐被淘汰,后文所提视频也均是逐行扫描视频。

视频分辨率

视频分辨率指的是每一帧画面有多少像素点,目前广泛采用的标准有720p、1080p、2K、4K。比如,2K分辨率的长边大于2000,就可称2k分辨率。下表是电视标准的分辨率标准[1],与手机之类的2k、4K分辨率数值不一定相同。

在这里插入图片描述
在这里插入图片描述

视频帧率

帧率很简单,即一秒钟播放多少帧画面,比如30FPS表示一秒钟播放30帧画面。

但在很多机器上,比如大疆的机器上,设置30FPS之后,实际拍摄的视频却是29.97帧;设置60FPS之后,实际拍摄的视频是59.94帧。

这个现象是由于NTSC彩色电视标准制定时,由于声音信息和电视信号过于接近,容易产生干扰,因此,把电视信号的帧率减小千分之一,导致这一情况出现[2]。

在这里插入图片描述
在这里插入图片描述

视频格式

在使用不同的摄像录制视频时,会有不同的格式,比较常见的是MP4、MOV、AVI等格式,这些格式被称作封装格式,相当于视频的一个大容器。这些格式多数可以相互转换,对于视频本身起决定作用的是视频的编码格式。

视频编码本质是对视频的压缩,如果视频不进行压缩,所需要的存储量是极其恐怖的,以1080P格式视频为例:

一帧画面包含像素点=1920x1080=2,073,600个像素点; 每个像素包含RGB三个通道,用3个字节(byte)存储; 那么一帧画面所需要的存储体积=2,073,600*3/1024/1024≈5.7M

因此,对视频编码十分必要,下面是常见封装格式的视频编码类型[3]:

在这里插入图片描述
在这里插入图片描述

视频压缩

上述这些视频编码都是通过压缩视频的画面帧来减小视频的体积,视频压缩包括帧内压缩和帧间压缩。

  • 帧内压缩

帧内压缩就是对单帧图像进行压缩,以JPEG压缩方法为例[3],人眼对亮度比较敏感,对颜色不太敏感,因此算法尽可能保留明度信息,而压缩色度信息。

在这里插入图片描述
在这里插入图片描述
  • 帧间压缩

帧间压缩是利用连续帧的时序信息,对视频进一步压缩。以H.264视频编码为例[3],它将视频分成I帧,P帧和B帧。I帧即通过帧内压缩得到的压缩视频帧,P帧是利用相邻I帧之间的运动变化关系,预测得到;B帧是利用相邻P帧进一步双向预测得到。

在这里插入图片描述
在这里插入图片描述

通过这样两步操作,让视频的体积大大减小。

视频码率

虽然上述视频编码方式能够极大压缩视频体积,不过影响视频质量关键因素还包括码率。如果采用固定码率进行编码,如果视频太过复杂,比如很多随机粒子,就会让视频看起来非常模糊。

视频码率又称比特率(bitrate),表示视频每秒所包含的数据量。常见的码率可分为固定码率(CBR)/可变码率(VBR)/固定质量(CRF)/平均码率(ABR)/固定量化参数(CQP)等。

固定码率即码率恒定,优点是码率可控,缺点是简单场景码率冗余,复杂场景码率不够用,因此用的不多。

可变码率是指码率按需进行分配,简单场景码率低,复杂场景码率高,用的最多,在PR中,还提供了VBR2次编码的选项,即包含一个目标码率和一个最大码率,因此VBR被广泛使用。

在这里插入图片描述
在这里插入图片描述

OpenCV视频编码

了解完上述基础知识后,不难发现,在视频分辨率和帧率固定的基础上,视频体积的大小主要取决于视频的编码格式和码率。

在OpenCV中,通过cv2.VideoWriter_fourcc来定义视频编码,例如*'mp4v'是采用MPEG-4的编码形式:

代码语言:javascript
复制
vid_writer[i] = cv2.VideoWriter(save_path, cv2.VideoWriter_fourcc(*'mp4v'), fps, (w, h))

此外,它还支持以下编码格式:

H.264 / AVC:

  • H264
  • X264
  • AVC1

H.265 / HEVC:

  • HEVC
  • H265
  • X265

MPEG-4:

  • MP4V
  • DIVX

Motion JPEG:

  • MJPG

MPEG-1:

  • MPG1

MPEG-2:

  • MPG2

XVID:

  • XVID

WMV:

  • WMV1
  • WMV2

视频码率修改

虽然OpenCV可以自定义编码方式,但无法直接修改码率,这导致有些视频输出之后,码率变得极大,比如这段12秒中的1080p视频,码率达到71150kps,整个文件110M大小。

在这里插入图片描述
在这里插入图片描述

在Python,可以通过两种方式去修改视频码率。

第一种方式是通过调用FFmpeg的方式,示例:

代码语言:javascript
复制
import subprocess

# 输入和输出视频文件路径
input_video = 'input.mp4'
output_video = 'output.mp4'

# 设置比特率(这里设置为1000k)
bitrate = '1000k'

# 构建 FFmpeg 命令
ffmpeg_command = f'ffmpeg -i {input_video} -b:v {bitrate} {output_video}'

# 运行 FFmpeg 命令
try:
    subprocess.run(ffmpeg_command, shell=True, check=True)
    print("视频重新编码成功!")
except subprocess.CalledProcessError as e:
    print(f"视频重新编码失败: {e}")

不过该方式需要提前下载安装FFmpeg方式,并不是很便利。

第二种方式是直接调用moviepy库,底层也是使用FFmpeg,不过无需下载安装: 示例:

代码语言:javascript
复制
import os
from moviepy.editor import VideoFileClip

# 指定视频文件所在文件夹路径
videos_directory = "cs1/"
videos_save = "cs2"

# 设置目标比特率(kbps)
target_bitrate = "20208k"  # 例如,设置为 20208 kbps

# 遍历指定文件夹中的所有视频文件
for file in os.listdir(videos_directory):
    if file.endswith(".mp4") or file.endswith(".avi") or file.endswith(".mov"):
        # 构建视频文件的完整路径
        file_path = os.path.join(videos_directory, file)
        # 读取视频文件
        clip = VideoFileClip(file_path)
        # 写入视频文件并设置比特率
        output_file = os.path.join(videos_save, file)
        clip.write_videofile(output_file, codec='libx264', bitrate=target_bitrate)
        print(f"视频 {file} 处理完成并写入 {output_file}")

print("批量处理完成")

由于视频编码默认采用的是VBR,因此尽管这里设置了目标码率为20208kbps,实际输出码率为21187kps,会接近目标码率,但并非固定。

在这里插入图片描述
在这里插入图片描述

通过这样处理之后,视频本身的观感影响不大,但体积减小了2/3。

更进一步,可以将修改码率的操作和保存视频的流程结合起来,下面是解决实际需求,需要对视频裁剪的同时,根据原视频的码率修改输出的视频。

下面的代码是保存多个文件,尝试过对单帧处理时直接修改码率,不过会出问题,因为码率需要考虑视频连续帧的情况,因此只能全部做完上一步,再统一处理码率问题。

代码语言:javascript
复制
import cv2
from moviepy.editor import VideoFileClip


def get_original_bitrate(input_video):
    cap = cv2.VideoCapture(input_video)
    if not cap.isOpened():
        print("无法打开视频文件")
        return None
    # 获取视频的原始比特率
    original_bitrate = cap.get(cv2.CAP_PROP_BITRATE)
    # 释放资源
    cap.release()
    return original_bitrate

def crop_video(input_video, output_video, target_bitrate):
    # 对视频进行空间上的裁剪(使用 OpenCV)
    cap = cv2.VideoCapture(input_video)
    if not cap.isOpened():
        print("无法打开视频文件")
        return

    # 获取视频的基本信息
    fps = cap.get(cv2.CAP_PROP_FPS)
    frame_width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
    frame_height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))

    # 设置输出视频的编解码器和写入对象
    fourcc = cv2.VideoWriter_fourcc(*'mp4v')
    out = cv2.VideoWriter(output_video, fourcc, fps, (894, 710))

    while True:
        ret, frame = cap.read()
        if not ret:
            break

        # 对每一帧进行裁剪
        cropped_frame = frame[161:871, 493:1387]  # 这里是你想要的空间裁剪区域的坐标

        # 写入裁剪后的帧到输出视频文件
        out.write(cropped_frame)

    # 释放资源
    cap.release()
    out.release()
    cv2.destroyAllWindows()

    # 读取视频文件
    clip = VideoFileClip(output_video)
    output_video2 = output_video.replace('.mp4', '_Update.mp4')
    # 保存裁剪和修改比特率后的视频
    clip.write_videofile(output_video2, codec='libx264', bitrate=target_bitrate)


if __name__ == '__main__':
    # 输入视频文件路径
    input_video_path = 'Video.mp4'
    # 输出视频文件路径
    output_video_path = input_video_path.replace('.mp4', '_Crop.mp4')
    # 获取视频的原始比特率
    original_bitrate = get_original_bitrate(input_video_path)
    # 设置目标比特率
    original_bitrate = str(int(original_bitrate)) + 'k'
    # 调用函数进行视频裁剪和修改比特率
    crop_video(input_video_path, output_video_path, original_bitrate)

视频推荐编码参考

码率越低,视频体积越小。然而,当码率过低时,会影响到视频本身的清晰度。

下表是两大主流视频平台的推荐码率,低于该码率可能会影响视频质量,高出太多则会触发平台二次压缩,对视频创作者来说,具有参考价值。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

参考

[1] 你知道什么是逐行扫描与隔行扫描吗?https://www.bilibili.com/video/BV1Xu411B7x8/ [2] 影视飓风将停止制作25帧视频 https://www.bilibili.com/video/BV1hp4y1f7B5/ [3] 【科普】“视频”是怎么来的?H.264、码率这些词又是什么意思? https://www.bilibili.com/video/BV1nt411Q7S6

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2023-12-18,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 视频基础知识
    • 隔行扫描和逐行扫描
      • 视频分辨率
        • 视频帧率
          • 视频格式
            • 视频压缩
              • 视频码率
              • OpenCV视频编码
              • 视频码率修改
              • 视频推荐编码参考
              • 参考
              相关产品与服务
              容器服务
              腾讯云容器服务(Tencent Kubernetes Engine, TKE)基于原生 kubernetes 提供以容器为核心的、高度可扩展的高性能容器管理服务,覆盖 Serverless、边缘计算、分布式云等多种业务部署场景,业内首创单个集群兼容多种计算节点的容器资源管理模式。同时产品作为云原生 Finops 领先布道者,主导开源项目Crane,全面助力客户实现资源优化、成本控制。
              领券
              问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档