音画质重生

最近更新时间:2023-12-22 14:22:35

我的收藏
音画质重生,即借助 AI 对音视频内容进行画质修复、增强,生成音频、画面质量更好的新视频。音画质重生包括以下能力:
能力项
能力说明
去伪影(毛刺)
由于视频在转码或多次转码过程中对视频进行了多次压缩,会引入块效应、振铃效应、色度渗透和蚊噪等,使得视频画面出现一些影响视觉效果的失真,去压缩失真能有效修复编码引入的失真。
细节增强
由于拍摄相机质量、后期保存和转码过程中导致视频细节不够清晰,细节增强对视频中需要关注的细节进行增强,使画面内容更清晰,内容更丰富。
人脸增强
通过人脸检测针对视频中人眼视觉特别关注的人脸部分进行增强,使该区域的细节更加清晰,提高主观感受。
色彩增强
因拍摄设备的色彩问题或视频的保存问题,导致视频的色彩存在一定的失真或可增强的情况,色彩增强使画面更接近真实色彩,并在一定程度上进行增强满足人眼的喜好。
低光照增强
因环境状况及拍摄摄像头的硬件限制,在某些场景下拍摄的画面亮度和对比度缺失,导致画面较暗或画面较暗区域细节看不到,因此暗场景增强能够自动识别场景对画面进行自适应增强,特别在暗场景下能大幅提升暗区的细节和对比度,提升人眼主观质量。
SDR 转 HDR
识别视频的片头和片尾 SDR 转 HDR 能力可将普通 SDR 视频转化为 HDR 视频,色深提升至10bit,获得更宽的色域,展现更多色彩细节,以提供更高品质的视频内容。
音视频降噪
由于视频拍摄中会因为相机和环境引入随机噪点,这里提供降噪服务,在保持细节不损失的情况下,消除画面和声音中的随机噪声。
智能插帧
通过对原始视频帧间补充新的视频帧,给用户提供更加流畅丝滑的视觉效果。另外,也能够帮助解决低帧率老视频中卡顿、抖动等画质问题。
音画质重生是一种离线任务,使用流程为准备任务模板+同步发起任务+异步获取任务结果

音画质重生模板

针对典型的使用场景,云点播提供如下预置模板(暂不支持自定义模板):

模板 ID

使用场景
说明
100
人脸不清晰
如新闻视频、娱乐视频、电影电视剧等人脸出现频繁、占据画面显著位置的场景。由于拍摄设备条件,或出于成本考虑,视频经过转存压缩造成人脸五官不清晰、物体边缘不够锐利清晰、物体表面纹理模糊,使用该模板可智能还原人脸细节、降低画面模糊、增强物体细节等。
110
直播录制画质受损
如游戏直播录制,直播流录制前通常会先进行转码,以解决由于断流等导致录制文件异常的问题,但是转码过程产生视频压缩会导致画面效果失真、模糊,该模板主要进行去压缩失真修复,较好地还原画面细节,提升视觉效果。
121/122
视频分辨率过低
受限于拍摄条件、存储成本等因素,有的存档视频以较低分辨率存储,如今需要在较高显示设备播放,如果直接将低分辨率视频转码为高分辨率视频,视频画面会更模糊。通过云点播画质重生超分,结合低画质修复、关键细节增强等 AI 处理,确保超分后视频具有较高的画质。
121:超分生成的视频分辨率为 720P(短边 720 像素,长边按原视频等比例缩放);
122:超分生成的视频分辨率为 1080P(短边 1080 像素,长边按原视频等比例缩放)。

预置模板画质重生效果示例


模板 ID

堆叠对比(左侧原始视频,右侧重生后视频)
原始视频画面
重生后视频画面
100









110









122










任务发起

发起音画质重生任务,目前支持通过服务端 API 直接发起,以下是具体说明:
通过服务端 API 直接发起:调用服务端 API 音画质重生,请求的输入参数 Definition根据视频场景指定为 预置模板 中相应的模板 ID。

结果获取

发起音画质重生任务后,您可以通过异步等待 结果通知 和同步进行 任务查询 两种方式获取音画质重生任务的执行结果。下面是发起音画质重生任务后,普通回调方式下结果通知的示例(省略了值为 null 的字段):
{
"EventType": "QualityEnhanceComplete",
"QualityEnhanceCompleteEvent": {
"TaskId": "1400155958-QualityEnhance-2947467bbfaad305b5dc9a67462badf1t",
"Status": "FINISH",
"ErrCode": 0,
"ErrCodeExt": "",
"Message": "",
"Progress": 100,
"Input": {
"FileId": "32708888009235541234",
"Definition": 100
},
"Output": {
"MediaName": "rebuildMediaGenFile",
"ExpireTime": "0000-00-00T00:00:00Z",
"ClassId": 0,
"FileType": "mp4",
"FileId": "11341116332502498899",
"FileUrl": "http://1400155958.vod2.myqcloud.com/93e1ebabvodcq1400155958/8e67889511377777332502423456/f0.mp4"
},
"MetaData": {
"AudioDuration": 0,
"AudioStreamSet": [],
"Bitrate": 4727690,
"Container": "mov,mp4,m4a,3gp,3g2,mj2",
"Duration": 31,
"Height": 540,
"Md5": "",
"Rotate": 0,
"Size": 18319800,
"VideoDuration": 31,
"VideoStreamSet": [
{
"Bitrate": 4725032,
"Codec": "h264",
"CodecTag": "",
"Codecs": "",
"DynamicRangeInfo": {
"HDRType": "",
"Type": ""
},
"Fps": 25,
"Height": 540,
"Width": 960
}
],
"Width": 960
},
"SessionContext": "",
"SessionId": ""
}
}