视频内容分析是一项使用 AI 对视频内容进行智能分析的功能。对视频执行内容分析任务后,执行结果会对视频分类、打标签及截取封面等给出智能建议,帮助视频平台准确高效地管理视频。内容分析的项目涵盖了分类、标签、封面和按帧标签,具体如下表所示。
功能名称 | 说明 |
智能分类 | 对视频所属的分类给出建议,目前有十余个类别,例如: 新闻、娱乐、游戏、科技、美食、体育、旅行、动漫、舞蹈、音乐、影视及汽车等。 |
智能标签 | 对视频可以打上的标签给出建议,目前共有3000余种标签,例如: 游戏、交通工具、音乐家、赛车、宠物、架子鼓、自行车、魔兽世界、电脑、学校及夹克等。 |
智能封面 | 从视频中选出一张或几张截图,作为推荐采用的封面。 |
智能按帧标签 | 为视频逐帧画面,给出打标签的建议,目前共有1000余种标签,例如: 现代舞、水上运动、牛排、宝宝、小猫、一年生植物、驱逐舰、漫画、草坪、婚纱、多功能厅及护照等。 |
视频内容分析模板
通过视频内容分析参数,可以控制分析任务具体执行哪几项分析操作。MPS 使用视频内容分析模板来表示智能分析参数集合:
是否启用智能分类
是否启用智能标签
是否启用智能封面
是否启用智能按帧标签
任务发起
发起视频内容分析任务,有“通过 API 主动发起”和“通过上传自动触发”两种方式。
通过上传自动触发:在控制台 创建工作流 并开启内容分析,然后向工作流绑定的触发目录上传视频。
结果获取
下面是发起内容分析任务后,以“查询任务”方式获取的结果示例(省略了值为 null 的字段):
{"TaskType":"WorkflowTask","Status":"FINISH","CreateTime":"2019-07-16T06:21:27Z","BeginProcessTime":"2019-07-16T06:21:28Z","FinishTime":"2019-07-16T06:21:46Z","WorkflowTask":{"TaskId":"2356768367-WorkflowTask-2e1af2456351812be963e309cc133403t0","Status":"FINISH","InputInfo":{"Type":"COS","CosInputInfo":{"Bucket":"MyVideoBucket-235303****","Region":"ap-beijing","Object":"/input/AnimalWorld.mp4"}},"MetaData":{"AudioDuration":60,"AudioStreamSet":[{"Bitrate":383854,"Codec":"aac","SamplingRate":48000}],"Bitrate":1021028,"Container":"mov,mp4,m4a,3gp,3g2,mj2","Duration":60,"Height":480,"Rotate":0,"Size":7700180,"VideoDuration":60,"VideoStreamSet":[{"Bitrate":637174,"Codec":"h264","Fps":23,"Height":480,"Width":640}],"Width":640},"MediaProcessResultSet":[],"AiContentReviewResultSet":[],"AiAnalysisResultSet":[{"Type":"Classification","ClassificationTask":{"Status":"SUCCESS","ErrCode":0,"Message":"","Input":{"Definition":10},"Output":{"ClassificationSet":[{"Classification":"动物","Confidence":80},{"Classification":"旅行","Confidence":34}]}}},{"Type":"Cover","CoverTask":{"Status":"SUCCESS","ErrCode":0,"Message":"","Input":{"Definition":10},"Output":{"OutputStorage":{"Type":"COS","CosOutputStorage":{"Bucket":"MyVideoBucket-235303****","Region":"ap-beijing"}},"CoverSet":[{"CoverPath":"/xxx/xxx/xxx1.jpg","Confidence":79},{"CoverPath":"/xxx/xxx/xxx2.jpg","Confidence":70},{"CoverPath":"/xxx/xxx/xxx3.jpg","Confidence":66}]}}},{"Type":"Tag","TagTask":{"Status":"SUCCESS","ErrCode":0,"Message":"","Input":{"Definition":10},"Output":{"TagSet":[{"Tag":"马","Confidence":34},{"Tag":"鸟","Confidence":27},{"Tag":"植物","Confidence":13},{"Tag":"海滩","Confidence":11}]}}}],"AiRecognitionResultSet":[]},"TasksPriority":0,"SessionId":"","SessionContext":"","RequestId":"xxx-xxx-xxx"}
回调结果中,
ProcedureStateChangeEvent.AiAnalysisResultSet
有Type
为Classification
、Cover
和Tag
三种类型的分析结果,分别代表视频智能分类、视频智能封面和视频智能标签。Type
为Classification
的结果显示,Output.ClassificationSet
置信度最高的分类是动物
,其次的分类则是旅行
。Type
为Cover
的结果Output.CoverSet
,给出了3个建议采用的封面,CoverPath
是对应封面输出的位置。Type
为Tag
的结果Output.TagSet
,给出了4个视频建议采用的标签,按照置信度从高到低排列。