学习
实践
活动
工具
TVP
写文章
专栏首页晊恦的学习旅程B站开源算法,让你的动漫视频/图片从360p秒变4K
原创

B站开源算法,让你的动漫视频/图片从360p秒变4K

本文项目地址:Real-CUGAN at main · bilibili/ailab · GitHub

本文操作环境

本文中Real-CUGAN操作环境说明如下:

  • 硬件平台:GPU计算型GN7 - 20核 80G(Tesla T4)
  • 操作系统版本:Windows Server 2019 数据中心版 64位 中文版
  • 所需驱动:NVIDIA GRID,CUDA

操作步骤

安装CUDA驱动

安装CUDA驱动请参考这篇文档:【GPU 云服务器 安装 CUDA 驱动-操作指南-文档中心-腾讯云-腾讯云】

安装RGID驱动

安装RGID驱动请参考这篇文章:【GPU 云服务器 安装 NVIDIA GRID 驱动-操作指南-文档中心-腾讯云-腾讯云】

下载项目

本项目地址:Real-CUGAN at main · bilibili/ailab · GitHub

配置文件

打开config.py

config.py配置如下:

#超分倍率
scale=2
#参数路径,可更换
model_path2 = r"C:\Users\Administrator\Downloads\ailab-Real-CUGAN\ailab-Real-CUGAN\Real-CUGAN\weights_v3\up2x-latest-no-denoise.pth"
# model_path2 = "weights_v3/up2x-latest-denoise3x.pth"e
model_path3 = r"C:\Users\Administrator\Downloads\ailab-Real-CUGAN\ailab-Real-CUGAN\Real-CUGAN\weights_v3\up3x-latest-denoise3x.pth"
model_path4 = r"C:\Users\Administrator\Downloads\ailab-Real-CUGAN\ailab-Real-CUGAN\Real-CUGAN\weights_v3\up4x-latest-denoise3x.pth"

#超分模式,视频or图像文件夹
mode="image"#video#image

#早期显卡开半精度不会提速,但是开半精度可以省显存。
half=True
#tile分为0~4一共5个mode。0在推理时不对图像进行切块,最占内存,mode越提升越省显存,但是可能会降低GPU利用率,降低推理速度
tile=3

#超图像设置
device="cuda:0"#0代表卡号,多卡的话可以写不同config并行开,显存多的话一张卡也可以开多个
input_dir="C:\Users\Administrator\Desktop\inputpicture"#输入图像路径
output_dir="C:\Users\Administrator\Desktop\outputpicture"#超分图像输出路径

#超视频设置
inp_path="../东之伊甸4raw-clip10s.mp4"
opt_path="../东之伊甸4raw-clip10s-2x.mp4"
#线程数:6G显存<=720P可写2,6G显存+1080P写1,12G可写2,24G可写4,边缘显存量爆显存降低线程数
nt=2
#显卡数
n_gpu=1
#别乱动
p_sleep=(0.005,0.012)
decode_sleep=0.002
#编码参数,不懂别乱动;通俗来讲,crf变低=高码率高质量,slower=低编码速度高质量+更吃CPU,CPU不够应该调低级别,比如slow,medium,fast,faster
encode_params=['-crf', '18', '-preset', 'medium']

文件具体说明如下

config文件说明:
a. 通用参数设置

mode: 在其中填写video或者image决定超视频还是超图像;
scale: 超分倍率;
model_path: 填写模型参数路径(目前3倍4倍超分只有3个模型,2倍有4个不同降噪强度模型和1个保守模型);
device: 显卡设备号。如果有多卡超图片,建议手工将输入任务平分到不同文件夹,填写不同的卡号;
超图像,需要填写输入输出文件夹;超视频,需要指定输入输出视频的路径。
cache_mode:根据个人N卡显存大小调节缓存模式.mode2/3可超任意大小分辨率(瓶颈不在显存)图像0: 默认使用cache缓存必要参数
1: 使用cache缓存必要参数,对缓存进行8bit量化节省显存,带来15%延时增长,肉眼完全无法感知的有损模式
2: 不使用cache,有损模式。耗时约增加25%,仅在有景深虚化的图里有微小的误差,不影响纹理判断
3: 不使用cache,无损模式。耗时约为默认模式的2.5倍,但是显存不受输入图像分辨率限制,tile填得够大,1.5G显存可超任意分辨率

tile: 数字越大显存需求越低,相对地可能会小幅降低推理速度 {0, 1, x, auto}
0: 直接使用整张图像进行推理,大显存用户或者低分辨率需求可使用
1: 对长边平分切成两块推理
x: 宽高分别平分切成x块推理
auto: 当输入图片文件夹图片分辨率不同时,填写auto自动调节不同图片tile模式,未来将支持该模式。
alpha: 该值越大AI修复程度、痕迹越小,越模糊;alpha越小处理越烈,越锐化,色偏(对比度、饱和度增强)越大;默认为1不调整,推荐调整区间(0.7,1.3);
half: 半精度推理,>=20系显卡直接写True开着就好


 如果使用windows路径,建议在双引号前加r
b. 超视频设置

nt: 每张卡的线程数,如果显存够用,建议填写>=2
n_gpu: 使用显卡张数;
encode_params: 编码参数 {crf,preset}crf: 通俗来讲,crf变低=高码率高质量
preset: 越慢代表越低编码速度越高质量+更吃CPU,CPU不够应该调低级别,比如slow,medium,fast,faster

官方给我们提供了如下模型

  • 降噪版:如果原片噪声多,压得烂,推荐使用;目前2倍模型支持了3个降噪等级;
  • 无降噪版:如果原片噪声不多,压得还行,但是想提高分辨率/清晰度/做通用性的增强、修复处理,推荐使用;
  • 保守版:如果你担心丢失纹理,担心画风被改变,担心颜色被增强,总之就是各种担心AI会留下浓重的处理痕迹,推荐使用该版本;但对于较模糊、渣清的视频,修复程度不会比降噪版更好。
  • up2x代表超分两倍,conservative代表保守版,no-denoise 代表无降噪版 denoise代表降噪版

按照说明修改config.py

运行项目

当你按照如上配置修改并确定想运行的时候,只需以管理员身份运行 go.bat等着输出结果即可

总结

相比其他平台所开源出的算法,B站的算法对于超分动漫显然是更优秀的,因为B站拥有足够多番剧资源来训练超分模型,在我对比其余超分模型还是B站修复的更好,如果想要超分动漫,那么这个模型可能就是您的不二之选。

原创声明,本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

登录 后参与评论
0 条评论

相关文章

  • B站开源自研动漫超分辨率模型,助力动漫UGC视频高清化

    4K/8K内容缺乏始终是超高清视频产业发展的痛点,完善渠道、拍摄制作水平、技术等方面的不足是关键。随着软硬件能力的提升,4K的消费能力大幅提高,为了应对这种情况...

    LiveVideoStack
  • 1.5K star量,上古老番变4K,B站开源超分辨率算法

    来源:机器之心本文约1200字,建议阅读5分钟本文为你介绍B站AI实验室的最新成果。 喜欢看动漫的人经常会被一些经典作品的情节所吸引,不过画面质量是欣赏下去的大...

    数据派THU
  • 1.5K star量,上古老番变4K,B站开源超分辨率算法

    喜欢看动漫的人经常会被一些经典作品的情节所吸引,不过画面质量是欣赏下去的大敌 —— 那些超过十年历史的内容自不必说,直到现在,很多动画的实际分辨率也只是 720...

    机器之心
  • 快来尝鲜!移动开发者实现AI业务的必选神器——飞桨移动端部署工具LiteKit

    目前,越来越多的AI场景将AI能力直接部署在移动端,其优势主要在于实时、省流、以及安全性等方面。这些AI能力给移动端产品带来巨大的想象空间,促进了移动互联网下半...

    用户1386409
  • 强烈安利试试这个!效果爆炸的漫画变身AI,火到服务器几度挤爆

    提供在线玩法的网站(链接见文末),就是那个著名的抱抱脸 (Hugging Face)。

    量子位
  • 除了B站,还有A,C,D,E,F,G,H,I,J,K,L,M,N,O,P站

    现在B站越来火。在B站上我们可以学习,看动漫,看短视频,看直播。当然你也可以自己做up主,发表视频。最近连小米创始人雷军也入驻B站了。然而,除了B站,还有A站,...

    Lvshen
  • B站已上市?那么VR+二次元,会擦出什么样的火花

    VRPinea
  • 20年后,我们这样看春晚

    小时候,每个除夕夜一家人都会守在小小的彩电之前看春晚。 20年后,小彩电变成大大的液晶显示屏,一家人看着高清直播参与现场互动。 随着视频产品、技术、生态不断的升...

    腾讯云音视频
  • MacOS最强视频下载工具Downie 4

    为便于在线观看视频,大家一定曾尝试过各种开源的视频下载软件,或用迅雷下载,前者的这些工具通常操作复杂,还经常失效而不再维护,如果是非会员的话有时限速或磁链被屏蔽...

    Mac精选
  • 产品分享 | 如何用AI打造爆款互动玩法

    随着科技的快速发展,AI技术为各行各业注入新的生命力,成为公众日常使用的技术之一。尤其是在泛娱乐领域,AI为视频编辑、互动营销、视频直播等场景赋予了更多样、更有...

    腾讯云TI平台
  • 音视频技术开发周刊 | 177

    在 WebRTC 中,Audio 数据在被送入编码器之前,有 2 大部分需要特别关注,一是数据采集,二是 Audio Processing。

    LiveVideoStack
  • 清朝人如何变戏法?带你来看AI修复的1904年老电影(滑稽慎入)

    首先,一位“中国”戏法师举着油纸伞扇着扇子、迈着轻快的小步快速登场,晃悠好几圈之后开始“施法”,biu,一张凳子,biu,又变出一张凳子。

    量子位
  • 事半功倍的图片资源宝藏,个个都是黑科技

    在当今互联网生活中,无论是做设计、写文章、创作、写PPT等,都会接触到图片、视频和音频这些资源。那么我们该去哪里去找一些优质的免费资源呢?

    程序员纬度
  • 我试了下《复仇者联盟》AI换脸系列,当了英雄的我现在很慌...

    《复仇者联盟4:终局之战》上映已经有一段时间了,内地累计票房便已突破20亿。电影精彩之处离不开钢铁侠、雷神、美国队长等各位超级英雄的实力支撑。

    小小詹同学
  • 我试了下《复仇者联盟》AI换脸系列,当了英雄的我现在很慌...

    《复仇者联盟4:终局之战》上映已经有一段时间了,内地累计票房便已突破20亿。电影精彩之处离不开钢铁侠、雷神、美国队长等各位超级英雄的实力支撑。

    统计学家
  • 我试了下《复仇者联盟》AI换脸系列,当了英雄的我现在很慌...

    《复仇者联盟4:终局之战》上映已经有一段时间了,内地累计票房便已突破20亿。电影精彩之处离不开钢铁侠、雷神、美国队长等各位超级英雄的实力支撑。

    大数据文摘
  • B站技术up修复70年前《抗美援朝》,彩色4K分辨率重见英雄

    受到技术限制,以前(很久以前)的老电影、老照片、历史记录都是黑白色的,在看惯了彩色电视的今天,虽然黑白视频有着历史感,但代入感不如彩色强。

    新智元
  • 穿越时空的深情注视!让老照片“动”起来!

    过去的点点滴滴组成了今天的我们,有一些分离不小心成了永别,老照片承载了一个普通人沉甸甸的过去和回忆。但是随着岁月流逝,老照片逐渐老化腐蚀,珍贵的记忆就要随之离去...

    用户1386409
  • 影视级跨平台视频制作技术的落地实践

      //   编者按:近年来,视频形式的多元展现形式被更多行业所认可,视频技术在跨行业中的应用,被赋予了更多可能性与趣味性。不同行业间生产内容的多样性与差异化让...

    LiveVideoStack

扫码关注腾讯云开发者

领取腾讯云代金券