专栏首页新智元阿波罗登月51周年!程序员用DAIN技术还原阿波罗登月高清影像,效果震撼

阿波罗登月51周年!程序员用DAIN技术还原阿波罗登月高清影像,效果震撼

新智元报道

来源:science alert

编辑:雅新

【新智元导读】7月20日是阿波罗登月51周年。一位YouTube名为DutchSteamMachine的程序员使用AI技术修复了阿波罗登月的原始影像,将登月镜头的像素从每秒12帧提升到每秒60帧,效果令人震撼。

7月20日是阿波罗登月51周年。1969年7月20日,尼尔阿姆斯特朗成为登月第一人,他在月球上迈出的一步是令人难以置信的一步。

想当年,阿姆斯特朗的声音通过电视传到了世界的各个角落,并写入历史:「对一个人来说,这是一小步,但对人类来说,这是一次飞跃。」

观看阿波罗登月的所有历史性镜头令人兴奋又激动,但有时观影质量体验并不是那么好。尽管NASA致力于恢复和增强一些最流行的阿波罗影像,但其中一些镜头仍然模糊不清。

近日,一位YouTube名为DutchSteamMachine的照片和电影恢复专家,使用 AI 技术来增强阿波罗原始影像的效果,从而制作出清晰,生动的视频剪辑和图像。

他告诉《今日世界》杂志,「我想提供一个前所未有的复现旧影像的体验。」

登月镜头像素提升至60 FPS,如同观赏1080p的影片

一起来感受下Charlie Duke 和 John Young一起进行的阿波罗16号月球车穿越过程中的增强镜头,通过AI修复,最初以每秒12帧(FPS)拍摄的镜头已提升到每秒60帧。

看看这凹凸不平的月球,如此清晰的画面简直令人惊叹,第一视角让人身临其境。

在增强的阿波罗15号 Hadley Rille 着陆点景象中,月球表面的清晰景象让人震撼,每一个坑洼都清清楚楚,即便没有VR眼镜,也完全让你感受到自己登上了月球。

再看尼尔阿姆斯特朗在Apollo 11 进行登月的「第一步」视频的增强版中由月球模块内部的16mm摄像机拍摄的清晰度如何?

登月第一人的脚重重地踏在月球表面,右脚后扬起了土的画面都那么清晰。

不仅如此,这些录像还同步了特定任务的原始音频,如果仔细听,可以听到宇航员说话的声音。

通过AI高清还原的阿波罗号的镜头,带我们去月球游玩了一圈。

视频是怎么修复的?用了AI开源工具DAIN

DutchSteamMachine使用的AI称为深度感知视频帧INterpolation,简称DAIN。这是一个免费开源的的项目,并且不断得到开发和完善。

DAIN:深度感知视频帧插值(DAIN)模型,通过探索深度信息来显式地检测遮挡。该项目开发了一个深度感知流动投影层,优选取样更近的物体,以合成中间流插补视频帧。

开源地址:https://grisk.itch.io/dain-app

运动插值或运动补偿帧插值是视频处理的一种形式,其中在现有帧之间生成中间动画帧,以使视频更加流畅,补偿模糊等。

DutchSteamMachine表示,「人们已经使用相同的AI项目将1900年代的旧电影录音带入了高清和彩色的生活。这项技术似乎适用于许多新的镜头,这是一件了不起的事情。」

此前,90后程序员大谷用AI修复了100年前老北京影像,并还原影视原声也曾是火出了圈,其中也用到了DAIN技术。

这位作者在这里面一共用了3个在GitHub上开源的AI程序,第一个是负责做补帧的DAIN,第二个是做分辨率扩增的ESRGAN,第三个是上色的DeOldify,综合到一起才做成了这个视频。

使用AI进行修复需要一个功能强大的高端GPU才能完成。DutchSteamMachine解释道,「短短5分钟的视频可能需要6到20个小时才能完成,但结果不言而喻。」

他阐述了他是如何进行这项工作的:

1.寻找质量最高的源视频,恰恰作者找到的这些源视频是高比特率的720p视频文件,因为在尽可能高的源视频进行编辑是更加有助于还原视频高清晰度。

2.找到拍摄镜头的帧率,通常可以在NASA文档中找到。由于有时帧率似乎不正常或波动,并非总是按预期运行。因此,找到帧率的最佳方法是听宇航员正在谈论的地标,并将镜头与之匹配。

3.将源文件分成单独的PNG帧,将它们与输入帧率(1、6、12或24)以及按插值率(2x,4x,8x)所需的输出帧率一起输入到AI。AI开始使用GPU,并查看两个连续的真实帧。

4.应用颜色校正,因为源文件通常带有蓝色或橙色。再将素材与音频同步。

DutchSteamMachine会在业余时间完成这项工作,并将其发布到他的YouTube主页。他还有一个Flickr页面,其中包含更多增强的图像,每张图像重现了过去的景象,令人着迷。

Flickr:https://www.flickr.com/people/steamarchive/

DutchSteamMachine希望「为将来保留过去」,期待他下一个AI修复视频~

参考链接:

https://www.sciencealert.com/watch-this-old-apollo-footage-get-upgraded-into-a-60-fps-masterpiece

本文分享自微信公众号 - 新智元(AI_era),作者:新智元

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-07-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • AI换脸终结者问世!美国防部推首款AI侦测工具,“反换脸”精度99%!

    【新智元导读】美国防部研发出了全球首款“反AI变脸刑侦检测工具”,专用于检测AI变脸/换脸造假技术。如今,以GAN为代表的AI换脸术盛行,相应的人脸检测识别技术...

    新智元
  • 【换脸AI升级版】面部表情、身体动作、视线方向都能实时迁移

    新智元
  • ZAO有风险!开源换脸工具FakeSwap今登GitHub排行榜,你也可以玩!

    换脸AI ZAO仍排在免费App下载排行榜第一名,但自8月31日上线以来,ZAO已经被负面评论淹没。与其说是一款“爆品”,ZAO更像一款“雷品”。

    新智元
  • 用JS开发跨平台桌面应用,从原理到实践

    使用Electron开发客户端程序已经有一段时间了,整体感觉还是非常不错的,其中也遇到了一些坑点,本文是从【运行原理】到【实际应用】对Electron进行一次系...

    ConardLi
  • Php开发过程中不常碰到的error (2.25更新)

    这个不仅存在于页面解析当中,当使用 curl 请求时拼接的参数有这种格式的也会发生转义

    猿哥
  • WMI技术介绍和应用——WMI概述

            今天,我要开始一系列关于微软WMI技术的介绍。通过之后若干节的介绍,我想WMI技术将为在windows平台上从事开发的朋友开启另外一扇窗。(转载...

    方亮
  • WMI ——重写版

    本文是以WMI的重写版,本来这份笔记会更长,原版的笔记以Black Hat 2015的Abusing Windows Management Instrument...

    徐焱
  • 没有数据分析思路,该怎么办?

    很多同学苦于没有数据分析思路,工作中要么是对着数据发呆,要么不知道怎么用数据来论证业务问题。上网查文章,看到的都是:什么结构思维、对比思维、底层思维这种似懂非懂...

    接地气的陈老师
  • SQL*Plus copy 命令处理大批量数据复制

        对于数据库表级上的数据复制,我们最常用的是CREATE TABLE AS(CTAS)..方式。其实在SQL*Plus下面copy命令可以完成同样的工作,...

    Leshami
  • shiny入门课【3.布局指引】

    用户2936342

扫码关注云+社区

领取腾讯云代金券