前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >计算摄影技术:身怀绝技的扫地僧

计算摄影技术:身怀绝技的扫地僧

作者头像
小白学视觉
发布2019-07-22 18:14:38
1.2K0
发布2019-07-22 18:14:38
举报
文章被收录于专栏:深度学习和计算机视觉

作者:Wang Hawk 原文:https://zhuanlan.zhihu.com/p/51490200

一. 计算摄影学介绍

既然你已经打开了这篇文章,我想你一定是对计算摄影学非常好奇。计算摄影是什么?它跟数字图像处理有什么区别?跟现在大火的计算机视觉有什么区别?跟传统的摄影有什么区别?

计算摄影学方面的人才非常的分散和缺乏,而有很多人对这个领域很感兴趣,特别是很多偏工程师背景的朋友。然而虽然现在国内有很多计算机视觉、计算机图形学方面的书籍,但专门的系统性谈计算摄影学这个领域的资料却不够多,而且比较分散,同时还存在着很难让工程师背景的朋友看懂的问题。

希望这篇文章能部分解答你的疑问。

二. 计算摄影是什么?

百度翻译后的维基百科这样说: “计算摄影是指使用数字计算而不是光学处理的数字图像捕获和处理技术。计算摄影可以提高照相机的能力,或者引入基于胶片的摄影根本不可能的特征,或者降低照相机元件的成本或尺寸。计算摄影的实例包括数字全景图的照相机内计算、高动态范围图像和光场照相机。光场照相机使用新的光学元件来捕获三维场景信息,然后这些三维场景信息可以用于产生3D图像、增强的景深和选择性去聚焦(或“后聚焦”)。增强的景深减少了对机械聚焦系统的需要。所有这些特征都使用计算成像技术。”

上面的这一大段话,对于初次接触的人来讲,显得非常的晦涩。而实际上,正如下图所示,计算摄影是计算机图形学,计算机视觉,光学和传感器等领域的交叉学科,而且在很多领域都有重要的应用。[以下的插图和视频若不加特别说明都引用自[1],CMU 2017年秋季的计算摄影学课程讲义。]

计算摄影学是交叉学科 计算摄影学是交叉学科 让我们先从摄影讲起。传统的摄影由如下图所示三个部分组成,其中光学器件用于将入射光汇聚到胶片上,胶片感光,最后在暗室内通过化学手段最终成像。

到了数码摄影时代,传感器代替了胶片,而机身处理器代替了暗室,就像下图所示:

而到了我们现在所讲的计算摄影的领域,上述每一个组件都可以有新的形态。例如,我们可以用强大的图像算法,对传感器所获取的信息做任意的处理,得到丰富多彩的效果

这里的典型应用有:

图像风格化

HDR

图像融合

自动图像拼接

大规模图像数据集信息挖掘

Mining Time-Lapse Videos

我们不仅仅可以利用强大的图像算法来做图像的处理,还可以对光学部分做革命性的更新,如下图所示:

这里,光场相机以及现在大家已经大规模接受的手机双摄像头都是典型的应用,利用这两者都可以实现拍照后对焦,模拟单反浅景深等效果

有人甚至提出了可以取消掉光学系统中的镜头,创造所谓的FlatCam:

从传感器的角度讲,传统摄影时,不管是胶片还是普通传感器,都是为了获取可见光,而在计算摄影的领域,传感器也可以有新的变化。例如,微软出的Kinect就是典型的TOF相机,用于获取场景的深度。Iphone X所用的前置摄像头则采用了激光散斑结构光技术,也是为了获取精确的人脸三维数据。

所以总结起来,相比传统的摄影,计算摄影可以从光学、传感器、图像处理等方方面面加以变化,实现很多传统摄影根本无法想象的效果。

再给大家看一个神奇的视频:利用计算摄影技术,我们甚至能够透过墙壁看到背后的物体。

How to see around corners

三. 参考资料

主要以国外著名大学的计算摄影学课程讲义为基础,再加上自己对其中所讲述的内容的Python Notebook仿真,来撰写一系列的文章。这样可以帮助读者即能够掌握计算摄影学所必须的理论知识,也能够理论联系实际,搞清楚公式和实际代码的联系。如果你看了这些文章能够得到一些启发,甚至开发出新的有趣的应用和产品,那是更好不过。

目前的计划是以CMU的2017年秋季的计算摄影学课程15-463为主线来撰写一系列文章,必要时再参考如下的一些资料:

Computational Imaging and Display (Gordon Wetzstein, Stanford) Computational Photography (Derek Hoiem, UIUC) Computational Photography (James Hays, Brown) Computational Photography (Ramesh Raskar and Jack Tumblin, SIGGRAPH course) Digital and Computational Photography (Fredo Durand, MIT) Introduction to Computational Photography (Oliver Cossairt, Northwestern) Introduction to Visual Computing (Kyros Kutulakos, University of Toronto) Visual Computing Systems (Kayvon Fatahalian, CMU) 我希望我并不只是简单的翻译讲义,而是加入自己的解读,甚至自己用Python做的仿真实验。

如果你对我的文章感兴趣,觉得有用,请给我点赞,谢谢!

参考资料:

CMU 2017 Fall Computational Photography Course 15-463, Lecture 1

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2019-07-22,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 小白学视觉 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 一. 计算摄影学介绍
  • 二. 计算摄影是什么?
  • 三. 参考资料
相关产品与服务
图像处理
图像处理基于腾讯云深度学习等人工智能技术,提供综合性的图像优化处理服务,包括图像质量评估、图像清晰度增强、图像智能裁剪等。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档