前沿 | 一块玻璃也可以是相机,新型无镜头相机助力计算机视觉

选自IEEE Spectrum

作者:Mark Anderson

机器之心编译

计算机视觉处理高分辨率的图像需要非常多的计算量,因此很多数据集的图像分辨率都非常小。而近日,工程师们用一块玻璃、一个光电探测器和一些软件,开发了一种「透视」相机,这种不带镜头的相机能拍摄分辨率非常小的图像,并抽象出物体的主要轮廓。因此使用这种相机拍摄的图像能大量降低计算机视觉所需要的计算力。同时,他们也在开发用机器学习算法处理更复杂图像的技术。

以前的相机配备自己的专门设备,如镜头和胶卷,而且照相得去照相馆。后来,手机、平板电脑、笔记本电脑和视频游戏机都有了自己的照相功能。现在,相机似乎会在某天变得和玻璃一样不显眼,甚至它都不再需要镜头。

根据新的研究,压在窗户边缘的光电探测器可以检测玻璃内部的反射光,就像光信号穿过光缆一样。对检测到的微小光线进行一些巧妙的处理,可以让玻璃面板成为一个巨大的照相机镜头。

由这种相机产生的粒状图像(想象一下像素化、失真和分辨率较低的图像)虽然暂时还没法和传统相机的效果相比。但是对于很多计算机视觉任务来说,窗玻璃或一块汽车挡风玻璃拍摄的分辨率足以满足图像处理算法或神经网络所需的信息。

这是他们对 LED 阵列图像的拍摄效果:

其中左列是原始图像,中间列是图像传感器接收到的输入,右列是计算机重构后的图像。

犹他大学电气和计算机工程副教授 Rajesh Menon 说,现代照相机拍摄的图像中,其实有很多是我们用肉眼无法看到的。它们只能被用来处理安全的照相机算法或自动车辆图像传感器看到,而这些我们肉眼无法看到的图像正变得越来越多。

所以,Menon 问道,「如果机器相比人类能够看到的图像和视频更多,那我们为什么不考虑为机器重新设计相机呢?这样能让我们脱离之前的窘境,以非人类的角度来看待相机。」

换而言之,计算机视觉算法并不如人眼那样总需要高分辨率和高图像保真率。它们能从 Menon 和 Ganghun Kim 的「透明无镜头相机」中获得大量信息,即使它拍摄的图像质量并不高,这样成本和占用面积都会大量减小。他们的技术已经申请了专利,该技术对视觉媒介本身并没有要求,可以是玻璃、塑料或有机玻璃等。

他们将一个现成的光电探测器(8 分辨率、640×480 像素)连接到有机玻璃的边缘,平滑连接的边缘且准备与成像设备连接。他们随后在有机玻璃其余周边放置反光带。Menon 说他们可以在没有反光带的情况下成像,只不过反光带提高了信噪比。

对于这种概念验证,实验只需要保持简单的视野。他们在窗格前放置了一排尺寸为 32X32 的 LED 灯。然后,当 1024 束光各自被照亮时,他们观察到达光电探测器的信号。因此,来自 LED 阵列的任何图像,至少在一级近似中,将仅仅是每个点亮的单独 LED 灯信号的线性组合。

如果机器相比人类能够看到的图像和视频,那我们为什么不考虑为机器重新设计相机呢?——犹他大学,Rajesh Menon

Menon 表示,在这个项目中,他们开发了一种传统信号处理算法,它能够借助光电探测器接收的信号重构图像。他们把这一步称为「反转问题」,因为他们的算法利用复杂、混乱的信号作为输入,并利用探测器检测到的光子来生成可能的目标。

「我们正在检测「光子」在与特定目标对应的空间中的分布,」他表示,「我们喜欢看一对一的图。相机的原理正是如此。此处用到的是一对多的图,因此我们要解决反转问题。」

这也是这些玻璃面板「相机」与计算机视觉相关的项目完美契合的原因。图像质量和可分解的信息对于计算机视觉来说可能已经足够好了,但还不能(也许永远都不能)取代基于镜头、拍给人看的传统相机。

Menon 提到,他的团队目前正在开发一种机器学习算法用于学习更复杂的图像,如可以被检测并识别为数值的手写数字。他指出,该技术可能首先被应用在 VR 或 AR 眼镜中。这些眼镜的图像生成和图像展示硬件已然非常笨重,眼球追踪摄像头可能是个累赘。因此,如果能够用这款不带摄像头的透视相机就能追踪用户的眼动并获取足够优质的信息该有多好。

用一项品质远远低于当前最佳水平的技术作为突破听起来非常讽刺。但 Menon 表示,或许转变思维方式,重新设计在 AI 及图像处理系统中「足够优质」的技术可以让我们前进一大步。就像苍蝇的眼睛一样,AI 世界里最重要的不是单个数据的品质,而是数据源的增殖能力。

这也是为什么相机和玻璃板在未来数年会越来越接近的原因,至少对于计算机视觉算法来说是这样。

论文:Computational imaging enables a「see-through」lens-less camera

论文地址:https://www.osapublishing.org/oe/abstract.cfm?uri=oe-26-18-22826

摘要:传统相机会遮挡需要记录的场景,而这里我们将一个图像传感器(没有镜头)放在透明窗口的边缘,并通过该窗口观察物体图像。这一过程首先可以通过图像传感器收集散射光,然后通过解光散射的逆问题来实现图像的重构。因此,我们能形成简单的图像,并且在物距 150mm、焦距 10mm 的情况下有 0.1 line-pairs/mm 的空间分辨率。我们进一步展示了两种物体的成像:LED 阵列和传统的 LCD 屏幕。最终,我们演示了彩色和视频成像。

原文链接:https://spectrum.ieee.org/tech-talk/computing/software/a-lensless-camera-built-specially-for-ai-and-computer-vision-programs-sorry-humans

本文为机器之心编译,转载请联系本公众号获得授权。

原文发布于微信公众号 - 机器之心(almosthuman2014)

原文发表时间:2018-08-31

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

【开发者的2018】GAN、AutoML、统一框架、语音等十大趋势

来源:medium 作者:Alex Honchar 翻译:刘小芹 【新智元导读】本文从开发者的角度,总结了GAN、AutoML、语音识别、NLP等已经可以用...

36660
来自专栏CreateAMind

智能机器的现实风险

当人们问我是干什么的,我常常对回答的深度感到困惑。说“人工智能”我很满意,但太宽泛,而说“图像处理”可能又太具体。然而,一听到接下的来的毫不相干的问题我总是气不...

9810
来自专栏Python攻城狮

DIKW模型与数据工程1.DIKW 体系2.数据工程领域中的DIKW体系3.数据工程 领域职业划分4.数据分析5.数据建模基础

DIKW体系是关于数据、信息、知识及智慧的体系,可以追溯至托马斯·斯特尔那斯·艾略特所写的诗--《岩石》。在首段,他写道:“我们在哪里丢失了知识中的智慧?又在哪...

20230
来自专栏灯塔大数据

荐读|大数据会撒谎?如何戳破大数据的谎言

数据科学家使用统计分析工具深度挖掘数据潜在的内容时经常会遭遇到大数据挖的坑,实际上这些坑并不是只有大数据才有,大自然本身就存在很多虚假的相关性,大数据只是更加...

30560
来自专栏AI科技评论

重磅 | 美国西北大学新系统在智力测试中超越75%民众,人类的推理能力也不及AI了?

你听过瑞文氏标准推理测试(Raven’s Progressive MatriCES)么?上面这张图就是一道标准的瑞文氏测试题目,是不是很眼熟?在公务员考试、一般...

36550
来自专栏钱塘大数据

【干货】不容错过的 30 个机器学习视频、教程&课程

导读:下面是 Analytics Vidhya 网站发表的文章,汇集了 2016 年机器学习经典视频、教材和课程,分类整理,初学者、进阶级还是资深研究员,都可以...

995110
来自专栏AI研习社

DeepMind 弹性权重巩固算法让 AI 拥有“记忆” ,将成机器高效学习的敲门砖

一直以来,计算机程序都是个“左耳进,右耳出”的“傻小子”,它们很快就会忘掉所做过的任务。DeepMind 决定改变传统的学习法则,让程序在学习新任务时也不忘掉旧...

34050
来自专栏大数据文摘

扎克伯格预言即将成真:计算机可解读图片内容

273130
来自专栏AI科技评论

李飞飞:在物体识别之后,计算机视觉还要多久才能理解这个世界?

AI科技评论按:9 月 26 日,机器人领域的顶级学术会议 IROS 2017 进入第二日。上午,著名华人计算机视觉专家、斯坦福副教授李飞飞,在温哥华会议中心面...

38660
来自专栏量子位

谷歌传奇Jeff Dean给创业者的一小时AI讲座 | 86页PPT+视频

李林 若朴 编译整理 量子位 出品 | 公众号 QbitAI ? 少年,你知道Jeff Dean么? 传奇一般的Jeff Dean现在领导着Google Bra...

37330

扫码关注云+社区

领取腾讯云代金券