【深度相机系列二】深度相机原理揭秘--飞行时间(TOF)

深度相机按照深度测量原理不同,一般分为:飞行时间法、结构光法、双目立体视觉法。本文就来说一说飞行时间法。

飞行时间是从Time of Flight直译过来的,简称TOF。其基本原理是通过连续发射光脉冲(一般为不可见光)到被观测物体上,然后接收从物体反射回去的光脉冲,通过探测光脉冲的飞行(往返)时间来计算被测物体离相机的距离。

TOF法根据调制方法的不同,一般可以分为两种:脉冲调制(Pulsed Modulation)和连续波调制(Continuous Wave Modulation)。

飞行时间法深度测量基本原理示意图

脉冲调制

脉冲调制方案的原理比较简单,如下图所示。它直接根据脉冲发射和接收的时间差来测算距离。

光脉冲法工作原理示意图

脉冲调制方案的照射光源一般采用方波脉冲调制,这是因为它用数字电路来实现相对容易。接收端的每个像素都是由一个感光单元(如光电二极管)组成,它可以将入射光转换为电流,感光单元连接着多个高频转换开关(下图的G0,G1)可以把电流导入不同的可以储存电荷(下图S0,S1)的电容里。

相机上的控制单元打开光源然后再关闭,发出一个光脉冲。在同一时刻,控制单元打开和关闭接收端的电子快门。接收端接收到的电荷S0被存储在感光元件中。

然后,控制单元第二次打开并关闭光源。这次快门打开时间较晚,即在光源被关闭的时间点打开。新接收到的电荷S1也被存储起来。具体过程如下图所示。

因为单个光脉冲的持续时间非常短,此过程会重复几千次,直到达到曝光时间。然后感光传感器中的值会被读出,实际距离可以根据这些值来计算。

记光的速度为c,tp为光脉冲的持续时间, S0表示较早的快门收集的电荷, S1表示延迟的快门收集的电荷,那么距离d可以由如下公式计算:

最小的可测量距离是:在较早的快门期间S0中收集了所有的电荷,而在延迟的快门期间S1没有收集到电荷,即S1 = 0。代入公式会得出最小可测量距离d=0。

最大的可测量的距离是:在S1中收集了所有电荷,而在S0中根本没有收集到电荷。然后,该公式得出d= 0.5 x c × tp。因此最大可测量距离是通过光脉冲宽度来确定的。例如,tp = 50 ns,代入上式,得到最大测量距离d = 7.5m。

优点:

  1. 测量方法简单,响应较快
  2. 由于发射端能量较高,所以一定程度上降低了背景光的干扰

缺点:

  1. 发射端需要产生高频高强度脉冲,对物理器件性能要求很高
  2. 对时间测量精度要求较高
  3. 环境散射光对测量结果有一定影响

连续波调制

实际应用中,通常采用的是正弦波调制。由于接收端和发射端正弦波的相位偏移和物体距离摄像头的距离成正比(见后面推导),因此可以利用相位偏移来测量距离。

连续波调制原理示意图

连续波调制的测量原理相对脉冲调制来说复杂一些,我们以最常用的连续正弦波调制来推导一下测量的原理。

连续正弦波调制测量方法示意图

连续正弦波调制测量方法,具体的推导过程如下。序号1-9对应下图的公式1-9。

  1. 假设发射的正弦信号s(t)振幅是a,调制频率是f
  2. 经过时延 △t后接收到的信号为接收r(t),衰减后的振幅为A,强度偏移(由环境光引起)为B
  3. 四个采样时间间隔相等,均为T/4
  4. 根据上述采样时间可以列出四个方程组
  5. 从而可以计算出发射和接收的正弦信号的相位偏移△φ
  6. 据此可以根据(6)中公式计算物体和深度相机的距离d
  7. 接收信号的衰减后的振幅A的计算结果
  8. 接收信号强度偏移B的计算结果,反映了环境光
  9. A, B的值间接的反应了深度的测量精度,深度测量方差可以用公式9近似表示。

连续正弦波调制公式推导

优点:

  1. 相位偏移(公式5)中的(r2-r0)和(r1-r3)相对于脉冲调试法消除了由于测量器件或者环境光引起的固定偏差。
  2. 可以根据接收信号的振幅A和强度偏移B来间接的估算深度测量结果的精确程度(方差)。
  3. 不要求光源必须是短时高强度脉冲,可以采用不同类型的光源,运用不同的调制方法

缺点:

  1. 需要多次采样积分,测量时间较长,限制了相机的帧率
  2. 需要多次采样积分,测量运动物体时可能会产生运动模糊。

总结

目前的消费级TOF深度相机主要有:微软的Kinect 2、 MESA 的 SR4000 、Google Project Tango 中使用的PMD Tech 的TOF深度相机等。这些产品已经在体感识别、手势识别、环境建模等方面取得了较多的应用,最典型的就是微软的Kinect 2。

TOF深度相机对时间测量的精度要求较高,即使采用最高精度的电子元器件,也很难达到毫米级的精度。因此,在近距离测量领域,尤其是1m范围内,TOF深度相机的精度与其他深度相机相比还具有较大的差距,这限制它在近距离高精度领域的应用。

但是,从前面的原理不难看出,TOF深度相机可以通过调节发射脉冲的频率改变相机测量距离;TOF深度相机与基于特征匹配原理的深度相机不同,其测量精度不会随着测量距离的增大而降低,其测量误差在整个测量范围内基本上是固定的;TOF深度相机抗干扰能力也较强。因此,在测量距离要求比较远的场合(如无人驾驶),TOF深度相机具有非常明显的优势。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI研习社

推荐三个 Udacity 无人驾驶纳米项目的感知项目

本文为 AI 研习社编译的技术博客,原标题 Perception Projects from the Self-Driving Car Nanodegree P...

34820
来自专栏深度学习与数据挖掘实战

【AI头条优质资源】从Facebook AI Research开源fastText谈起文本分类:词向量模性、深度表征和全连接

作为这个产品技术团队之一,简单说下这个过程: 1,按类目特征,拉取这个类目下的评论,进行分词,统计词频; 2,对词进行聚类,包含常用的LDA,结合本体库,将词进...

13430
来自专栏量子位

谷歌开源MobileNets:在移动设备上高效运行的计算机视觉模型

吴唯 编译自 Google Research Blog 量子位出品 | 公众号 QbitAI 今早谷歌在自家的科研博客上发文,宣布开源MobileNets——一...

32640
来自专栏新智元

AI当“暖男”:给裸照自动穿上比基尼

【新智元导读】AI可以用来鉴黄,但有时会把含裸女的古典名画过滤掉。巴西的一组研究人员在JICNN上展示了一种新方法,使用生成对抗网络,给女性裸体照“穿上”比基尼...

15120
来自专栏CSDN技术头条

如何选择Spark机器学习API

译者注:本文简要介绍了四种经典的机器学习算法。 本文将简要介绍Spark机器学习库(Spark MLlib’s APIs)的各种机器学习算法,主要包括:统计算法...

21660
来自专栏AI研习社

无需编程,仅用摄像头,Google 最新项目让你 3 分钟学会机器学习 | 雷锋网

得益于各种套件,今天的机器学习的门槛已经越来越低。但 Google 显然并不满足于此,其最新推出了 Teachable Machine 项目,让用户无需编程就可...

384100
来自专栏量子位

Mask R-CNN源代码终于来了,还有它背后的物体检测平台

夏乙 编译整理 量子位 出品 | 公众号 QbitAI “等代码吧。” 从Mask R-CNN论文亮相至今的10个月里,关于它的讨论几乎都会以这句话收尾。 ?...

484100
来自专栏AI科技大本营的专栏

玩音乐,敲架子鼓,一个被“耽误了”的机器学习高手

多数伏在案前敲击键盘的程序员或许都曾憧憬:黑框眼镜、格子衬衫、脚踩凉拖背后的另一番模样的自己。

11130
来自专栏数据派THU

吴恩达新书《Machine Learning Yearning》中7个实用建议(附论文)

《Machine Learning Yearning》是人工智能和深度学习界的专家吴恩达写的一本书,这本书致力于讲明白机器学习算法是怎样工作的,以及如何构建一个...

14640
来自专栏数据派THU

收藏 | 27个机器学习小抄(附学习资源)

20640

扫码关注云+社区

领取腾讯云代金券