Facebook Surround360 学习笔记--(4)色彩/视差不一致问题

surround360的开源资料地址: 下载好代码和测试数据集,配置好环境,关于环境配置可以参考这篇博客,写的挺详细: 运行代码的说明可以参考这篇博客: 跑一下程序看看效果。代码跑一遍还是比较慢的,如果顺利的话,会生成如下两张左右眼视差图:

从结果来看,天空、地面和中间融合的很好,用VR眼镜看的话,视差没有什么错误,色彩也很一致,几乎看不到任何不适的地方。这一切需要 以下几个保障:

  • surround360严苛的硬件保证极大减轻了算法的负担。硬件的要求见上一篇博客 《 Facebook Surround360 学习笔记–(3)硬件设计要点》
  • Surround360关闭了所有相机的自动颜色校正、自动曝光等功能。并且使用专用的颜色板在光照可控的环境下用所有相机进行拍摄并建立了颜色校正矩阵,从而保证拍摄的原始图片色彩一致性非常高。
  • 如果两张待融合的图片色彩差别较大,拼接算法会选择它认为更接近场景的一种颜色,从而避免产生ghosting。

但是,如果自己设计硬件,采用不同的设计方案,可能因为一些原因比如:硬件制造精度达不到,相机数目不同,相机的品牌不同(毕竟不是谁都能随随便便买十几个Point Gray玩)等,很难得到和surround360一样高质量的结果。

如果使用自己的设备,产生色彩/视差不一致问题,如何改进呢?下面给出几种可能的解决方案。

1、配置选择

在跑python 脚本 ‘run_all.py’ 之前, 需要做一些配置选择:

  • 计算 rectify。用来做几何光束平叉,将侧面相机拍摄的所有图片校正到同一个水平线上。
  • 勾选 “enable_render_coloradjust”。勾选后,需要跑两次代码,第一次跑完后会生成一个名字为 brightnessadjust.txt的文件,其中存储的是对每个相机做的一个色彩微调。第二次再跑代码的时候,就会把上次的微调结果加入到当前的图片中。

2、光流计算

  • 在计算光流时,通常图像的分辨率越高,光流计算结果越准确。surround360 最大输出可以达到8k。 在6k分辨率下: eqr_width=6300,eqr_height=3072。 在8k分辨率下: eqr_width=8400,eqr_height=4096。
  • 光照强度对光流计算影响也非常大,如果拍摄的图片曝光过度或者曝光不足,或者图片中包含很多的噪声,光流计算可能会出现问题。
  • 色彩不一致也会影响光流计算,所以需要使能 enable_render_coloradjust。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能头条

基于Spark的异构分布式深度学习平台

3348
来自专栏新智元

机器学习实践:用 Spark 和 DBSCAN 对地理定位数据进行聚类

【新智元导读】数据专家 Natalino Busa 在本文中讨论了如何从大量的定位事件中获取用户的活动区域来构建基于位置的服务。他经过论证得出,DBSCAN算法...

4528
来自专栏机器人网

[学习}28 款 GitHub 最流行的开源机器学习项目

现在机器学习逐渐成为行业热门,经过二十几年的发展,机器学习目前也有了十分广泛的应用,如:数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊...

4018
来自专栏携程技术中心

干货 | 去哪儿酒店算法服务平台

作者简介 张中原,2011年加入去哪儿网,先后从事交易系统、酒店数据、公司基础平台与组件、存储和监控等相关工作,曾长期担任应届生技术培训和指导。 最近几年时间,...

43010
来自专栏AI科技评论

深度 | 基于移动设备的机器学习,本地与云端孰优孰劣?

AI科技评论按:如果您觉得,是时候给自己的手机应用添加一些热门的机器学习或深度学习算法.....这是个好想法!但您会怎么选择?致力于提供算法服务及小白科普的咨询...

3246
来自专栏大数据

用R语言进行文本挖掘和主题建模

我们每天都会遇到各种各样的文本数据 - 但大部分是非结构化的,并不是全部都是有价值的。请继续阅读以了解文本挖掘如何提供帮助。

3981
来自专栏目标检测和深度学习

资源 | Texture:一个优雅的开源学术论文书写工具

机器之心整理 作者:思源 近日,Substance 在 GitHub 上开源了一个用于结构文本的文字处理工具 Texture,他们表示该工具像 LaTeX 一样...

38410
来自专栏程序你好

深度学习框架机器学习的开源库TensorFlow

841
来自专栏DHUtoBUAA

基于电子海图的水面无人艇全局路径规划

Research and Implementation of Global Path Planning for Unmanned Surface Vehicle...

3775
来自专栏AI科技评论

开发 | Google发布自然语言处理解析器SLING,免除模块化分析级联效应产生的缺陷

AI科技评论消息,日前,Google发布自然语言框架语义解析器SLING,它能以语义框架图(semantic frame graph)的形式,将自然语言文本直接...

3687

扫码关注云+社区

领取腾讯云代金券