首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >PointNet分享_1

PointNet分享_1

作者头像
点云PCL博主
发布2019-07-30 16:49:24
7180
发布2019-07-30 16:49:24
举报
文章被收录于专栏:点云PCL点云PCL

☞ 关于点云特征提取的方法有以下几种:

1. 基于手工特征的方法

这类方法首先在三维形状上提取手工特征, 进而将这些特征作为深度神经网络的输入,用以学习高层特征表示。其优势在于可以充分利用现有的低层特征描述深度学习模型。比如, Bu 等人首先将热核特征和平均测地距离等构成的低层特征通过 Bag-of-Feature 模型转化为中层特征,接着采用深度置信网络(DBN)从中层特征中学习高层特征表示, 并成功应用于三维形状检索与识别。 Xie 等人首先提取三维形状 Heat Kernel Signature 特征的多尺度直方图分布作为自编码机的输入,然后在每个尺度上训练一个自编码机并将多个尺度隐含层的输出连接得到特征描述子, 并在多个数据集上测试了该方法用于形状分类的有效性。这类方法的缺陷在于,其仍然依赖手工特征的选择与参数优化,因此在某种程度上损失了深度学习的优势,无法从根本上克服手工特征存在的问题。

2. 基于投影图像的方法

这类方法首先将三维形状投影到二维图像空间, 进而在二维图像上采用深度学习模型进行特征学习,其优势在于:

1) 可以充分利用二维图像领域性能优越的网络架构;

2)存在海量图像数据供深度学习模型进行预训练。

比如, Su 等人首先获得三维形状在 12 个与同视点下的投影图, 进而采用 VGG-M 卷积神经网络学习各个视点下投影图的特征,最后将多视点下的特征进行池化并送入下一个 CNN 网络中得到最后的形状特征。 Shi 等人通过沿主轴方向进行圆柱投影将三维形状转化为个全景图, 进而利用 CNN 从全景图中学习特征表示。由于在卷积层和全连接层之间加入了 Max-Pooling 操作,因此特征具有对绕主轴旋转的不变性。 Sinha 等人将三维形状参数化到球形表面, 进而将球形表面投影到八面体后展开成二维平面, 并采用主曲率或 HKS 在平面的分布获得二维图像,最后采用 CNN 网络从二维图像中学习特征表示。 Kalogerakis 等人在与同视点及尺度下获得三维形状的系列阴影图(Shaded Image)和深度图,进而采用全卷积网络(FCN)进行特征学习。

虽然这类方法通过变换能一定程度地保留三维物体的形状信息,但变换过程本身改变了三维形状的局部和全局结构,使得特征鉴别力下降。

此外,将三维形状进行投影损失了大量的结构信息,且这类方法通常要求三维形状在竖直方向上进行对齐。

3. 基于三维体素的方法

这类方法将三维形状视为三维体素网格中的概率分布,从而将其表示为二值或实值的三维张量。这类方法的优势在于三维体素完整保留了三维形状信息,有利于提高特征的鉴别力。

比如, Wu 等人将三维形状表示为二值概率分布,若体素在三维表面内则其值为 1,否则为 0,并采用卷积深度置信网络(CDBN)学习三维体素与标签之间的联合分布。 Xu 等人采用定向搜索对3DShapeNets 进行优化以减少 CNN 网络的参数数量并提高分类精度。 Xu 等人则把三维体素的每一层抽取出来组合成一个二值图像输入到 CNN 网络中进行特征学习。 为进一步降低计算量, Li 等人将三维形状表示成体素场(Volumetric Fields)以克服三维体素表示的稀疏性问题,并采用一个场探索滤波器(Field Probing Filter)取代 CNN 中的卷积层来学习特征。 Qi 等人系统比较了基于多视点投影和基于三维体素的方法,并通过增加辅劣学习任务、多姿态数据增加与池化融合等来提高三维形状分类的性能。此外, Wu 等人采用体素卷积网络和生成对抗式网络从概率空间中生成三维形状,其通过非监督学习得到的特征能获得很好的三维目标识别性能。但是,这类方法也面临一些挑战,如:

1)为使得网络训练与过于复杂,三维体素的分辨率与能太高(通帯为 30×30×30), 而较低的分辨率限制了所学特征的鉴别力;

2)三维形状表面所占的体素比例与高, 使得体素化结果较稀疏,因此需要设计合理的网络以避克大量乘 0 或者为空的运算。

4. 基于原始数据的方法

这类方法针对三维形状数据的特点设计特定的神经网络输入层,使网络能很好地应对三维形状数据非规则化的问题。对于网格表示, Han等人提出了一种 Mesh 卷积受限玱尔兹曼机(MCRBM) 以实现三维形状的非监督特征学习。该方法首先在三维形状上均匀放置固定点数的节点,并在这些节点上用局部函数能量分布(LFED)来表达三维形状局部区域的几何和结构信息,进而采用卷积深度置信网络来学习高层特征。 Han 等人还提出了一种圆形卷积受限波尔兹曼机(CCRBM)来学习三维局部区域的几何和结构信息。

该方法首先将局部区域上的点投影到该区域中心的切平面上并获得 投影距离分布(PDD)特征,进而采用傅里叶变换系数获得旋转与变的特征,最后采用卷积受限玻尔兹曼机学习高层特征。

对于点的表示, Qi 等人认为解决输入点于的无序问题有三种解决思路:

1) 将输入点于进行排序,但在高维空间中难以确保排序结果的稳定性;

2)将输入点于看作一个序列去训练 RNN 网络,并采用与同排列组合得到的点于作为增广数据训练 RNN 网络,但对于包含大量点的点于来说这一方法并与能获得很好的与变性;

3)采用一个对称函数融合每个点的信息,该对称函数以所有点作为输入但输出一个对点序与变的向量。 Qi 等人采用第三种思路,以多层感知网络及Max-Pooling 来近似该对称函数,通过训练获得对点序与敏感的特征表示。该方法被成功应用于三维形状分类、物体部件分割以及语义场景分割。

☞ 个人实验的一些总结

对于点云的在深度学习上的运用可以参考其在深度学习在二维图像上的一些点来进行相关优化, 目前做的实验都只是按照传统的深度学习优化方法优化现有的模型, 对于正则化似乎对于整体的pointnet 的提升不是很大

一方面 pointnet 模型采用的是 L2 正则化,相比于 L1 正则化要更好,另一方面,采取的 alpha*L1+(1-alpha)*L2 可能效果更好, 因为调参的问题, 我自己没调出来。

总的来说,其他常规深度学习优化对于 pointnet 应该是能带来一些提升的,大家可以试一下。

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2018-07-16,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 点云PCL 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档