点云3D目标检测在机器人和自动驾驶的3D场景理解中起着至关重要的作用。然而，与基于图像的2D检测相比，基于LiDAR的3D检测仍然难以应对点云的稀疏和不规则性质。在本文中提出了Pillar R-CNN，这是一种基于Pillar的点云表示的Faster R-CNN类架构，可以从2D检测领域的进步中获益。
论文作者：Yongcheng Liu、Bin Fan、Shiming Xiang、Chunhong Pan
在机器人、自动驾驶和虚拟/增强现实应用中，直接获取 3D 数据的传感器日趋普遍。由于深度信息可以消除 2D 图像中的大量分割不确定性（segmentation ambiguity），并提供重要的几何信息，因此具备直接处理 3D 数据的能力在这些应用中非常宝贵。但 3D 数据通常以点云的形式出现。点云通常由一组无排列顺序的 3D 点表示，每个点上具有或不具有附加特征（例如 RGB 信息）。由于点云的无序特性，并且其排列方式不同于 2D 图像中的常规网格状像素点，传统的 CNN 很难处理这种无序输入。
文章：3D Object Detection for Autonomous Driving: A Survey
选自arXiv 作者：Yangyan Li, Rui Bu, Mingchao Sun, Baoquan Chen 机器之心编译 参与：Panda 卷积神经网络的成功自不必多言，但 CNN 在点云上的应用还存在诸多短板。山东大学近日公布的一项研究提出的 PointCNN 可以让 CNN 在点云数据的处理上取得更好的表现。机器之心对该研究论文进行了简单的编译介绍。 空间上的局部相关性（spatially-local correlation）是各种类型的数据都具有的一种性质，并且与数据的表示方法无关。对于可以表
内容一览：材料检测在工程、科学及制造业中扮演着至关重要的角色。传统的材料检测方法，例如切割和化学试剂检测具有破坏性，同时较为耗费时间和资源。近期，MIT 科学家利用深度学习开发了一种技术，能够填补缺失信息，并进一步通过表面观察确定材料的内部结构。
3D传感器（如激光雷达和深度相机）的普及引起了人们对3D视觉的广泛关注，这些传感器采集的3D数据可以提供丰富的几何结构和尺度细节，这也在许多领域得到了实际应用，包括自动驾驶技术[1]、机器人控制技术[2]等。
比如，彩虹色的流水注入不规则的泳池，整个水流的形状、波澜，完全符合现实世界的物理特征。
这篇文章[1]主要提出了一种用于点云数据的神经网络模型，即 PointNet。点云在 3D 视觉中是一种重要的数据结构，其主要分为几何数据和属性数据。几何数据就是每个点的 x,y,zx,y,zx,y,z 坐标，而属性数据则是每个点的颜色等信息。这篇文章主要针对几何数据进行处理。由于 3D 点云这种不规则的数据格式，之前大多数深度学习方法都是将点云几何数据变换成规则的体素网格或者一系列 2D 图像的集合，但是这些方法的复杂度都太高，增加了很多不必要的计算。在这篇文章中，作者提出了一种新的用于处理点云几何数据的神经网络，它直接在点云数据上进行处理，并且很好地考虑了输入点的排列不变性。本文提出的 PointNet 模型，是一个统一的架构，可以用于各种点云任务，比如物体分类、语义分割等。虽然 PointNet 结构比较简单，但却是非常高效且有用的。从实验上来看，PointNet 展现出相当或超越 SOTA 的性能；从理论分析上来看，作者给出了 PointNet 的设计理念以及解释了 PointNet 为什么对扰动和噪声是鲁棒的。
旧文中我们利用 OpenGL 给小姐姐实现了瘦身、大长腿效果以及瘦脸大眼效果，小姐姐苦笑道：我头都被你气大了，怎么办？
使用卷积神经网络（CNN）架构的深度学习（DL）现在是解决图像分类任务的标准解决方法。但是将此用于处理3D数据时，问题变得更加复杂。首先，可以使用各种结构来表示3D数据，所述结构包括：
近年来，卷积神经网络（CNN）在图像这类规则数据的处理中获得了举世瞩目的成功，然而如何拓展CNN以分析点云这种不规则数据，仍然是一个开放的研究问题。对于点云而言，每一个点并非孤立存在，相邻的点形成一个有意义的形状，因此对点间关系进行深度学习建模非常重要。在SFFAI25分享会中：
通常所说的regridding/remaping/interpolation都是将不同网格的数据映射到新的网格。
想象一下你正在打造一辆可探测周围环境的自动驾驶车。你要如何让你的车感知行人、骑自行车的人以及其他车辆，以安全行驶呢？你可以给它装上相机，但效果并不是特别好：你面对的是整个 3D 环境，相机拍摄到的只是把它拍扁之后的 2D 图像，然后再尝试从这个 2D 图像中复原你真正需要用到的 3D 信息（比如与车前面的行人、汽车间的距离）。然而，一旦将 3D 环境挤压成 2D 图像，很多对你来说最重要的信息就会丢失，并且将这些信息重新拼凑起来十分困难——即使使用最先进的算法，也容易出错。
标题：T2I-Adapter：学习Adapter，为Text-to-Image扩散模型挖掘更多可控能力
过去十年来，深度学习方法（例如卷积神经网络和递归神经网络）在许多领域取得了前所未有的成就，例如计算机视觉和语音识别。
项目链接：https://github.com/rusty1s/pytorch_geometric
https://github.com/nie-lang/DeepRectangling
本文为《Deep Learning for LiDAR Point Clouds in Autonomous Driving: A Review》译文，在原文的基础上译者会稍作修改提炼，方便大家学习理解。
网格由顶点和面组成，我们对网格顶点或者面的进行分类，就是网格分割。它是一个分类问题，而分类问题是机器学习里的经典问题。
当前的3D目标检测方法受2D检测器的影响很大。为了利用2D检测器的架构，它们通常将3D点云转换为规则的网格，或依赖于在2D图像中检测来提取3D框。很少有人尝试直接检测点云中的物体。
本文是关于PointNet点云深度学习的翻译与理解，PointNet是一种直接处理点云的新型神经网络，它很好地体现了输入点云的序列不变性。
当然，教主没有真的在跳舞，只是录了一段普通的视频。有算法将迈克尔·杰克逊源视频中的“舞姿”识别出来，再将相关的肢体动作投射到教主身上，这样，就得到了右边的魔性视频。
前面写过一篇文章介绍了怎样过滤UI中透明区域的点击事件： 【100个 Unity实用技能】☀️ | Unity中 过滤透明区域的点击事件
视觉识别的关键挑战是如何在对象比例、姿势等形变问题上适应几何变化或对几何转换建模。一般情况下有以下两种方法：
Metpy 是应用于气象领域的开源Python包，可以进行气象数据的处理，可视化以及气象要素的计算等。
教程地址：http://www.showmeai.tech/tutorials/33
公开课地址：https://www.shenlanxueyuan.com/open/course/53
1.3DMambaComplete: Exploring Structured State Space Model for Point Cloud Completion
本文主要是关于 pointNet，pointNet++，frustum point 的一些整理和总结，内容包括如何将点云进行深度学习，如何设计新型的网络架构，如何将架构应用的3D场景理解。文章由于篇幅过长，将分成上下两部分。
最近，由于自动驾驶，机器人等的发展，3d视觉逐渐引起了研究人员和工程师的关注。今天，两位主讲嘉宾从自己的角度为大家精选了近期处理3d 点云数据的几个代表性方法，和大家一起学习分享最新的研究成果。
Stability AI又有新动作了！这次给我们端上来的是全新的3D生成模型Stable Video 3D（SV3D）。
用浏览器打开这个网页，就可以开始耍了：https://poloclub.github.io/ganlab/
图像腐蚀（Image Erosion）：用于缩小或消除图像中物体的边界。主要用于去除图像中的小细节、噪声或不规则物体。
图1：来自(Bruna等人，ICLR，2014)的图，描绘了3D领域内的MNIST图像。虽然卷积网络很难对球面数据进行分类，但是图网络可以很自然地处理它。可以把它当做是一个处理工具，但在实际应用程序中会出现许多类似的任务。
今天，谷歌与霍华德 • 休斯医学研究所 (HHMI) 和剑桥大学合作，发布了一项深入研究果蝇大脑的重磅成果 —— 自动重建整个果蝇的大脑。他们使用数千个谷歌云 TPU，重建的完整果蝇大脑高达 40 万亿像素。有了完整的大脑图像，科学家距离了解大脑如何工作更近了一步。
论文标题：Multi-View Vision-to-Geometry Knowledge Transfer for 3D Point Cloud Shape Analysis
计算机视觉的飞速发展离不开大量图像标注数据的支撑，随着各类图像检测、识别算法的商业化落地，市场对图像标注精准度愈发严格，同时针对不同的应用场景，也衍生出了不同的图像标注方法。
之前有部电视剧《点燃我温暖你》没火，但是其中李峋的爱心代码却在程序圈超级火，这圣诞节快到了了，给大家来一波爱心代码的教学，同时弥补一下Java语言上一波的缺失。最终希望大家能在圣诞节该浪漫的浪漫、该脱单的脱单，加油兄弟！同时我也把实现思路通过动画给大家说清楚，期望各个语言的大佬都能一起开发出来，用心浪漫2022圣诞节！（开发了可以在评论区留个言哦~）
机器之心报道 编辑：陈萍、小舟 TensorStore 是专为存储和操作 n 维数据而设计的开源软件库。 计算机科学和机器学习 (ML) 的许多应用都需要处理跨坐标系的多维数据集，并且单个数据集可能也需要存储 TB 或 PB 的数据。另一方面，使用此类数据集也具有挑战性，因为用户可能会以不规则的间隔和不同的规模读取和写入数据，通常还会执行大量的并行工作。 为了解决上述问题，谷歌开发了一个开源的 C++ 和 Python 软件库 TensorStore，专为存储和操作 n 维数据而设计。谷歌 AI 负责人 J
PyG（PyTorch Geometric）是构建在 PyTorch 之上的一个库，可以方便地编写和训练图神经网络（GNNs），用于与结构化数据相关的广泛应用。它包括针对图和其他不规则结构的各种深度学习的方法，也称为几何深度学习，来自各种发表的论文。此外，它还包括易于使用的小批量加载器，用于操作许多小的和单个的巨型图，多 GPU 支持，数据管道支持，通过 Quiver 的分布式图学习，大量的通用基准数据集（也可以基于简单的接口创建自己的），GraphGym 实验管理器，以及有用的转换，这些都用于学习任意图
选自arXiv 机器之心编译 参与：刘晓坤、李泽南 近日，Bengio 团队提出了基于近邻节点注意机制的网络架构 GAT，可用于处理复杂、不规则结构的计算图，并在三种困难的基准测试中得到了业内最佳水平，研究人员称该模型有望在未来处理任意不规则结构图。该论文现已提交至 ICLR 2018 大会。 卷积神经网络已成功应用于解决图像分类、语义分割、机器翻译等问题，其中背后的数据表证有着网格状的结构。这些结构通过把学习到的参数应用到所有的输入位置，能高效的重复使用局部过滤器。 然而，许多有趣任务的数据并不能表示为网
你知道吗？果蝇是公认被人类研究的最彻底的生物之一，截至目前，已有 8 个诺贝尔奖颁发给使用果蝇的研究，这些研究推动了分子生物学、遗传学和神经科学的发展。
这个工作来自于牛津大学、中国香港大学、中国香港中文大学和Intel Labs，发表于ICCV2021。我们知道，Transformer在近两年来于各个领域内大放异彩。其最开始是自然语言处理领域的一个强有力的工具。后来，在图像处理领域，Transformer由于其可以感知远距离的像素，从而学习到更全面的特征表示。并且这项工具已经被应用在多个二维图像处理任务中，例如目标检测、语义分割等。而将Transformer应用于三维点云相关的任务是一个必然的趋势。由于三维点云的不规则性和密度多样性，Transformer在点云数据上甚至具有更大的潜力。实际上，在早期的工作中就已经有将Transformer应用到点云相关的任务中，例如DCP利用Transformer对源点云和目标点云的互信息进行建模，实现输入点云对的同时感知。但是，彼时的Transformer并不是一个重点。这篇Point Transformer则是将Transformer应用到点云学习的一个标志性成果，其设计了一个Point Transformer网络，并展现了其在点云点特征提取和全局特征提取的优势作用。这使得这篇论文的工作有着更广阔的应用范围和潜力，为后续很多点云相关任务的研究提供了一个有力的工具和参考。
2022年9月24日，青岛大学计算机科学技术学院李臻教授团队在Drug Discovery Today上发表文章“Deep learning methods for molecular representation and property prediction”。在论文中，作者回顾并总结了现有的分子表示与性质预测的深度学习方法，并讨论了深度学习方法在分子表示和性质预测方面的挑战和机遇。
【导读】上周，我们在《激光雷达，马斯克看不上，却又无可替代？》一文中对自动驾驶中广泛使用的激光雷达进行了简单的科普，今天，这篇文章将各大公司和机构基于激光雷达的目标检测工作进行了列举和整合。由于文章列举方法太多，故作者将其分成上下两部分，本文为第一部分。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
