基于航空影像的地面机器人障碍物检测 - 腾讯云开发者社区

本文来谈一下基于深度学习的航空物体场景下的物体检测。航空物体这类场景一般由无人机空拍来收集数据，然后进行后处理来满足特定的任务场景，有些情况下要求实现实时反馈，甚至多任务。...这里讨论的航空物体检测是其中的一个分支，这类论题最近两年渐渐火起来。...密度图方法切分出前景（foreground）相比于之前的方法，使用密度图去做航空图像检测可以更快的检测航空图像中的物体。...基于密度图的航空物体检测（以下简称DMNet）分为三个大的部分密度图估计基于密度图分割输入航空图像并生成前景使用生成的前景进行物体检测 ?...基于密度图分割输入航空图像并生成前景在生成了对应的密度图后，我们需要使用他们来生成前景。由于密度图本身可以通过密度值的高低来间接表示某一像素上有物体的概率，我们人为定了一个阈值。

7602 0

SLAM+路径规划：巡检机器人算法设计

在这些技术中，巡检机器人由于其优异的灵活性、移动性和功能性，在航空航天、制造业、农业、服务行业及其他领域得到广泛应用。随着检查应用场景的日益多样化和复杂化，对机器人自主导航性能的要求也越来越高。...本文介绍了一种专为复杂现实场景设计的巡检机器人导航系统，如图1所示。我们设计了基于多线激光雷达和视觉传感器的两组SLAM系统，以满足不同环境下机器人的检测需求。...这种基于视觉的建图和定位算法利用全局和局部回环检测技术，能够识别和处理传感器数据中的误差和漂移，提高了定位和建图的稳健性和准确性，增强了巡检机器人的效率和实时性能。...图3 基于多线激光雷达的SLAM系统结构图首先，通过将3D激光投射到2D深度图上，根据俯仰角分割出地面，聚类非地面点云并获取标记点云数据，将激光点云数据降维。...然后，使用迭代最近点算法（ICP）进行回环检测，最后基于图优化将当前点云映射到全局地图上，完成了高精度地图的建立。（1）点云分割：由于检测环境的复杂性和其他因素，激光点云数据中可能存在噪声。

1.6K3 0

您找到你想要的搜索结果了吗？

是的

没有找到

SLAM+路径规划：巡检机器人算法设计

01 简介随着“工业4.0”的引入，机器人技术迅速发展。在这些技术中，巡检机器人由于其优异的灵活性、移动性和功能性，在航空航天、制造业、农业、服务行业及其他领域得到广泛应用。...本文介绍了一种专为复杂现实场景设计的巡检机器人导航系统，如图1所示。我们设计了基于多线激光雷达和视觉传感器的两组SLAM系统，以满足不同环境下机器人的检测需求。...然后，采用基于词袋的图像匹配方法对相邻帧之间的特征点进行匹配。同时引入回环检测机制来消除漂移。...这种基于视觉的建图和定位算法利用全局和局部回环检测技术，能够识别和处理传感器数据中的误差和漂移，提高了定位和建图的稳健性和准确性，增强了巡检机器人的效率和实时性能。...首先，通过将3D激光投射到2D深度图上，根据俯仰角分割出地面，聚类非地面点云并获取标记点云数据，将激光点云数据降维。接着，基于平滑性进行特征提取，得到四组特征点云。

1.2K3 0

秒杀波士顿动力狗，MIT猎豹机器人闭着眼跳桌狂奔（视频）

接触检测算法帮助机器人确定某只腿从在空中摆动切换到踏上地面的最佳时刻。...飞身上桌，腾空高度近1米，平稳落地接触检测算法帮助机器人确定在腿的摆动踩地之间转换的最佳时间点，它要对每只腿连续地计算三种可能性：腿与地面接触的概率，腿撞到地面并产生力的概率，以及腿在中间发生摆动的概率...该算法基于来自陀螺仪、加速度计和腿部关节位置的数据来计算这些概率，这些数据记录了腿部相对于地面的角度和高度。...Kim说：“归功于这种预测控制，机器人能够在地面上施加正确的力，再加上接触检测算法，每一次接触都非常迅速而且安全。” ?...拉也拉不到该团队已经为机器人添加了摄像头，以便为机器人提供周围环境的视觉反馈。这将有助于机器人绘制大环境的地图，并使机器人在面对较大的障碍物，例如门和墙时先在视觉上检测到。

5230 0

MIT猎豹3机器人跑步跳跃爬楼梯，无需视觉引导

“猎豹3旨在完成多种任务，例如发电厂检查，涉及各种地形条件，包括楼梯，路缘和地面障碍物，”Kim指出，“我认为，我们无数次都会想要让机器人来完成简单的任务，而通过远程控制的机器人可以更加安全地完成危险和困难的工作...接触检测算法帮助机器人确定给定腿从空中摆动切换到踩踏地面的最佳时间。例如，如果机器人踩着轻型树枝而不是坚硬沉重的岩石，它会如何反应，它或者继续通过一步，或者向后拉动并转动它的腿来找回平衡。...通过不断计算每个腿的三个概率，接触检测算法帮助机器人确定在摆动和步进之间转换腿的最佳时间：腿与地面接触的概率，一旦腿撞击就产生力的概率地面，以及腿在中间的可能性。...该算法基于来自陀螺仪，加速度计和腿的关节位置的数据计算这些概率，其记录腿相对于地面的角度和高度。例如，如果机器人意外地踩到木块上，它的身体会突然倾斜，从而改变机器人的角度和高度。...Kim表示，“接触检测算法会告诉你，’这是在地面施加力量的时候’，但是一旦在地面上，现在需要计算出适用的力量，这样才能以正确的方式移动。”

5303 0

ArcGIS中的Ortho Mapping模块（三）

根据影像类型进行了四种划分：创建无人机影像的正射映射工作空间创建数字航空影像的正射映射工作空间创建已扫描航空影像的正射映射工作空间创建卫星影像的正射映射工作空间 2....基于现有镶嵌数据集创建正射制图工作空间，有特定的工作流应用，示例：当您想要通过多个卫星栅格类型创建镶嵌数据集，并对使用正射映射工具的混合卫星类型影像进行区域网平差时。...02 基于无人机影像的操作流程创建无人机影像正射制图工作空间 1. 影像分析选项卡下新建正射制图工作空间，进入创建向导。 2....”图，“重叠地图”图，“地面控制点汇总”表，“地面控制点偏差”表，“地面控制点重新投影残差”表，“检测点偏差”表。...倾斜航空摄影是相对于竖直航空摄影而言的，传统的航空摄影以获得正射影像为目的，采用像片倾角小于2-3°的摄影方式，称为竖直航空摄影。

1.7K5 0

科普：机器人依靠什么感官来感知世界？

因此，检测机器人前方是否存在障碍物的传感器，可以分为接触式和非接触式的。最典型的接触式测障传感器便是碰撞开关（图1）。碰撞开关的工作原理非常简单，完全依靠内部的机械结构来完成电路的导通和中断。...图2 碰撞开关的工作状态图在机器人上的用法多数是将探测臂加长，扩大探测范围和灵敏度。当机器人撞到前面的障碍物，碰撞开关的信号端便可返回一个高电平，控制芯片由此可以知道小车面前存在着障碍物。...用于检测地面灰度的传感器很多人最开始做的机器人的基本功能就是循线，白色的地板上贴着一条黑线，让机器人沿着地面的黑线前进。很多机器人高手都是从制作类似的作品成长起来的。...因此，有必要介绍一下检测地面灰度的常用传感器。可见光地面灰度检测器，就是使用一个发光装置与一个光敏电阻搭配，装在机器人底部离地面较近的一个位置上。...图10 一种利用发光二极管作为发光装置的地面灰度检测器笔者最初制作地面灰度检测器的时候，是通过小灯泡来发光，可是效果不理想。后来换了个摩托车上的6V灯泡，效果好多了，就是耗电量太大。

7885 0

自动驾驶综述|定位、感知、规划常见算法汇总

在他们的方法中，激光雷达数据被分为地面/非地面类别。接下来，利用激光雷达数据将全景相机拍摄的自驾车地面图像分割成地面/非地面区域，然后进行扭曲以获得鸟瞰图。...道路分割的一个补充任务是从俯视图或正面图像中检测车道。Aeberhard等人对于宝马的自动驾驶汽车，使用地面栅格地图，其中每个单元表示具有高反射率的地面位置的概率。采用二次多项式模型提取道路边界。...它使用一个迭代的图形构建过程，一次添加一个单独的路段，并使用CNN来决定下一个要添加的路段。对15个城市24平方公里的航空影像进行的逐点匹配检验，平均误差为5%。...Ess等人提出了一种障碍物检测和识别方法，该方法仅使用来自前视立体摄像机的同步视频。他们的工作重点是基于行人和汽车探测器每帧输出的障碍物跟踪。...(6)Deep LearningBased MOT 基于深度学习的方法利用深度神经网络检测运动障碍物的位置和几何特征，并基于当前摄像机数据跟踪其未来状态。

2.9K4 1

地面无人战车：暴力美学俄罗斯、世界第一美利坚、武器硅谷以色列

俄罗斯重火力——“天王星”-9战斗机器人 “天王星-9”战斗机器人是俄罗斯军用设备制造行JSC766 UPTKT在2016年国际军事技术论坛期间推出的地面无人战斗车辆。...“天王星-9”全系统包括四辆无人驾驶地面车辆：两个侦察和和火力支持机器战车、一部移动指挥站、一辆用于运输战斗机器人的拖车。...近期，X型地面无人战车的开发公司之一米勒姆机器人公司在伦敦装备展览会国防会议上透露了其正在与康斯伯格国防与航空航天公司合作设计和制造一种新的机器人战车，以满足欧洲和美国军队要求的这一消息。...该车辆最多可容纳50毫米加农炮以及反坦克导弹和系留无人机，同时，还具有“智能功能”，包括使用人工智能作为算法的一部分的跟随、航点导航和障碍物检测。...通过上述对各国地面无人战车的总结我们不难发现，目前，世界各国正在以越来越快的速度制造特种战争机器人以解决不同复杂性的问题，无人化显然是各国研究特种战争机器人的热门方向，在未来很长一段时间内，特种战争机器人无人化程度将成为衡量各国军事力量的一个重要指标

7633 0

南京高校的一大波机器人“大白”来袭

检查病房，端送药品，它是可爱“小护士” “大白”三号：小护士Quattro 诞生地点：南京航空航天大学南航飞行器动力工程专业的王安、江宽、马邻涛三位同学是典型的“理工男”，他们联手制作出了一个“护士版...”的机器人“大白”。...在第五届江苏省机器人大赛暨第一届全国机器人运动大会选拔赛上，由南航学生设计的这款医疗服务机器人还获得了一等奖。据了解，这个机器人还有一个英文名，叫Quattro，中文的意思是全时四轮驱动系统。...大致的工作原理就是机器人通过“地面灰度”感应模块，感应地面上的白线，从而精确到达指定的位置。...当地面没有白线时，将会利用红外线检测障碍物，及超声波检测与障碍物的距离来进行基本的定位，确保机器人能将物品运送到指定位置。

6285 0

CVPR 2020 论文大盘点-遥感与航拍影像处理识别篇

这部分论文方向比较分散，除了在计算机视觉中常见的分类、检测、分割、跟踪任务，还有该领域特定的建筑重建、地物提取、地物属性（高度等）预测等。已经开源或者即将开源的论文，把代码地址也附上了。...如果想要下载所有CVPR 2020论文，请点击这里： CVPR 2020 论文全面开放下载，含主会和workshop 目标检测带方向且密集的遥感目标检测 Dynamic Refinement Network...Changsheng Xu 单位 | 中科院自动化所；中国科学院大学；腾讯优图实验室等代码 | https://github.com/Anymake/DRN_CVPR2020 数据集用于农业生产分析的大型航空图像数据库...城市区域卫星图像到地面图像的合成 Geometry-Aware Satellite-to-Ground Image Synthesis for Urban Areas 作者 | Xiaohu Lu,...Modeling From Overhead Imagery 作者 | Scott Workman, Nathan Jacobs 单位 | DZYNE Technologies；肯塔基大学地物表观动态映射基于航拍图像的视觉表面属性的动态映射

1.5K3 0

论文简述 | FlowFusion：基于光流的动态稠密RGB-D SLAM

机器人的同时定位和地图是从未知环境中获取信息,建立地图,并在地图上定位机器人.无论在机器人学还是计算机视觉研究领域,动态环境都是实现SLAM的一大难题.这是因为现有的大多数SLAM方法和视觉里程计解决方案都是基于静态环境假设来保证其鲁棒性和效率的....当动态障碍物出现或观测环境发生变化时,这些方法不能提取足够可靠的静态视觉特征,从而导致特征关联不足,导致不同摄像机姿态之间的运动估计失败.为了处理动态环境,可视化SLAM的一个简单的想法是从输入数据中提取动态部分...近年来,基于深度学习的图像分割和目标检测方法得到了快速发展,在效率和精度上都有了很大提高.许多研究者试图通过语义标注或对象检测预处理来处理动态环境,以去除潜在的动态对象.这些方法在处理特定动态对象的特定场景中显示了非常有效的结果...下图是投影的2D场景在图像平面中流动, 是帧A中的一个对象点投影像素，是帧B中的同一个3D点(属于移动对象).红色箭头表示场景流,这是世界空间运动.蓝色箭头是中的光流.绿色箭头是图像平面中投影的...,这使得难以获得光流残差.脚部分被分割成静态背景,因为在行走阶段,地面上的支撑脚很容易被视为静态对象.虽然扫地脚移动得很快,并保留了大量的光流残余,但它们离坚硬的地面太近了.因此,由于图的连通性,它们很容易被分割成静态背景

1.6K1 0

火星无人机同款技术全部公开！高通还特意给Plus了一下

但高通技术公司业务拓展高级总监兼自主机器人、无人机和智能电器负责人Dev Singh认为，超视距飞行（BVLOS）才是无人机的未来。...△中国民用航空局规定的视距内范围无论是应急救援、物流配送、农业、检测还是影视制作等行业，都需要能做到超视距飞行的无人机。...在功能上，不少行业如影视、基础设施检测，都需要用到无人机的影像技术，因此也需要搭载智能防抖等系列AI算法。另一方面，5G让无人机通信变得更高效，进一步加强了空中飞行的安全性。...5G不仅能让无人机随时收到周围飞行设备（直升机、其他无人机）的信号，来判断它在空中交通的安全位置，还能和地面上的设施连接，低时延提供服务。...这次推出的无人机Flight RB5 5G平台，则是“脱胎于”高通去年推出的机器人RB5平台。

3324 0

MIT 的猎豹秒了波士顿智能机器人，凭感觉冲出黑暗危险区

麻省理工学院无视觉版本的三代猎豹机器人，80磅重，拉布拉多大小，可以在漆黑的房间内找出去的路，不需要使用摄像头或环境传感器就可以爬上充满障碍物的楼梯。...相反，它在黑暗中行走时，依赖于工程师所谓的“盲目运动”，即机器人腿的反馈和基于算法的平衡感。...图片来源：MIT/YOU TUBE “三代猎豹机器人旨在完成多种任务，例如发电厂检查，其涉及各种地形条件，包括楼梯、各种限制和地面障碍物。”...接触检测算法可帮助机器人确定既定腿部从空中摆动切换到踩踏地面的最佳时间，具体取决于它将脚放下时感觉到的阻力。该算法利用来自陀螺仪，加速度计和腿相对于地面的相对位置的读数。...同时，模型预测控制算法预测未来机器人的身体和腿应该如何定位半秒，这取决于既定腿与地面接触时施加的力的类型。 “说有人把机器人踢向侧面。”

7123 1

自动驾驶中激光雷达检测障碍物理论与实践

本文从自动驾驶汽车的角度解释它是如何工作的，然后将探讨如何处理点云，使用三维边界盒检测障碍物，并实时分割可行驶区域。...如果我们看到车辆前方的点云，即使障碍物检测系统没有检测到任何东西，我们也可以及时停车。这是一个很大的安全保证，车辆将不仅依赖于图像的神经网络和概率问题。基于激光雷达如何进行障碍物检测？...它在Python中可用，但是在C++中使用它更为合理，因为语言更适合机器人学。它也符合ROS（机器人操作系统）。PCL库可以完成探测障碍物所需的大部分计算，从加载点到执行算法。...现在我们有了降采样并滤波后的点云了，此时可以继续进行点云的分割、聚类和边界框实现。三维点云的分割-RANSAC 点云分割任务是将场景与其中的障碍物分离开来，其实就是地面的分割。...通过结合以上三种算法，我们得到了一种基于激光雷达点云的障碍物检测算法！

1.3K3 0

能站、跳、飞、蹲的全能机器人！加州理工发布变形轮式机器人M4：实现八种运动模式，AI加持自主导航

比如使用M4探索陌生环境时，可以先用四个轮子沿着地面前进，这也是最节能的模式；当前方出现类似巨石这样的障碍物时，M4可以用两个轮子站起来，从上方观察前方地面路况，假如是峡谷或者其他轮式机器人无法穿越的地貌...石鸡（左）麝雉（右）在仿生机器人的设计上，研究人员也采用了变换附肢的方法增强运动能力，在对车轮、推进器和腿进行组合变换后，M4可以切换到无人地面车辆（UGV）、移动的倒立摆（MIP）、无人航空系统（UAS...M4的底盘结构和带罩螺旋桨组件主要由碳纤维和3D打印部件制成，使用基于Onyx热塑性材料和碳纤维的纤维镶嵌工艺制造，这些材料具有很大的强度重量比。...实验展示为了证实M4的运动可塑性，研究人员进行了几个实验，包括轮式运动、飞行、MIP、蹲伏、物体操纵、四足运动、在陡坡上的推进器辅助MIP和在大障碍物上翻滚。池塘附近的地面-空中运动。...c M4的蹲伏动作通过低间隙开口。d显示了M4在MIP模式下基于重新利用其游离附件的操纵能力。e显示了M4通过锁定车轮和平移腿部在崎岖地形上执行四足行走。

9302 0

【目标检测】开源 | 基于盒域感知向量的航空图像定向目标检测方法，优于之前的基线法，性能SOTA！

而且通常是密集的，所以航拍目标的定向检测是一项具有挑战性的任务。...目前的目标检测方法主要依赖于anchor-based两阶段检测器。但是，anchor-based检测器通常会在正和负锚盒之间存在严重的不平衡。...针对这一问题，本文将基于水平关键点的目标检测器扩展到面向对象的目标检测任务中。具体地说，我们首先检测对象的中心关键点，然后在此基础上返回盒边界感知向量来捕获定向的边界盒。...对于任意方向的物体，盒边感知向量分布在笛卡尔坐标系的四个象限中。为了解决角点情况下矢量学习的困难，我们进一步将定向边界盒分为水平边界盒和旋转边界盒。...实验结果表明，在预测一个有方向的边框的宽度、高度和角度之时，学习盒边界感知向量优于直接预测基线方法。本文提出的方法性能SOTA。主要框架及实验结果 ? ? ? ? ? ? ?

7742 0

ArcGIS中的Ortho Mapping模块（一）

官方文档中译为正射映射，其定义为Ortho Mapping 是ArcGIS Desktop 提供的通过摄影测量的方式校正来自无人机、卫星、数字摄影和扫描航空摄影的影像，以消除由传感器、平台、地形位移和边匹配引发的几何变形...摄影测量的结果求解计算由影像内部方向（表示从照相机到图像的变换）及其外部方向（表示从地面到照相机的变换）决定。求解平差（变换）的方法是最小二乘法。...Ortho Mapping中的正射校正概念更加广义，涵盖了几何校正与地形校正。 03 源数据正射制图支持的数据类型有无人机、卫星和航空影像（数字、扫描）。...0 级数据并不是十分有用，除非你的兴趣点或研究内容是传感器本身。 1A级：均衡化辐射校正的数据产品。通过不同检测器的均衡功能对影响传感器的变化进行校正。...2B级：为了提高影像的空间位置精度，需要考虑到用户输入信息，借助具有准确位置信息的地面控制点来对影像进行位置校准。

6933 0

地面无人驾驶系统环境感知技术的发展

2019年10月，白俄罗斯BSVT公司披露其半马人座无人车，该无人车为自主机器人系统，可单独作战，也可协同作战，可预先在24h内指定巡逻路线，同时自动检测和跟踪可疑物体。...Junior无人车传感器安装示意图 Junior无人车航向测量子系统包括一个高性能惯性测量单元，距离测量单元（DMI）的轮里程计，以及基于基站的卫星系统。实时位置和方向误差通常分别在和以下。...它能够看到所有方向60米开外的物体与地形。IBEO传感器处理4个平行于地面的扫描线,能够探测大的垂直方向障碍物。 MIT研制的Talos无人车环境感知系统配置了数量众多、类型各异的各类传感器，如图。...；Velodyne可以检测到系统中出现的95.6%的障碍物，SICK可以检测到系统中出现的61.0%的障碍物，两者的融合可以实现对于96.7%的障碍物检测。...并且，Talos配有的15个毫米波实现了中远距离快速移动的障碍物检测与测速。 Google无人车环境感知系统由多种类型摄像头和雷达组成，如图。

9192 0

2023高翔全新力作：《自动驾驶与机器人中的SLAM技术》

地图构建则是将机器人在移动过程中获取的传感器数据融合起来，生成环境的地图表示，包括地标、障碍物和空间结构等信息。 02 SLAM 技术可以分为哪几类？...（2）基于地图的分类 ✔基于拓扑图的SLAM：将环境表示为节点和边的拓扑结构，用于描述不同位置之间的关系。...激光雷达能够提供车辆周围环境的精确地图和距离信息，用于定位车辆和障碍物检测。通过将激光SLAM与其他传感器（如相机、雷达和GPS）进行融合，实现全面的环境感知和高级驾驶决策。...（4）无人机和航空领域：激光雷达可以提供无人机周围环境的高精度地图和距离信息，支持无人机的自主飞行、目标检测和障碍物避让。...（5）工业自动化和机器视觉：例如，用于机器人在工厂环境中的定位、零件装配和物体识别。激光雷达提供的精确距离信息可以用于精确的位置控制和目标检测。

1.2K3 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

基于密度图的航空物体检测：理论与代码实现

SLAM+路径规划：巡检机器人算法设计

SLAM+路径规划：巡检机器人算法设计

秒杀波士顿动力狗，MIT猎豹机器人闭着眼跳桌狂奔（视频）

MIT猎豹3机器人跑步跳跃爬楼梯，无需视觉引导

ArcGIS中的Ortho Mapping模块（三）

科普：机器人依靠什么感官来感知世界？

自动驾驶综述|定位、感知、规划常见算法汇总

地面无人战车：暴力美学俄罗斯、世界第一美利坚、武器硅谷以色列

南京高校的一大波机器人“大白”来袭

CVPR 2020 论文大盘点-遥感与航拍影像处理识别篇

论文简述 | FlowFusion：基于光流的动态稠密RGB-D SLAM

火星无人机同款技术全部公开！高通还特意给Plus了一下

MIT 的猎豹秒了波士顿智能机器人，凭感觉冲出黑暗危险区

自动驾驶中激光雷达检测障碍物理论与实践

能站、跳、飞、蹲的全能机器人！加州理工发布变形轮式机器人M4：实现八种运动模式，AI加持自主导航

【目标检测】开源 | 基于盒域感知向量的航空图像定向目标检测方法，优于之前的基线法，性能SOTA！

ArcGIS中的Ortho Mapping模块（一）

地面无人驾驶系统环境感知技术的发展

2023高翔全新力作：《自动驾驶与机器人中的SLAM技术》

扫码

相关资讯

热门标签

活动推荐

运营活动

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐