对于希望运用某个现有框架来解决自己的任务的人来说，预训练模型可以帮你快速实现这一点。通常来说，由于时间限制或硬件水平限制大家往往并不会从头开始构建并训练模型，这也就是预训练模型存在的意义。大家可以使用预训练模型作为基准来改进现有模型，或者针对它测试自己的模型：
由于 3D 本身数据的复杂性和 MMDetection3D 支持任务（点云 3D 检测、单目 3D 检测、多模态 3D 检测和点云 3D 语义分割等）和场景（室内和室外）的多样性，整个框架结构相对复杂，新人用户的上手门槛相对较高。所以我们推出新的系列文章，让各个细分方向的用户都能轻松上手 MMDetection3D，基于框架进行自己的研究和开发。在系列文章的初期，我们会先带大家了解整个框架的设计流程，分析框架中的各种核心组件，介绍数据集的处理方法，然后再对各个细分任务及经典模型进行具体细节的代码层级介绍。同时也欢迎大家在评论区提出自己的需求，我们会收集各位的反馈补充更多的文章教程 ~
3D 计算机视觉是一个非常重要的研究课题，选择合适的计算框架对处理效果将会产生很大的影响。此前，机器之心曾介绍过 Facebook 开源的基于 PyTorch 框架的 3D 计算机视觉处理库 PyTorch3D，该库在 3D 建模、渲染等多方面处理操作上表现出了更好的效果。
语义分割是计算机视觉中的关键概念之一，语义分割允许计算机通过按类型对图像中的对象进行颜色编码。GAN建立在基于真实内容的基础上复制和生成原始内容的概念上，这使它们适合于在街景图像上进行语义分割的任务，不同部分的分割使在环境中导航的代理能够适当地发挥作用。
文章：SAGE-ICP: Semantic Information-Assisted ICP
卷积神经网络（CNN）起源于人们对大脑视神经的研究，自从1980年代，CNN就被用于图像识别了。最近几年，得益于算力提高、训练数据大增，以及第11章中介绍过的训练深度网络的技巧，CNN在一些非常复杂的视觉任务上取得了超出人类表现的进步。CNN支撑了图片搜索、无人驾驶汽车、自动视频分类，等等。另外，CNN也不再限于视觉，比如：语音识别和自然语言处理，但这一章只介绍视觉应用。
对于希望学习算法或尝试现有框架的人来说，预训练的模型是一个很好的帮助。由于时间限制或计算资源的限制，不可能总是从头构建模型，这就是为什么存在预训练模型！
由于增强现实/虚拟现实的发展及其在计算机视觉、自动驾驶和机器人领域的广泛应用，点云学习最近备受关注。深度学习已成功地用于解决二维视觉问题，然而在点云上使用深度学习技术还处于起步阶段。语义分割的目标是将给定的点云根据点的语义含义分成几个子集。本文重点研究基于点的方法这一技术路线中最先进的语义分割技术。
左边是原图，右边是修图。是不是觉得美女与右边图片的背景搭在一起，更有动感和帅气。可是不会修图啊，肿么办？ 今天让我们来看一个有意思的AI应用，让不会PS的你，也能立马拥有吊炸天的修图超能力，没准还能分分钟修完上万张图，秒杀所有PS修图大神。 以下是机器学习大神Gidi Shperber讲述，他是到底一步步把这个模型给搞出来的详细过程。你要不要自己也来训练一个呢？ 翻译 | AI科技大本营（rgznai100） 参与 | shawn 引言 在机器学习领域摸爬滚打的这几年中，我一直想开发一个实用的机器学
本期介绍一篇基于大规模点云的语义分割相关论文《Large-scale Point Cloud Semantic Segmentation with Superpoint Graphs》
计算机视觉（Computer Vision）是一门将人类的视觉能力赋予机器的学科。它涵盖了图像识别、图像处理、模式识别等多个方向，并已成为人工智能研究的重要组成部分。本文将详细介绍计算机视觉的定义、历史背景及发展、和当前的应用领域概览。
BERT还不足以称之为知识库：无监督问答任务中BERT对事实性的知识和基于名称的推理学习能力对比
今天将分享肾脏和肾脏肿瘤分割完整实现版本，为了方便大家学习理解整个流程，将整个流程步骤进行了整理，并给出详细的步骤结果。感兴趣的朋友赶紧动手试一试吧。
今天要为大家推荐一套超酷炫的，用于构建神经网络 3D 可视化应用的框架——TensorSpace。
下面创建一个简单的 2 层 RNN，每层有 100 个神经元，输出层是单个神经元的 dense 层：
文章：Extrinsic Camera Calibration with Semantic Segmentation
随着机器学习的最新进展，语义分割算法变得越来越通用，并且可以转化为看不见的任务。医学成像领域的许多关键算法通常在少数任务上得到验证，限制了我们对所提出贡献的普遍性的理解。本着AutoML的精神，一个在许多任务上开箱即用的模型将对医疗保健产生巨大影响。医学成像领域也缺少一个完全开源和全面的通用算法验证和测试基准，涵盖大范围的挑战，例如：小数据、不平衡标签、大范围对象尺度、多类标签，以及多模态成像等。这个挑战和数据集旨在通过针对几个高度不同的任务的大型医学成像数据集的开源，以及通过标准化分析和验证过程来提供此类资源。
研究人员构建了一个城市规模的摄影测量点云数据集，并通过大量实验，指出了大规模三维点云语义理解中面临的问题，包括如何对大规模点云进行采样和分区，是否需要使用RGB颜色信息，类别分布不均衡以及泛化性能等。
作者：Jingyi Wang, Yu Liu, Hanlin Tan, Maojun Zhang
原文链接：https://www.cnblogs.com/DOMLX/p/9780786.html
选自arXiv 作者：Jie Huang、 Wengang Zhou、Qilin Zhang、Houqiang Li、Weiping Li 机器之心编译 参与：路雪、李亚洲 中科大一篇关于手语识别的论文被 AAAI 2018 接收。该论文提出一种新型连续手语识别框架 LS-HAN，无需时间分割。LS-HAN 由三部分构成：用于视频特征表示生成的双流卷积神经网络、用于缩小语义差距的潜在空间和基于识别的潜在空间分层注意力网络。实验结果表明该框架有效。 手语识别（SLR）面临的一个重要挑战是设计能够捕捉人体动作
近年来，随着自动驾驶和机器人等领域的飞速发展，3D 点云处理得到了学术界和工业界的广泛关注，基于点云的物体识别、检测、分割等任务中涌现出了一大批优越的算法。
1.VILA: On Pre-training for Visual Language Models
DenseNet（Densely Connected Convolutional Networks）是一种卷积神经网络（CNN）架构，2017年由Gao Huang等人提出。该网络的核心思想是密集连接，即每一层都接收其前面所有层的输出作为输入。DenseNet121是该家族中的一个特定模型，其中121表示网络的总层数。
医学影像作为医学诊断的基石，一直是医学领域中的重要组成部分。近年来，随着机器学习技术的不断进步，机器学习在医学影像中的应用逐渐取得了显著的突破，为医生提供了更准确、高效的诊断工具。本文将深入探讨机器学习在医学影像领域的突破与部署过程，通过实例演示，详细解释相关代码，并介绍数据处理的关键步骤。
【新智元导读】本文中介绍的深度学习架构能够基于选定的人的身份、情绪和方位，生成真实的脸部图像。你只要给网络提供你希望描绘的东西的原始参数，模型就能完成，但是生成的结果却是十分有趣的。 网络本身看起来能学习3D空间的概念，以及它所描绘的物体结构。并且，由于它生成的是图像而不是数字，所以它也让我们更好地理解了这一网络是如何“思考”的。真正让人惊讶的是，它似乎在根据嘴部张开或者关闭来学习脸部特征，你能看到脸颊的移动、眼球的移动等等。未来，你可以使用这一模型来模拟复杂的表情和变化。 Flynn Michael：我最
异柠檬酸脱氢酶（Isocitrate dehydrogenase, IDH）突变状态已成为神经胶质瘤的重要预后标志。当前，可靠的IDH突变诊断需要侵入性外科手术。该研究的目的是使用T2加权（T2w）MR图像开发高度精确的、基于MRI的、基于体素的深度学习IDH分类网络，并将其性能与基于多模态数据的网络进行比较。研究人员从癌症影像档案馆（The Cancer Imaging Archive，TCIA）和癌症基因组图谱（The Cancer Genome Atlas，TCGA）中获得了214位受试者（94位IDH突变，120位IDH野生型）的多参数脑MRI数据和相应的基因组信息。他们开发了两个单独的网络，其中包括一个仅使用T2w图像的网络（T2-net）和一个使用多模态数据（T2w，磁共振成像液体衰减反转恢复序列（FLAIR）和T1 postcontrast）的网络（TS-net），以执行IDH分类任务和同时进行单标签肿瘤分割任务。本文使用3D的Dense-UNets的架构。使用三折交叉验证泛化网络的性能。同时使用Dice系数评估算法分割肿瘤的精度。T2-net在预测IDH突变状态任务上表现出97.14％±0.04的平均交叉验证准确率，灵敏度为0.97±0.03，特异性为0.98±0.01，曲线下面积（AUC）为0.98±0.01。TS-net的平均交叉验证准确性为97.12％±0.09，灵敏度为0.98±0.02，特异性为0.97±0.001，AUC为0.99±0.01。T2-net的肿瘤分割Dice系数的平均得分为0.85±0.009，TS-net的肿瘤分割Dice系数的平均得分为0.89±0.006。
输入原始点云（x，y，z，intensity），得到每个三维点的语义类别。如图所示，不同颜色代表不同类别。
从今天开始，我将为大家逐步介绍Mask RCNN这个将检测和分割统一起来的框架的具体原理以及详细代码解读，项目地址为https://github.com/matterport/Mask_RCNN，基于TensorFlow1.x和Keras框架实现。
这个工作来自于牛津大学、中国香港大学、中国香港中文大学和Intel Labs，发表于ICCV2021。我们知道，Transformer在近两年来于各个领域内大放异彩。其最开始是自然语言处理领域的一个强有力的工具。后来，在图像处理领域，Transformer由于其可以感知远距离的像素，从而学习到更全面的特征表示。并且这项工具已经被应用在多个二维图像处理任务中，例如目标检测、语义分割等。而将Transformer应用于三维点云相关的任务是一个必然的趋势。由于三维点云的不规则性和密度多样性，Transformer在点云数据上甚至具有更大的潜力。实际上，在早期的工作中就已经有将Transformer应用到点云相关的任务中，例如DCP利用Transformer对源点云和目标点云的互信息进行建模，实现输入点云对的同时感知。但是，彼时的Transformer并不是一个重点。这篇Point Transformer则是将Transformer应用到点云学习的一个标志性成果，其设计了一个Point Transformer网络，并展现了其在点云点特征提取和全局特征提取的优势作用。这使得这篇论文的工作有着更广阔的应用范围和潜力，为后续很多点云相关任务的研究提供了一个有力的工具和参考。
文章：Multi-LiDAR Localization and Mapping Pipeline for Urban Autonomous Driving
[1]《Towards Improved Cartoon Face Detection and Recognition Systems》
深度学习模型可以处理文本序列、时间序列、一般性序列数据等等。处理序列数据的两个基本深度学习算法是循环神经网络和1D卷积(2D卷积的一维模式)。
怎样，这个理由是不是好有说服力？觉得没有说服力的话请点赞，赞多的话我下次再想一个更清新脱俗的偷懒借口……
专栏《图像分割模型》正式完结了。在本专栏中，我们从编解码结构入手，讲到解码器设计；从感受野，讲到多尺度融合；从CNN，讲到RNN与CRF；从2D分割，讲到3D分割；从语义分割到实例分割和全景分割。这篇文章我们就一起回顾一下这些网络结构。
在这一个BLOG里，我会跟大家讲一下什么是unet模型，以及如何训练自己的unet模型，其训练与上一篇的segnet模型差距不大，但是结构上有一定的差距。如果想要先有语义分割的基础，可以看我的博文憨批的语义分割2——训练自己的segnet模型（划分斑马线）
谷歌于2019年3月6日和7日在其年度TensorFlow开发者峰会上发布了最新版本的TensorFlow机器学习框架。这一新版本使用TensorFlow的方式进行了重大改进。TensorFlow拥有最大的开发者社区之一，从机器学习库到完善的机器学习生态系统已经走过了漫长的道路。
今天将分享Unet的改进模型UXNet，改进模型来自2020年的论文《UXNet: Searching Multi-level Feature Aggregationfor 3D Medical Image Segmentation》，简单明了给大家分析理解该模型思想。
RoadMap: A Light-Weight Semantic Map for Visual Localization towards Autonomous Driving
最近看到一篇博客，是时间预测问题，数据和代码的原地址在这里， https://www.jianshu.com/p/5d6d5aac4dbd
在过去的一年中，机器学习许多新的高影响力应用被发现并被揭示，特别是在医疗保健、金融、语音识别、增强现实和更复杂的3D和视频应用中。来看看过去一年中前6个最实用的ML项目。
在图像分割领域，MMSegmentation 是目前应用最广泛的开源算法库之一。自今年 v1.0 版本发布以来，MMSegmentation 在社区同学和核心开发者共同努力下，不断拓展到更多分割相关的视觉任务，包括遥感图像处理、医疗图像分割、深度估计和开放语义分割等。下面让我们逐一介绍这些新功能。
本文为 AI 研习社编译的技术博客，原标题 ： Report on Text Classification using CNN, RNN & HAN 翻译 | 小猪咪、莫尔•约瑟夫、M.Y. Li
这是腾讯云加社区共创官的选题互换挑战赛，一搭眼看到了这个题目，因为之前写过 自己制作数据集并训练，这无非是换个数据源进行训练而已，于是果断选择了这个题目
原文：Multi-modal Sensor Fusion for Auto Driving Perception: A Survey
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
