在本文中，作者证明了masked autoencoders（MAE） 是一种可扩展的计算机视觉自监督学习方法。本文的MAE方法很简单：mask输入图像的随机patch，并重建丢失的像素 。它基于两个核心设计的。
正电子发射断层扫描 (PET) 是肿瘤学、神经病学和心脏病学临床常规程序中的主要成像方式之一。PET广泛应用的关键瓶颈之一是电离辐射剂量。随着长轴视场 (FOV) 全身 PET 的出现，它可以实现以前无法实现的图像质量和量化水平，同时减少放射性药物剂量。最重要的是，像深度学习这样的计算技术可以进一步提高低剂量 PET 成像的图像质量。
Windows下使用VisualSFM + CMVS/PMVS +MeshLab进行三维重建
本节讨论一些关键方法的性能，下面将介绍各种性能标准和度量，并讨论和比较一些关键方法的性能。
今天分享的是：深度学习领域基于图像的三维物体重建最新方法及未来趋势综述。原文：Image-based 3D Object Reconstruction: State-of-the-Art and Trends in the Deep Learning Era
有许多传感器可用于在车辆行驶时捕获信息。捕获的各种测量结果包括速度，位置，深度，热等。这些测量结果被输入到反馈系统中，该系统训练并利用运动模型来遵守车辆。本文重点介绍通常由LiDAR传感器捕获的深度预测。LiDAR传感器使用激光捕获与物体的距离，并使用传感器测量反射光。但是，对于日常驾驶员而言，LiDAR传感器是负担不起的，那么还能如何测量深度？将描述的最新方法是无监督的深度学习方法，该方法使用一帧到下一帧的像素差异或差异来测量深度。
昨天，Facebook首席执行官马克·扎克伯格宣布推出Facebook Shops。
摘要：三维重建是计算机视觉计算机图形学和机器学习等领域几十年来一个不适定问题。从2015年开始使用CNN解决基于图像的三维重建（image-based 3D reconstruction）有了极大的关注并且展示出强大的性能。在新时代的快速发展下，我们提供了这一领域详细的调研。本文章专注于从RGB图像估计三维物体形状的深度学习方法。除此之外我们还回顾了关于特定物体（如人脸）的近期研究。我们一些重要论文性能的分析和比较，总结这一领域的现有问题并讨论未来研究的方向。
2D 扩散模型极大地简化了图像内容的创作流程，2D 设计行业也因此发生了变革。近来，扩散模型已扩展到 3D 创作领域，减少了应用程序（如 VR、AR、机器人技术和游戏等）中的人工成本。有许多研究已经对使用预训练的 2D 扩散模型，生成具有评分蒸馏采样（SDS）损失的 NeRFs 方法进行了探索。然而，基于 SDS 的方法通常需要花费数小时来优化资源，并且经常引发图形中的几何问题，比如多面 Janus 问题。
三维重建作为环境感知的关键技术之一，可用于自动驾驶、虚拟现实、运动目标监测、行为分析、安防监控和重点人群监护等。现在每个人都在研究识别，但识别只是计算机视觉的一部分。真正意义上的计算机视觉要超越识别，感知三维环境。我们活在三维空间里，要做到交互和感知，就必须将世界恢复到三维。所以，在识别的基础上，计算机视觉下一步必须走向三维重建。本文笔者将带大家初步了解三维重建的相关内容以及算法。
Watershed Algorithm(分水岭算法)，顾名思义，就是根据分水岭的构成来考虑图像的分割。现实中我们可以或者说可以想象有山有湖的景象，那么那一定是水绕 山，山围水的情形。当然在需要的时候，要人工构筑分水岭，以防集水盆之间的互相穿透。而区分高山（plateaus）与水的界线，以及湖与湖之间的间隔或 都是连通的关系，就是我们可爱的分水岭（watershed）。
CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理
摘要：本文提出了InstantMesh，这是一个用于从单视角图像生成即时3D网格的前馈框架，具有当前非常优秀的生成质量和显著的训练可扩展性。
这篇关于神经网络重渲染的文章，来自CVPR2019 oral.探索在不同的外观（如季节和时间）下记录，建模和重新渲染场景。基于记录旅游地标的互联网照片，论文对照片进行3D重构，并将场景近似为点云。对于每张照片，将场景点云渲染为深度帧缓冲deep framebuffer，并训练神经网络以学习这些初始渲染到真实照片的映射。通过这种方法，我们可以在屏幕前就能获取罗马一天的观光之旅，或者基于这种方法，构建真实的游戏场景体验。该渲染网络还将潜在外观向量和指示诸如行人的瞬态对象的位置语义掩码作为输入，同时对该模型在多种多样的光照条件的数据集上进行评估。作者还提供了视频，展示对图像视点，外观和语义标签的逼真处理。
选自The M Tank 机器之心编译 The M Tank 编辑了一份报告《A Year in Computer Vision》，记录了 2016 至 2017 年计算机视觉领域的研究成果，对开发者和研究人员来说是不可多得的一份详细材料。该材料共包括四大部分，在本文中机器之心对第三部分做了编译介绍，第一部分、第二部分和第四部分详见《计算机视觉这一年：这是最全的一份 CV 技术报告 》、《深度 | 2017 CV 技术报告之图像分割、超分辨率和动作识别 》、《计算机视觉这一年：2017 CV 技术报告 Pl
visualSFM：http://ccwu.me/vsfm/ (A visual structure from motion sysytem)
作者：Georgia Gkioxari、Shubham Tulsiani、David Novotny
这项研究由加州大学洛杉矶分校（UCLA）的六位学者完成，并已被欧洲计算机视觉国际会议（ECCV）采纳。
比如说，在上图的左侧图像中，虽然人脑无法创建毫米级精确的3D模型，但人类的视觉系统可以结合少量图像的信息，在脑海中形成一个连贯的3D表现，包括老虎的复杂面部特征或形成玩具火车的积木的排列，即使是对于完全遮挡的部分也是如此。
图像压缩技术旨在将图像转换为紧凑的表示，以节省传输和存储资源。有损图像压缩是最实用的技术之一，因为它可以恢复重要内容，同时丢弃少量不重要的信息。在过去的几十年里，传统的图像压缩标准得到了广泛的研究和利用。随着深度学习的快速发展，基于深度学习的图像编解码器迅速发展并取得了很好的结果。与此同时，越来越多的多媒体内容倾向于被机器视觉算法处理，如识别、检测和分割。然而，大多数压缩方法主要用于压缩图像以供人类消费，而没有考虑对下游任务或人机交互场景的支持。
我们知道过去几年，图像编辑领域发展惊人。但在视频领域，还有所缺陷。近日，一项视频编辑领域的研究成果放出。让我们先来看一下效果。
论文作者：Yang Feng, Lin Ma, Wei Liu, Jiebo Luo
选自arXiv 作者：Shangzhe Wu等 机器之心编译 编辑：陈、杜伟 在 CVPR 2020 最佳论文中，牛津大学 VGG 团队的博士生吴尚哲（Shangzhe Wu）等人提出了一种基于原始单目图像学习 3D 可变形对象类别的方法，且无需外部监督。近日，该团队又提出了通过单目视频的时间对应关系来学习可变形 3D 对象，并且可用于野外环境。 从 2D 图像中学习 3D 可变形对象是一个极其困难的问题，传统方法依赖于显式监督，如关键点和模板。但是，当这些对象不在实验室等可控环境中时，传统方法会限制它们
标题：Stare at What You See: Masked Image Modeling without Reconstruction
基于精细密集图像的人脸三维重建是计算机视觉和计算机图形学中一个长期存在的问题，其目标是恢复人脸的形状、姿态、表情、皮肤反射率和更精细的表面细节。最近，这个问题被描述为一个回归问题，并用卷积神经网络来解决。
近几年，随着深度学习的大热，许多研究攻克了如何从单张图片生成3D模型。从某些方面似乎再次验证了深度学习的神奇——doing almost the impossible。
项目地址：https://elliottwu.com/projects/unsup3d/
上期文章介绍了用于三维重建的深度学习框架MVSNet[1]，这也是如今比较主流的深度估计的神经网络框架。框架的原理按照双目立体匹配框架步骤：匹配代价构造、匹配代价累积、深度估计和深度图优化四个步骤。使用过MVSNet的同学会发现，MVSNet使用3D的卷积神经网络对聚合后的代价体进行正则化，防止在学习过程中，受到低概率的错误匹配影响。
在 GOAT（https://www.goat.com/），我们为买家和卖家创造了一个最大的运动鞋安全交易市场。帮助人们表达他们个人的风格和定位的运动鞋世界是 GOAT 的数据团队的主要动力。数据团队构建一系列工具和服务，利用数据科学和机器学习，尽可能减少该社区可能出现的问题。
关注并星标 从此不迷路 计算机视觉研究院 公众号ID｜ComputerVisionGzq 学习群｜扫码在主页获取加入方式 论文地址：https://arxiv.org/pdf/2206.00790.pdf 计算机视觉研究院专栏 作者：Edison_G 计算机视觉的自监督学习取得了巨大的进步，并改进了许多下游视觉任务，例如图像分类、语义分割和对象检测。 01 概要简介 计算机视觉的自监督学习取得了巨大的进步，并改进了许多下游视觉任务，例如图像分类、语义分割和对象检测。其中，生成式自监督视觉学习方法如M
图 1. 研究者的模型使用单深度图像或 RGB 图像中的精细细节补全或重建对象的完整 3D 形状。
多伦多大学斯卡伯勒分校(University of Toronto Scarborough)的神经科学家开发了一项新技术，可以根据脑电图(EEG)收集的大脑活动，重建人们所感知的图像。
动态环境对视觉SLAM具有挑战性,因为移动对象遮挡了静态环境特征并导致错误的摄像机运动估计.在这篇文章中,我们提出了一个新的密集的三维立体模型解决方案,同时完成了动态/静态分割和相机自我运动估计以及静态背景重建.
1.Implicit Autoencoder for Point Cloud Self-supervised Representation Learning(ICCV 2023)
作为计算机视觉领域的顶级学术会议，CVPR 2019 近期公布了最终论文接收结果，引来学界密切关注。据悉，CVPR 2019 今年一共获得 5165 篇有效提交论文，最终抉出了 1300 篇接收论文，接收率达到 25.2% 。
1.Compact 3D Gaussian Representation for Radiance Field
论文、代码地址：在公众号「计算机视觉工坊」，后台回复「二维图像GAN」，即可直接下载。
在杂波和遮挡情况下，对自由形式物体的识别及分割是一项具有挑战性的任务。本文提出了一种新的基于三维模型的算法，该算法可以有效地执行该任务，对象的三维模型是从其多个无序范围图像离线自动构建的，这些视图被转换为多维，用张量表示，通过使用基于哈希表的投票方案将视图的张量与其余视图的张量匹配，这些视图之间自动建立对应关系，形成一个相对转换图，用于将视图集成到无缝3D模型之前注册视图，该模型及其张量表示构成了模型库。在在线识别过程中，通过投票场景中的张量与库中的张量同时匹配，对于得票最多的模型张量并计算相似性度量，进而被转换为场景，如果它与场景中的对象精确对齐，则该对象被声明为识别和分割。这个过程被重复，直到场景完全分割。与自旋图像的比较表明，本文算法在识别率和效率方面都是优越的。
1.LLaVA-Interactive: An All-in-One Demo for Image Chat, Segmentation, Generation and Editing
三维重建是一个长期存在的不适定问题，已经被计算机视觉、计算机图形学和机器学习界探索了几十年。自2015年以来，利用卷积神经网络（CNN）进行基于图像的三维重建引起了越来越多的关注，并且表现非常出色。鉴于这一快速发展的新时代，本文全面综述了这一领域的最新发展，重点研究了利用深度学习技术从单个或多个RGB图像中估计一般物体三维形状的方法。
文章：DSP-SLAM: Object Oriented SLAM with Deep Shape Priors
Iobrcbr = imreconstruct(imcomplement(Iobrd),imcomplement(Iobr));
研究了图像超分辨率(SR)对低分辨率图像中目标检测任务的影响。直观上，SR对目标检测任务产生了积极的影响。虽然之前的一些工作证明了这种直觉是正确的，但是在这些工作中，SR和检测器是独立优化的。摘要提出了一种新的深度神经网络训练框架，在此框架中，SR子网络通过对传统检测损耗的权衡，明确地将检测损耗纳入到训练目标中。这种端到端培训程序允许我们对任何可微检测器的SR预处理进行训练。我们证明，我们的任务驱动的SR在各种条件和缩放因子下，一致且显著地提高了目标探测器在低分辨率图像上的准确性。
作者：Kangyeol Kim, Sunghyun Park, Junsoo Lee, Jaegul Choo
主流编码标准采用划分树结构实现块级预测和变换。以 HEVC 为例，它将图像分割成固定尺寸且互不重叠的 CTU，每个 CTU 能够进一步细分为更小的编码单元 CU 和预测单元 PU。这种结构下的候选划分模式和位置是预先设定好的，这意味着 CTU 或 CU 的边界并不总是与文本字符的边界重合，进而导致字符在像素层面的完整性受到破坏。特别是在字符跨越 CTU 边界的情况下，会出现大量小尺寸的 CU，造成预测效率下降以及不必要的比特率消耗，如下图所示。
前面几节讨论了直接从二维观测重建三维对象的方法。本节展示了如何使用附加提示，如中间表示和时间相关性来促进三维重建。
1.RICO: Regularizing the Unobservable for Indoor Compositional Reconstruction(ICCV 2023)
文章：Colmap-PCD: An Open-source Tool for Fine Image-to-point cloud Registration
年初 ChatGPT 爆火，美国《时代周刊》发文揭露其背后的「血汗工厂」，给「AIGC 领头羊」耀眼的光环蒙上了一层巨大阴影。
前段时间在看一些小目标检测的文献综述，看到一种思路是将图片超分重建之后再送到检测网络中进行检测。 优点是检测效果提升，缺点是可能会造成伪影。 实践出真知，本篇就用DOTA-test数据集中的一张图像来做测试，探究超分重建是否对小目标检测起到帮助。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
