(温馨提示:本系列知识是循序渐进的,推荐第一次阅读的同学从第一章看起,链接在文章底部)
这是有关渲染的系列教程的第20部分。上一部分介绍了GPU实例化。在这一部分中,我们将添加到目前为止尚不支持的标准着色器的最后一部分,即视差贴图。
论文标题:Point Pair Features Based Object Detection and Pose Estimation Revisited
大家好,我是阿潘,今天给大家分享一篇最新的成果NeROIC,号称可以从在线图像集合获取对象表示的新方法,从具有不同相机、照明和背景的照片中捕获任意对象的高质量几何和材料属性!
2023 年 7 月 7 日,计算机图形学顶级会议 ACM SIGGRAPH 2023 最佳论文奖评选结果揭晓。其中,山东大学计算机科学与技术学院交叉研究中心(IRC)的科研团队发表的学术论文 “Globally Consistent Normal Orientation for Point Clouds by Regularizing the Winding-Number Field” 被评为五篇最佳论文之一。这是自 SIGGRAPH (NA) 设立最佳论文奖以来,国内科研团队首次以第一单位荣获该奖项。
---- 新智元报道 编辑:LRS 【新智元导读】通过几张二维照片还原为3D模型一直是一个图形学的一个难题,并且照片的不同光线、相机型号都会影响到最终的生成效果,也限制了模型的实际应用场景。最近南加州大学华人博士提出新模型NeROIC,不仅让模型的易用性大大提升,还显著提升了真实感! 随着深度学习的加入,计算机图形学又产生了很多新兴领域。神经渲染(Neural Rendering)技术就是利用各种深度神经网络进行图像合成,通过自动化的流程,能够节省大量从业人员的时间和精力。例如给定几张不同角度拍摄
1.Globally Consistent Normal Orientation for Point Clouds by Regularizing the Winding-Number Field(SIGGRAPH 2023 Best Paper)
执行纹理映射的通常方法是使用网格中每个顶点存储的UV坐标。但这不是唯一的方法。有时,没有可用的UV坐标。例如,当使用任意形状的过程几何时。在运行时创建地形或洞穴系统时,通常无法为适当的纹理展开生成UV坐标。在这些情况下,我们必须使用另一种方式将纹理映射到我们的表面上。其中一种方法是三向贴图。
忙完手头的工作,紧接着开始接下来的活。这两天看了14年的这篇CVPR论文,由于题目限制没有写全,全名是《Surface-from-Gradients:An Approach Based on Discrete Geometry Processing》。主要贡献是运用离散优化的思路,优化了从梯度图/法线图进行三维重建的流程,得到了不错的实验效果
摘要:本文提出了InstantMesh,这是一个用于从单视角图像生成即时3D网格的前馈框架,具有当前非常优秀的生成质量和显著的训练可扩展性。
1.N3-Mapping: Normal Guided Neural Non-Projective Signed Distance Fields for Large-scale 3D Mapping
1.MotionDirector: Motion Customization of Text-to-Video Diffusion Models
如果液体不动时,在视觉上是无法与固体区分开的。你看的到底是水,果冻还是玻璃杯呢?水池是结冰的吗?但可以肯定的是,如果干扰它并观察它是否会变形,以及变形多少就可以区分。仅从创建上看起来像流体的材质是远远不够的,实际上它必须要能动起来。否则,它就是看起来像是水的玻璃雕塑或已经结冰的水。当然,这对于一张照片来说已经足够了,但对于电影或游戏来说远远足够。
KinectFusion是微软在2011年发表的一篇论文里提到的点云重建的方法,论文题目是:KinectFusion: Real-Time Dense Surface Mapping and Tracking。点云是用Kinect采集的,然后算法把这些点云注册对齐,融合成一个整体点云。
选自arXiv 作者:Wanchao Su、Dong Du、Xin Yang、Shizhe Zhou、Hongbo Fu 机器之心编译 参与:Panda 如果设计工具能根据简单的素描自动生成法线贴图,那将能够为图形设计师提供很大的帮助。近日,香港城市大学、中国科学技术大学、大连理工大学和湖南大学四所高校的研究者提出了一种使用生成对抗网络的法线贴图生成方法。该研究的论文已被将于 5 月 15-18 日在加拿大蒙特利尔举办的 ACM SIGGRAPH 交互式 3D 图形和游戏研讨会(i3D)接收。 法线贴图(n
萧箫 发自 凹非寺 量子位 | 公众号 QbitAI 渲染一个精细到头发和皮肤褶皱的龙珠3D手办,有多复杂? 对于经典模型NeRF来说,至少需要同一个相机从特定距离拍摄的100张手办照片。 但现在,一个新AI模型只需要40张来源不限的网络图片,就能把整个手办渲染出来! 这些照片的拍摄角度、远近和亮暗都没有要求,还原出来的图片却能做到清晰无伪影: 甚至还能预估材质,并从任意角度重新打光: 这个AI模型名叫NeROIC,是南加州大学和Snap团队玩出来的新花样。 有网友见状狂喜: 不同角度的照片就能渲
文章:Towards Accurate Ground Plane Normal Estimation from Ego-Motion
本帖参考Adrian Pennington近期发表在IBC的文章MPEG heads to the holograph,重点介绍了MPEG正在推广的基于视频的点云压缩技术 (V-PCC)。V-PCC解决了3D点云(空间中的一组数据点)的编码,以及相关的例如颜色的属性。其目的是启用包括人物角色表示在内的新应用。换句话说,人形化身或全息图作为沉浸式扩展现实的一部分在不久的将来就会实现。
论文作者:Yunze Liu, Qingnan Fan, Shanghang Zhang, Hao Dong, Thomas Funkhouser, Li Yi
Poisson Surface Reconstruction for LiDAR Odometry and Mapping
编译 | 莓酊 编辑 | 青暮生成辐射场的发展推动了3D感知图像合成的发展。由于观察到3D对象从多个视点看起来十分逼真,这些方法引入了多视图约束作为正则化,以从2D图像学习有效的3D辐射场。尽管取得了进展,但由于形状-颜色的模糊性,它们往往无法捕获准确的3D形状,从而限制了在下游任务中的适用性。在这项研究工作中,来自马普所和港中文大学的学者通过提出一种新的着色引导生成隐式模型ShadeGAN来解决这种模糊性,它学习了一种改进的形状表示。 论文地址:https://arxiv.org/pdf/2110.15
Games101 lecture7-8-9-10 Shading(着色)定义为对不同对象应用不同材质的过程。不同的材质也就是不同的着色方法。有许多着色模型,例如Blinn-Phong Reflectance Model(经验模型)。如下图着色模型:
大家可以看到下面这三个球是看起来不一样的是吧,但是其实这三个球用的模型是一样,但是着色频率不一样,我们说着色是应用到某个点的,所谓着色频率就是指要将着色应用到哪些点上,左边这个球是平面着色,中间这个是顶点着色,右边这个是像素着色
原文:Improving 3D-aware Image Synthesis with A Geometry-aware Discriminator
南加州大学华人博士提出的新模型NeROIC,可以从图像创建 3D 模型,这引领着图形学领域的创新浪潮。这项前沿技术能够将普通照片转化为高度逼真的3D模型,为我们带来了突破性的创作和设计可能性。在深度学习的推动下,NeROIC以其卓越的易用性和卓越的真实感,为图形学领域开启了新的篇章。
1.Instant3D: Instant Text-to-3D Generation
机器之心专栏 作者:杨雯琦 S3-NeRF 通过利用不同点光源下捕获的单视图图像学习神经反射场(neural reflectance field)以重建场景的 3D 几何和材质信息。与依赖于视图间照片一致性(photo-consistency)的多视图场景重建(multi-view scene reconstruction)不同,S3-NeRF 主要利用图像中的 shading 和 shadow 信息来推断可见 / 不可见区域的场景几何。 目前图像 3D 重建工作通常采用恒定自然光照条件下从多个视点(mul
UE5宣传片发布之后,沸腾的不只是技术行业,很多其他行业的人都表示,朋友圈也都被刷屏,一脸懵逼。Nanite宣称可以渲染160亿的三角面,这些对你们行外人来说当然看不懂,我们行内人也是看的一脸懵逼。
《玩具帝国》是一款Windows+安卓平台的双端游戏,使用Unity URP进行开发。画面属于写实风格。
地形系统在3d程序中是一个重要的部分,这里介绍一下我正在使用的一个简单的地形类.地形数据可以保存在一张灰度图里面,所谓的灰度图就是一张只有黑色和白色的图片,使用颜色深度代表数据大小.我们可以读取出图片上每个像素的颜色值作为地图中某个位置的高度,下面是地形网格投影在平面上的样子
基础纹理: 美术人员通常在建模软件中利用纹理展开技术,将纹理映射坐标存储在每个顶点上。纹理映射坐标定义了该点在纹理中对应的2D坐标。这个坐标通常被称为UV坐标用uv表示。
第一期内容中我们了解到,PCL官网上将PCL分为十四个功能模块(滤波器、特征、关键点、配准、Kd树、八叉树、分割、采样一致性、表面、范围图像、输入输出、可视化、常用、搜索),本期我们将粗略介绍部分模块的功能,帮助开发者定位可供自己应用的功能。
先自我介绍……你要是说这是自我炒作我也认了。首先说明,FXCarl是一个对3D美术一窍不同的家伙。虽然很想往技术美工方向发展了。因为是学程序出身,眼下能做的也就是写写Shaders。等到手上的项目做完,会公开始用的实时光照模型……不过那是后话了。现在只是想配合一下这两天大家讨论的热火朝天的Normal Map,在这里和占大多数的美术人员从另外一个角度来谈谈“凹凸贴图技术”
文章:Optimising the selection of samples for robust lidar camera calibration
“他山之石,可以攻玉”,站在巨人的肩膀才能看得更高,走得更远。在科研的道路上,更需借助东风才能更快前行。为此,我们特别搜集整理了一些实用的代码链接,数据集,软件,编程技巧等,开辟“他山之石”专栏,助你乘风破浪,一路奋勇向前,敬请关注。
在写这篇文章时,我特意去Wiki上搜了一下ScreenSpace, 可能是由于太过直白的缘故,并没有找到标准的定义。
作者:Lucas Beyer, Pavel Izmailov, Alexander Kolesnikov, Mathilde Caron, Simon Kornblith,
这段时间真的好忙,周更啊什么的都停滞了。前几天又看了一圈谭平的关于如何提高光度立体成像法线分辨率的这个论文,看完也写了长长的笔记。
标题:Accurate and Robust Scale Recovery for Monocular Visual Odometry Based on Plane Geometry
Avatar人物经过JumpStart起跳到InAir状态下落时,被碰撞器卡住,造成重力计算中IsGround始终为false状态,人物以InAir状态滞留在空中,如下所示:
文章:LOCUS 2.0: Robust and Computationally Efficient Lidar Odometry for Real-Time 3D Mapping
我们之前在着色里面讲到这个纹理映射,就是给我们在三维空间中的物体表面贴图对吧,实际上纹理还有很多的用处
上周点云公众号开启了学习模式,由博主分配任务,半个月甚至一个月参与学习小伙伴的反馈给群主,并在微信交流群中进行学术交流,加强大家的阅读文献能力,并提高公众号的分享效果。在此期待更多的同学能参与进来!(目前已经有成员反馈,下周开始会将分享整理出来,定期分享,并将文档上传至github组群,供大家下载查看,并且有问题可以在github的issues中提问,大家可以相互提问并解答)
文章:LOG-LIO: A LiDAR-Inertial Odometry with Efficient Local Geometric Information Estimation
Open3D是一个开源库,支持快速开发和处理3D数据。Open3D在c++和Python中公开了一组精心选择的数据结构和算法。后端是高度优化的,并且是为并行化而设置的。
近来关注了下近年火热起来的衣物布料增强,于是看了前段时间刚刚新鲜出炉的Adobe和miHoYo参与的这篇文章,这篇文章运用网络实现了低性能代价的衣物褶皱增强效果,效果也还算可以
屏幕适配是为了让我们的项目能够跑在各种电子设备上(手机,平板,电脑) 那么了解是适配之前首先要了解两个知识点:
本文主要总结PCL中3D特征点的相关内容,该部分内容在PCL库中都是已经集成的在pcl_feature模块中,该模块包含用于点云数据进行3D特征估计的数据结构以及原理机制,3D特征点是3D点的三维空间中的位置的表示,该点周围信息一般具有一定的几何性质。
热带大气存在许多不同时间-空间尺度的活动信号。在次季节尺度,Madden–Julian Oscillation(MJO)是热带大气季节内振荡最活跃的信号。
领取专属 10元无门槛券
手把手带您无忧上云