首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

一组照片渲染出3D视频,单像素点实时渲染火了,网友:在家也能制作3A游戏了?

机器之心报道 编辑:杜伟、陈萍 合成视频达到了新的高度,来自德国埃尔朗根 - 纽伦堡大学的研究者提出了一种新的场景合成方法,使合成视频更接近现实。 合成逼真的虚拟环境是计算机图形学和计算机视觉中研究最多的主题之一,它们所面临是一个重要问题是 3D 形状应该如何编码和存储在内存中。用户通常在三角形网格、体素网格、隐函数和点云之间进行选择。每种表示法都有不同的优点和缺点。为了有效渲染不透明表面,通常会选择三角形网格,体素网格常用于体绘制,而隐函数可用于精确描述非线性分析表面,另一方面,点云具有易于使用的优点,因

01

真实场景的虚拟视点合成(View Synthsis)详解

上一篇博客中介绍了从拍摄图像到获取视差图以及深度图的过程,现在开始介绍利用视差图或者深度图进行虚拟视点的合成。虚拟视点合成是指利用已知的参考相机拍摄的图像合成出参考相机之间的虚拟相机位置拍摄的图像,能够获取更多视角下的图片,在VR中应用前景很大。   视差图可以转换为深度图,深度图也可以转换为视差图。视差图反映的是同一个三维空间点在左、右两个相机上成像的差异,而深度图能够直接反映出三维空间点距离摄像机的距离,所以深度图相较于视差图在三维测量上更加直观和方便。 利用视差图合成虚拟视点 利用深度图合成虚拟视

03

深入浅出stable diffusion:AI作画技术背后的潜在扩散模型论文解读

本文略长,需一定耐心看完!不当处望指出。 前言 扩散模型(DMs)将生成过程顺序分解,基于去噪自动编码器实现,在图像数据和其它数据上实现了先进的生成结果。此外,它们可以添加引导机制来控制图像生成过程而无需再训练。 然而,由于这些模型直接在像素空间中操作,优化扩散模型DM消耗数百个GPU天,且由于一步一步顺序计算,推理非常昂贵。为在有限的计算资源上进行DM训练,同时保持其质量和灵活性,本文应用了预训练自动编码器的潜在空间。与之前的工作相比,在这种表示上训练扩散模型,可以在复杂性降低和细节保留之间达到一个接近最

01

Let There Be Light: Improved Traffic Surveillancevia Detail Preserving Night-to-Day Transfer

近年来,在深度卷积神经网络(CNNs)的帮助下,图像和视频监控在智能交通系统(ITS)方面取得了长足的进步。作为最先进的感知方法之一,检测视频监控每帧中感兴趣的目标是ITS广泛期望的。目前,在具有良好照明条件的日间场景等标准场景中,物体检测显示出显著的效率和可靠性。然而,在夜间等不利条件下,物体检测的准确性会显著下降。该问题的主要原因之一是缺乏足够的夜间场景注释检测数据集。在本文中,我们提出了一个框架,通过使用图像翻译方法来缓解在不利条件下进行目标检测时精度下降的情况。 为了缓解生成对抗性网络(GANs)造成的细节破坏,我们建议利用基于核预测网络(KPN)的方法来重新定义夜间到日间的图像翻译。KPN网络与目标检测任务一起训练,以使训练的日间模型直接适应夜间车辆检测。车辆检测实验验证了该方法的准确性和有效性。

02

Alpha通道的概念与功能

Alpha通道技术是非曲直图像合成的最基本技术,目前其应用多局限于多媒体课件作品开发中的个别环节,未能从整体上给予Alpha通道功能以足够的重视。如:对通用图像处理软件PHOTOSHOP中的Alpha通道及其运用有较深刻的理解,而疏忽了Alpha通道在动画、视频和多媒体集成工具中的应用。本文通过对Alpha通道的综合分析,以期使Alpha通道技术在多媒体课件作品开发中的应用形成一个相对完整的理论体系,并在多媒体课件作品开发实践中起到具体的指导作用。 一、Alpha通道的概念与功能 在计算机图形学中,一个RGB颜色模型的真彩图形,用由红、绿、蓝三个色彩信息通道合成的,每个通道用了8位色彩深度,共计24位,包含了所有彩色信息。为实现图形的透明效果,采取在图形文件的处理与存储中附加上另一个8位信息的方法,这个附加的代表图形中各个素点透明度的通道信息就被叫做Alpha通道。 Alpha通道使用8位二进制数,就可以表示256级灰度,即256级的透明度。白色(值为255)的Alpha像素用以定义不透明的彩色像素,而黑色(值为0)的Alpha通道像素用以定义透明像素,介于黑白之间的灰度(值为30-255)的Alpha像素用以定义不同程度的半透明像素。因而通过一个32位总线的图形卡来显示带Alpha通道的图形,就可能呈现出透明或半透明的视觉效果。 一个透明或半透明图形的数学模型应当如下: 为了便于下面的分析,设Alpha值[0,255]区间映射为[0,1]区间相对应的值表示,即Alpha值为0—1之间的数值。则图形文件中各个像素点可表示为: Graphx(Redx,Greenx,Bulex,Alphax) 屏幕上相应像素点的显示值就转换为: Dispx(Redx*Alphax,Greenx*Alphax,Bluex*Alphax) Alpha通道不仅用于单个图形的透明或半透明显示,更重要的是在图像合成中被广泛运用。 下面是如何根据Alpha通道数据进行图像混合的算法: 事实上,我们把需要组合的颜色计算出不含Alpha分量的原始RGB分量然后相加便可。如:两幅图像分别为A和B,由这两幅图像组合而成的图像称为C,则可用如下四元组表示图A和B,三元组表示图像C: A:(Ra,Ga,Ba,Alphaa) B:(Rb,Gb,Bb,Alphab) C:(Rc,Gc,Bc) 根据上述算法,则: Rc=Ra*Alphaa+Rb*Alphab Gc=Ga*Alphaa+Gb*Alphab Bc=Ba*Alphaa+Bb*Alphab 这就是两图像混合后的三原色分量。如果有多幅图像需要混合,则按照以上方法两幅两幅地进行混合。 Alpha通道技术是非曲直图像合成的最基本技术,目前其应用多局限于多媒体课件作品开发中的个别环节,未能从整体上给予Alpha通道功能以足够的重视。如:对通用图像处理软件PHOTOSHOP中的Alpha通道及其运用有较深刻的理解,而疏忽了Alpha通道在动画、视频和多媒体集成工具中的应用。本文通过对Alpha通道的综合分析,以期使Alpha通道技术在多媒体课件作品开发中的应用形成一个相对完整的理论体系,并在多媒体课件作品开发实践中起到具体的指导作用。

05

Learning Texture Invariant Representation for Domain Adaptation

由于为语义分割注释像素级标签非常费力,因此利用合成数据是一个很有吸引力的解决方案。然而,由于合成域与真实域之间存在域间的差异,用合成数据训练的模型很难推广到真实数据中去。在本文中,我们考虑到两个域之间的根本区别作为纹理,提出了一种适应目标域纹理的方法。首先,我们利用风格转换算法对合成图像的纹理进行多样性处理。生成图像的各种纹理防止分割模型过度拟合到一个特定的(合成)纹理。然后通过自训练对模型进行微调,得到对目标纹理的直接监督。我们的结果达到了最先进的性能,我们通过大量的实验分析了在程式化数据集上训练的模型的属性。

03

Improved Traffic Surveillance via Detail Preserving

近年来,在深度卷积神经网络(CNNs)的帮助下,图像和视频监控在智能交通系统(ITS)中取得了长足的进展。 作为一种先进的感知方法,智能交通系统对视频监控中每一帧感兴趣的目标进行检测是其广泛的研究方向。 目前,在照明条件良好的白天场景等标准场景中,目标检测显示出了显著的效率和可靠性。 然而,在夜间等不利条件下,目标检测的准确性明显下降。 造成这一问题的主要原因之一是缺乏足够的夜间场景标注检测数据集。 本文提出了一种基于图像平移的目标检测框架,以解决在不利条件下目标检测精度下降的问题。 我们提出利用基于风格翻译的StyleMix方法获取白天图像和夜间图像对,作为夜间图像到日间图像转换的训练数据。 为了减少生成对抗网络(GANs)带来的细节破坏,我们提出了基于核预测网络(KPN)的方法来细化夜间到白天的图像翻译。 KPN网络与目标检测任务一起训练,使训练好的白天模型直接适应夜间车辆检测。 车辆检测实验验证了该方法的准确性和有效性。

01

扩散模型生成带汉字图像,一键输出表情包:OPPO等提出GlyphDraw

机器之心报道 机器之心编辑部 为了让 AI 生成的图像里带有真正的文字,人们想尽了办法。 近来,文本生成图像领域取得了很多意想不到的突破,很多模型都可以实现基于文本指令创建高质量和多样化图像的功能。虽然生成的图像已经很逼真,但当前模型往往善于生成风景、物体等实物图像,但很难生成带有高度连贯细节的图像,例如带有汉字等复杂字形文本的图像。 为了解决这个问题,来自 OPPO 等机构的研究者们提出了一个通用学习框架 GlyphDraw,旨在让模型能够生成嵌入连贯文本的图像,这是图像合成领域首个解决汉字生成问题的工作

06
领券