首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

用纯Transformer构建高分辨率GAN

最近,TransGAN团队更新了他们的结果,最新的结果表明,TransGAN不仅在低分辨率图像任务中超越了StyleGAN,在更高分辨率(如256x256)图像生成任务中也取得了优异的成绩。 ?...首先让我们简单了解一下适用于高分辨率图像生成任务的TransGAN具体结构 ? TransGAN包含了一个内存友好的基于 transformer 的生成器和一个多尺度金字塔结构的判别器。...其中,生成器采用逐级放大分辨率的方式减小计算量,每一个层级之间采用了上采样模块来提高分辨率。...这是由于从低分辨率高分辨率图像时只需要在局部区域捕捉并生成细节信息。...在将应用TransGAN于更高分辨率时,TransGAN继续保持了优越的性能并且生成了细节丰富的高清图像 ?

1.1K30

OUR-GAN:单样本超高分辨率图像生成

选自arXiv 作者:Donghwee Yoon等 机器之心编译 编辑:蛋酱、张倩 在这篇论文中,研究者提出了 OUR-GAN,这是首个单样本(one-shot)超高分辨率(UHR)图像合成框架,能够从单个训练图像生成具有...4K 甚至更高分辨率的非重复图像。...OUR-GAN 应用无缝衔接的子区域超分辨率,在内存受限的条件下合成 4K 或更高分辨率的 UHR 图像,并解决了边界不连续的问题。...然后通过 in-memory 超分辨率在内存限制内尽可能提高分辨率。最后,OURGAN 通过逐个子区域应用超分辨率来进一步提高超出内存限制的分辨率来合成 UHR 图像。...InGAN 未能合成包含大量形状的可视化超高分辨率图像,因为它是通过重复从小样本训练中学到的小规模模式来合成图像。SinGAN 可以生成大规模的模式,但是未能捕捉到结构细节。

80720

通过协同绘制用GAN合成高分辨率无尽道路

而在这篇论文中,英伟达和加州大学伯克利分校的研究人员共同提出了一个新方法合成高分辨率的街景,利用条件GANs从语义标签映射生成的2048x1024的图像不仅在视觉上更吸引人,同时生成了新的对抗损失以及新的多尺度生成器和判别器体系结构...生成网络结构 多尺度判别网络(multi-scale discriminators) 对GAN的判别网络来说,高分辨率的图像是不小的挑战。...并且它们在训练时都需要更大的存储脚本,这对高分辨率的图像生成来说是很稀少的。 为了解决这一问题,研究人员提出了使用多尺度判别器的方法,即用三种拥有同样结构的网络,但针对不同尺寸的图片运行。...例如变换肤色、加胡子等等 各位可以到网站上自行绘制你的“大作”:uncannyroad.com/ 结语 实验的结果表明,条件GANs无需手动调整损失函数或提前训练网络,就能合成高分辨率的逼真图像。...我们的成果将帮助许多需要高分辨率图像,但却没有预先训练网络的领域,比如医疗影像和生物领域。 同时,这篇论文还向我们展示出,图像到图像的合成pipeline可以用来生成多种结果。

71370

​王井东:视觉识别中的高分辨率表征学习

一 报告导读 本次报告主要分享的是高分辨率表征学习,在计算机视觉识别里面的应用,包括如何在整个神经网络结构中维持高分辨率的表征,提出了HRNet模型结构,以及在场景分割、关键点检测、人脸对齐等任务中的实验结果和应用...换句话说,我们需要高分辨率的表征。我们可以看看以前是怎么做高分辨率表征的。我们总结一下,这些结构的特征,首先从低分辨率的网络结构,恢复到高分辨率。...同时,我们希望三个分支之间进行不停地交互,我们希望每个分支能从别的分支里面进行信息交互,起到互相帮助的作用第二个特点,传统的为了得到高分辨率的表征,需要去恢复,一开始就有高分辨率的表征,在整个网络过程里面...第一步里面只有高分辨率的,第二步是除了高分辨率又加了降二分之一分辨率的,第三步又降一点。同时设计的网络结构是模块化的,比如在第三步里面,重复了四个模块,这个模块是完全一样的。...简单讨论一下,第一个就是高分辨率网络跟传统的基于低分辨率的网络比起来,可以被验证比传统的方法要好。但是在分类里面,还不是很清楚是不是一定要高分辨率的网络。

75120

CVPR 2022 | Restormer:高分辨率图像恢复的高效Transformer

虽然Transformer模型减轻了CNN的缺点(即,有限的接收场和对输入内容的不适应性),其计算复杂度随着空间分辨率二次增长,因此使得其不可行地应用于涉及高分辨率图像的大多数图像恢复任务。...(2)我们提出了一个多Dconv头转置注意(MDTA)模块,能够聚合本地和非本地像素的相互作用,是足够有效的处理高分辨率图像。...我们的主要目标是开发一个高效的Transformer模型,可以处理高分辨率的图像恢复任务。为了缓解计算瓶颈,我们将关键设计引入多头SA层和多尺度分层模块,其计算要求低于单尺度网络。...Figure2:用于高分辨率图像恢复的Restormer的体系结构。我们的Restormer由多尺度分层设计,结合高效的Transformer块。...因此,它是不可行的,以适用于大多数图像恢复任务,往往涉及高分辨率图像。 为了缓解这个问题,我们提出了MDTA,如图2(a)所示,具有线性复杂度。

30810
领券