首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Patterns | scMMGAN: 单细胞多模态GAN揭示三阴性乳腺癌单细胞数据中的空间模式

本文介绍由美国耶鲁大学计算机科学系的Smita Krishnaswamy通讯发表在 Patterns 的研究成果:为了同时分析多个组学数据中的信息,作者提出了一个叫做单细胞多模态生成对抗网络(scMMGAN)的框架,该框架将来自多种模态的数据整合到环境数据空间的统一表示中,并结合对抗学习和数据几何技术进行下游分析。该框架的关键改进是一个额外的扩散几何损失,它使用一个新的内核来约束原本过度参数化的GAN。作者证明了scMMGAN有能力在各种数据模式上产生比其他方法更有意义的结果,并且其输出可用于从现实世界的生物实验数据得出结论。

02
您找到你想要的搜索结果了吗?
是的
没有找到

【360人工智能研究院与NUS颜水成团队】HashGAN:基于注意力机制的深度对抗哈希模型提升跨模态检索效果

【导读】近日,中山大学、新加坡国立大学和奇虎360人工智能研究院团队提出了一种具有注意机制的对抗哈希网络(adversarial hashing network)来进行跨模态检索,通过选择性地聚焦多模态数据中有信息量的部分来提升相似性内容的度量性能。文中利用对抗网络在跨模态检索中实现了注意力机制,提出的HashGAN大幅提升了现有的最好的方法。提出的HashGAN包含三个模块:(1)特征学习模块,来获得特征表示;(2)注意力生成模块,其生成一个注意力mask,用于获得被关注(前景)和未被关注的(背景)特征表

05

Improved Techniques for Training Single-Image GANs

最近,人们对从单个图像而不是从大型数据集学习生成模型的潜力产生了兴趣。这项任务意义重大,因为它意味着生成模型可以用于无法收集大型数据集的领域。然而,训练一个能够仅从单个样本生成逼真图像的模型是一个难题。在这项工作中,我们进行了大量实验,以了解训练这些方法的挑战,并提出了一些最佳实践,我们发现这些实践使我们能够比以前的工作产生更好的结果。一个关键点是,与之前的单图像生成方法不同,我们以顺序的多阶段方式同时训练多个阶段,使我们能够用较少的阶段来学习提高图像分辨率的模型。与最近的最新基线相比,我们的模型训练速度快了六倍,参数更少,并且可以更好地捕捉图像的全局结构。

02

学界 | 把酱油瓶放进菜篮子:UC Berkeley提出高度逼真的物体组合网络Compositional GAN

生成对抗网络(GAN)是在给定输入的条件下生成图像的一种强大方法。输入的格式可以是图像 [9,37,16,2,29,21]、文本短语 [33,24,23,11] 以及类标签布局 [19,20,1]。大多数 GAN 实例的目标是学习一种可以将源分布中的给定样例转换为输出分布中生成的样本的映射。这主要涉及到单个目标的转换(从苹果到橙子、从马到斑马或从标签到图像等),或改变输入图像的样式和纹理(从白天到夜晚等)。但是,这些直接的以输入为中心的转换无法直观体现这样一个事实:自然图像是 3D 视觉世界中交互的多个对象组成的 2D 投影。本文探索了组合在学习函数中所起到的作用,该函数将从边缘分布(如椅子和桌子)采集到的目标不同的图像样本映射到捕获其联合分布的组合样本(桌椅)中。

02

Cycle-object consistency for image-to-image domain adaptation

生成对抗性网络(GANs)的最新进展已被证明可以通过数据扩充有效地执行目标检测器的域自适应。虽然GANs非常成功,但那些能够在图像到图像的翻译任务中很好地保存目标的方法通常需要辅助任务,例如语义分割,以防止图像内容过于失真。然而,在实践中很难获得像素级注释。或者,实例感知图像转换模型分别处理对象实例和背景。然而,它在测试时需要目标检测器,假设现成的检测器在这两个领域都能很好地工作。在这项工作中,我们介绍了AugGAN Det,它引入了循环目标一致性(CoCo)损失,以生成跨复杂域的实例感知翻译图像。 目标域的目标检测器直接用于生成器训练,并引导翻译图像中保留的目标携带目标域外观。与之前的模型(例如,需要像素级语义分割来强制潜在分布保持对象)相比,这项工作只需要更容易获取的边界框注释。接下来,对于感知实例的GAN模型,我们的模型AugGAN-Det在没有明确对齐实例特征的情况下内化了全局和对象样式转移。最重要的是,在测试时不需要检测器。实验结果表明,我们的模型优于最近的目标保持和实例级模型,并实现了最先进的检测精度和视觉感知质量。

01

GAN-Based Day-to-Night Image Style Transfer forNighttime Vehicle Detection

数据增强在训练基于CNN的检测器中起着至关重要的作用。以前的大多数方法都是基于使用通用图像处理操作的组合,并且只能产生有限的看似合理的图像变化。最近,基于生成对抗性网络的方法已经显示出令人信服的视觉结果。然而,当面临大而复杂的领域变化时,例如从白天到晚上,它们很容易在保留图像对象和保持翻译一致性方面失败。在本文中,我们提出了AugGAN,这是一种基于GAN的数据增强器,它可以将道路行驶图像转换到所需的域,同时可以很好地保留图像对象。这项工作的贡献有三个方面:(1)我们设计了一个结构感知的未配对图像到图像的翻译网络,该网络学习跨不同域的潜在数据转换,同时大大减少了转换图像中的伪影; 2) 我们定量地证明了车辆检测器的域自适应能力不受其训练数据的限制;(3) 在车辆检测方面,我们的目标保护网络在日夜困难的情况下提供了显著的性能增益。与跨领域的不同道路图像翻译任务的竞争方法相比,AugGAN可以生成更具视觉合理性的图像。此外,我们通过使用转换结果生成的数据集训练Faster R-CNN和YOLO来定量评估不同的方法,并通过使用所提出的AugGAN模型证明了目标检测精度的显著提高。

02

ICCV 2023 | LivelySpeaker: 面向语义感知的共话手势生成

人类对话中通常存在非语言行为,其中最重要的是手势语言。这些非语言手势提供了关键信息、丰富了对话的上下文线索。最近,基于深度学习的方法在从多模态输入生成手势的领域中广泛应用。特别是,这些方法将问题建模为有条件的运动生成,并通过训练一个以说话者身份音频波形、语音文本或这些多模态信号的组合为输入的有条件生成模型来解决。虽然结合了多个模态,但结果往往受到音频信号的节奏高度相关的影响,因为它与说话期间手势的表现密切相关。而其他工作认识到通过共话手势传达的语义的重要性,但它们的框架在很大程度上依赖于预定义的手势类型或关键字,这使得难以有效表达更复杂的意图。

01

扫码

添加站长 进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

    运营活动

    活动名称
    广告关闭
    领券