首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

Improved Techniques for Training Single-Image GANs

最近,人们对从单个图像而不是从大型数据集学习生成模型的潜力产生了兴趣。这项任务意义重大,因为它意味着生成模型可以用于无法收集大型数据集的领域。然而,训练一个能够仅从单个样本生成逼真图像的模型是一个难题。在这项工作中,我们进行了大量实验,以了解训练这些方法的挑战,并提出了一些最佳实践,我们发现这些实践使我们能够比以前的工作产生更好的结果。一个关键点是,与之前的单图像生成方法不同,我们以顺序的多阶段方式同时训练多个阶段,使我们能够用较少的阶段来学习提高图像分辨率的模型。与最近的最新基线相比,我们的模型训练速度快了六倍,参数更少,并且可以更好地捕捉图像的全局结构。

02

每日论文速递 | 当缩放遇到LLM微调:数据、模型和微调方法的影响

摘要:虽然大型语言模型(LLM)通常采用微调来解锁其下游应用程序的功能,但我们对不同微调方法的归纳偏差(特别是缩放属性)的理解仍然有限。为了填补这一空白,我们进行了系统的实验,研究不同的缩放因子,包括LLM模型大小,预训练数据大小,新的微调参数大小和微调数据大小,是否以及如何影响微调性能。我们考虑两种类型的微调-全模型调整(FMT)和参数有效的调整(PET,包括即时调整和LoRA),并探讨其缩放行为的数据有限的制度,其中LLM模型的大小大大超过微调的数据大小。基于1B到16 B两组预训练的双语LLM,以及在双语机器翻译和多语种摘要基准测试上的实验,我们发现:1)LLM微调遵循基于幂的乘法联合缩放律,即微调数据大小与彼此缩放因子之间的比例关系; 2)LLM微调从LLM模型缩放中获得的收益大于预训练数据缩放,PET参数缩放通常无效;以及3)最优微调方法是高度任务和微调数据相关的。我们希望我们的研究结果可以帮助理解,选择和发展LLM微调方法。

01

A full data augmentation pipeline for small object detection based on GAN

小物体(即32×32像素以下的物体)的物体检测精度落后于大物体。为了解决这个问题,我们设计了创新的体系结构,并发布了新的数据集。尽管如此,许多数据集中的小目标数量不足以进行训练。生成对抗性网络(GAN)的出现为训练体系结构开辟了一种新的数据增强可能性,而无需为小目标注释巨大数据集这一昂贵的任务。 在本文中,我们提出了一种用于小目标检测的数据增强的完整流程,该流程将基于GAN的目标生成器与目标分割、图像修复和图像混合技术相结合,以实现高质量的合成数据。我们的流水线的主要组件是DS-GAN,这是一种基于GAN的新型架构,可以从较大的对象生成逼真的小对象。实验结果表明,我们的整体数据增强方法将最先进模型的性能提高了11.9%AP@。在UAVDT上5 s和4.7%AP@。iSAID上的5s,无论是对于小目标子集还是对于训练实例数量有限的场景。

02

这个开发者易忽略的优化点,腾讯视频竟靠它省上千万元

👉腾小云导读 在互联网行业降本增效的大背景下,如何结合业务自身情况降低成本是每个业务都需要思考的问题。腾讯视频业务产品全平台日均覆盖人数超2亿。图片作为流媒体之外最核心的传播介质,庞大的业务量让静态带宽成本一直居高不下——腾讯视频各端日均图片下载次数超过 100 亿次,平均图片大小超 100kb,由此带来的图片静态带宽成本月均超千万。本文将详细介绍腾讯视频业务产品借助腾讯云数据万象来优化静态带宽成本过程中的挑战与解决方案,输出同领域通用的经验方法,希望可以对广大开发爱好者有所启发。 👉看目录,点收藏 1 背

02

这个开发者易忽略的优化点,腾讯视频竟靠它省上千万元

👉腾小云导读 在互联网行业降本增效的大背景下,如何结合业务自身情况降低成本是每个业务都需要思考的问题。腾讯视频业务产品全平台日均覆盖人数超2亿。图片作为流媒体之外最核心的传播介质,庞大的业务量让静态带宽成本一直居高不下——腾讯视频各端日均图片下载次数超过 100 亿次,平均图片大小超 100kb,由此带来的图片静态带宽成本月均超千万。本文将详细介绍腾讯视频业务产品借助腾讯云数据万象来优化静态带宽成本过程中的挑战与解决方案,输出同领域通用的经验方法,希望可以对广大开发爱好者有所启发。 👉看目录,点收藏 1 背

04
领券