首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

Stable Video Diffusion: 将潜在视频扩散模型扩展到大型数据集

在图像生成模型技术的推动下,视频生成模型在研究和应用领域取得了显著进展。这些模型通常通过从头开始训练或对预训练图像模型插入额外的时间层进行微调来实现。训练通常在混合的图像和视频数据集上进行。尽管视频建模的改进研究主要关注空间和时间层的排列方式,但先前的工作没有探究数据选择的影响。然而,训练数据分布对生成模型的影响是不可忽视的。此外,对于生成式图像建模,已经知道在大型和多样化的数据集上进行预训练,然后在小型但质量更高的数据集上进行微调,可以显著提高性能。然而,之前的视频建模方法往往借鉴了来自图像领域的技术,而对于数据和训练策略的影响,即在低分辨率视频上进行预训练再在高质量数据集上微调,还需要进一步研究。

01

学界 | 对抗式协作:一个框架解决多个无监督学习视觉问题

深度学习方法已经在使用大量数据进行监督的计算机视觉问题上取得了优秀成果 [10,17,19]。然而,对许多需要密集连续值输出的视觉问题而言,全面收集真实数据繁琐或不切实际 [6]。本文主要针对以下四个问题:单目深度预测、摄像机运动估计、光流和运动分割。之前的研究已经试着用真实数据 [5] 和合成数据 [4] 通过监督学习解决这些问题。然而在真实数据和合成数据间还是存在现实差距,真实数据不仅有限,而且不准确。例如,一般用 LIDAR 获取的深度真实数据 [6] 是稀疏的。此外,也没有可以提供真实光流数据的传感器,所以所有现有的存有真实图像的数据集都有其局限性或类似 [2,6,12]。运动分割真实数据需要手动标记一张图中所有的像素 [23]。

02

黑科技 | 发现外星人新方法,全新显微镜技术可远程侦测外太空生命

加州理工大学的研究团队提出用全息显微镜技术探索外星生命。 一直以来,在寻找外星生命方面,科学家都是通过寻找水这一间接的方法来推测生命的存在。近日,加州理工大学的研究人员提供证据表明:使用激光记录3D图像的数字全息显微镜技术是当前我们发现外星微生物的最佳选择。 关于数字全息显微镜,就是全息技术和显微镜的结合,它解决了一般显微镜中分辨率与景深之间的矛盾, 避免了像差影响, 可以获得更大的视野。而全息技术就是一种利用干涉和衍射原理来记录并再现物体真实三维图像的技术。 当然主要的困难还在于如何辨别出微生物与尘埃粒子

05
领券