将多个模态理解的集成与长序列能力的集成非常重要。支持更多模态的基础模型可以接受更灵活的输入信号，使人们可以以更多样化的方式与模型进行交互，例如类似 GPT-40...

上一篇对Whisper原理和实战进行了讲解，第7次拿到了热榜第一🏆。今天，我们在Whisper的基础上，引入ffmpeg工具对视频的音频进行抽取，再使用Whis...

你有没有梦想过成为电影明星？或者想制作一些搞笑的恶作剧视频来娱乐朋友？通过免费的在线AI换脸视频工具，这些愿望都可以实现！AI换脸技术，也被称为Deepfake...

“问渠那得清如许，为有源头活水来”，通过前沿领域知识的学习，从其他研究领域得到启发，对研究问题的本质有更清晰的认识和理解，是自我提高的不竭源泉。为此，我们特别精...

研究者们认为闭源模型对于视频理解和视频生成领域的巨大领先同样离不开详细高质量的视频-字幕数据。因此，该研究团队再次致力于为视频获取大量详细而精确的字幕，提升大型...

通过这些设计，VNBench能够全面地评估视频理解模型在多样化的视频内容和查询条件下的性能，为视频理解技术的研究提供了一个有力的基准测试工具。

当前，研究社区亟需全面可靠的长视频理解评估基准，以解决现有视频理解评测基准在视频长度不足、类型和任务单一等方面的局限性。

随着大型语言模型（LLMs）的成功，将视觉模型整合到LLMs中以构建视觉-语言基础模型近来引起了更多的关注。然而，现有的基于LLM的大型多模态模型（例如，Vid...

最近，来自KAUST和哈佛大学的研究人员提出了MiniGPT4-Video——专为视频理解而设计的多模态大模型。

【新智元导读】来自UC berkeley的研究人员开源了首个世界模型，多模态性能优秀，长视频理解吊打GPT-4，同时将上下文长度增加到百万级别

针对这一不同，字节跳动技术团队发布了专注于竖屏视频理解的数据集，提出了多个针对竖屏视频处理的技术点以及一个初始方案。这项研究对准确的竖屏视频理解和基础技术架构有...

视频理解的核心目标在于对时空表示的把握，这存在两个巨大挑战：短视频片段存在大量时空冗余和复杂的时空依赖关系。尽管曾经占主导地位的三维卷积神经网络 (CNN) 和...

通过在 LLaMA-VID 这一专注于长视频理解的大模型上应用基于 MovieLLM 构造的数据进行微调，本文显著增强了模型处理各种长度视频内容的理解能力。而针...

视频编码算法有很多，如广泛应用的H.264、H.265，但是它们都是为了更好地保证重建视频有着更高的质量，并且编码的质量指标（PSNR、SSIM）都是为了保证人...

随着移动设备用户数量的不断增加，流媒体播放在移动设备上的需求也越来越高。然而，移动设备上使用的流媒体播放器支持的格式有限，其中MPD格式和M3U8格式是两种常用...

在这个项目中，展示了 Temporal-Shift-Module ( https://hanlab.mit.edu/projects/tsm/)在 FPGA 上...

由于在视频检测和分类中暴露于高维输入时需要大量参数，因此在终端设备上开发紧凑但准确的视频理解是一个巨大的挑战。

不知道你有没有遇到这种情况，自己拍摄的视频素材进行剪辑后发布到了平台之后，就会把原本拍摄的视频素材删掉，以免占内存，当之后想起来有些素材时可以重复被利用的，便想...

以下文章来源于腾讯云AI ，作者Jerry 想做视频博主的你是不是总会被作品流量所困扰？ 精心策划的内容观看量总是很低，明明都用上了专业的拍摄、录音设备...