11 月 5 日，在 Wave Summit+2019 深度学习开发者峰会上，飞桨全新发布和重要升级了最新的 21 项进展，在深度学习开发者社区引起了巨大的反响。
近年来，自动视频理解的研究经历了多次范式转变。随着神经网络的兴起，最初的问题是如何设计一种架构来输入时空信号[49, 68]。鉴于有限的视频训练数据，焦点随后转向了从图像分类预训练借用参数初始化[7]。为了提供视频预训练，一项工作已经在标注视频分类数据集上做出了昂贵的努力[27]。
Sora虽爆火但闭源，给学术界带来了不小的挑战。学者们只能尝试使用逆向工程来对Sora复现或扩展。
生成式对抗网络（GANs）是一种强大的人工智能技术，能够创造出惊人逼真的图像和视频。本教程将带你深入了解GANs的工作原理、应用领域以及如何使用它来生成图像和视频。
2月16日，美国人工智能公司OpenAI发布了首个视频生成模型Sora。不同于此前许多AI大模型文生图或视频时，会出现人物形象前后不一致等问题，此次OpenAI展示的Sora生成的视频中的主角、背景人物，都展现了极强的一致性，可以支持60秒一镜到底，并包含高细致背景、多角度镜头，以及富有情感的多个角色，可谓是相当的“炸裂”。甚至有不少人疾呼，传统视频制作行业将会被“革命”！
---- 新智元报道 编辑：LRS 【新智元导读】还在为PS的各种命令、工具头疼吗？魏茨曼联合英伟达发布了一个新模型Text2LIVE，只需用自然语言就能轻松完成各种抠图、贴图，图像和视频都能用！ 使用Photoshop类的软件算是创造性工作还是重复性工作？ 对于用PS的人来说，重复性工作如抠图可能是一大噩梦，尤其是头发丝、不规则的图形、与背景颜色贴近的，更是难上加难。 如果有AI模型能帮你抠图，还能帮你做一些如替换纹理、添加素材等工作，那岂不是能节省大把时间用来创作？ 一些专注于视觉效果（VF
前脚刚推出取得了40多个新SOTA的Florence「佛罗伦萨」吊打CLIP，横扫40多个SOTA。
视频生成不仅仅是要生成多张逼真的图像，而且要保证运动的连贯性，Video-GAN可以认为是图像生成鼻祖DCGAN的视频版。
自监督学习为监督学习方式提供了巨大的机会，可以更好地利用未标记的数据。这篇文章涵盖了关于图像、视频和控制问题的自监督学习任务的许多有趣想法。
6月还有一周就要结束了，我们今天来总结2024年6月上半月发表的最重要的论文，重点介绍了计算机视觉领域的最新研究和进展。
图像文本匹配，顾名思义，就是度量一幅图像和一段文本的相似性，该技术是多个模式识别任务的核心算法。例如，在图像文本跨模态检索任务中，当给定查询文本，需要依据图像文本的相似性去检索内容相似的图像；在图像描述生成任务中，给定一幅图像，需要依据图像内容检索相似的文本，并以此作为(或者进一步生成)图像的文本描述；在图像问答任务中，需要基于给定的文本问题查找图像中包含相应答案的内容，同时查找的视觉内容反过来也需要检索相似文本预料作为预测答案。 .
Artflow.ai 是一款人工智能工具，旨在帮助用户创建自定义头像并让他们的故事栩栩如生。主要特点和优势包括：
这次来自新加坡国立大学和中国香港中文大学的两位在读博士生提出了一个名叫MinD-Video的AI模型，它可以根据收集的fMRI数据重建任意帧速率的高质量视频。
Stability AI又有新动作了！这次给我们端上来的是全新的3D生成模型Stable Video 3D（SV3D）。
多模态融合是多模态信息处理的核心问题。本文介绍 NLP 领域关注度较高的多模态应用和相关的数据集。
只要用拖动的方式给出运动轨迹，DragNUWA就能让图像中的物体对象按照该轨迹移动位置并生成连贯的视频。
FFmpeg: Fast Forward Moving Picture Experts Group(mpeg:动态图像专家组） H.264:国际标准化组织（ISO）和国际电信联盟（ITU）共同提出的继MPEG4之后的新一代数字视频压缩格式.H.264是ITU-T以H.26x系列为名称命名的标准之一 AVC(Advaned Video Coding):ISO/IEC MPEG一方对H.264的称呼 序列的参数集(SPS)：包括了一个图像序列的所有信息 图像的参数集(PPS)：包括了一个图像所有片的信息 MinGW-w64:MinGW是Minimalist GNU for Windows的缩写，ffmpeg在Windows平台中的编译需要使用MinGW-w64,它提供了一系列的工具链来辅助编译Windows的本地化程序。MinGW-w64单独使用起来会比较麻烦，但是其可以与MSYS环境配合使用，MSYS是Minimal SYSYTEM的缩写，其主要完成的工作为UNIX on Windows的功能。显而易见，这是一个仿生UNIX环境的Windows工具集。
在计算机视觉的征途中，多目标跟踪（MOT）扮演着至关重要的角色，尤其是在自动驾驶等前沿技术领域。然而，现有技术大多受限于特定领域的标注视频数据集，这不仅限制了模型的泛化能力，也增加了应用成本。本文介绍的MASA（Matching Anything by Segmenting Anything）方法，以其创新的无监督学习策略，为多目标跟踪领域带来了革命性的突破。
近期在AI生成内容（AIGC）领域的快速发展标志着向实现人工通用智能（AGI）迈出的关键一步，特别是继OpenAI在2023年初推出大型语言模型（LLM）GPT-4之后。AIGC 吸引了学术界和工业界的广泛关注，例如基于LLM的对话代理ChatGPT[1]，以及文本转图像（T2I）模型如DALLLE[2]，Midjourney[3]和Stable Diffusion[4]。这些成果对文本转视频（T2V）领域产生了重大影响，OpenAI的Sora[5]在图1中展示的出色能力便是例证。
多目标跟踪（MOT）是计算机视觉中的基本问题之一。它在许多机器人系统（如自动驾驶）中起着关键作用。跟踪需要在视频中对感兴趣的目标进行检测并将它们跨帧关联。尽管最近的视觉基础模型[33, 35, 40, 47, 70, 78]在检测、分割和感知任何目标的深度方面表现出非凡的能力，但在视频中关联这些目标仍然具有挑战性。最近成功的多目标跟踪方法[36, 66]强调了学习判别性实例嵌入对于准确关联的重要性。有些[46]甚至认为，除了检测之外，它是最必要的跟踪组件。
多模态学习近期在大型语言模型的推动下，已经在图像文本对话和文本到图像生成任务上取得了进展。这激发了向视频理解和生成任务的转向，允许用户在视频和语言模态间进行交互。因此，桥接前述模态的详细且高保真的视频标题对于推进该领域的发展至关重要。
「视频到视频」合成（简称「vid2vid」）旨在将人体姿态或分割掩模等输入的语义视频，转换为逼真的输出视频。虽然当前 vid2vid 合成技术已经取得了显著进展，但依然存在以下两种局限：其一，现有方法极其需要数据。训练过程中需要大量目标人物或场景的图像；其二，学习到的模型泛化能力不足。姿态到人体（pose-to-human）的 vid2vid 模型只能合成训练集中单个人的姿态，不能泛化到训练集中没有的其他人。
本周二，基于 Stable Diffusion 的视频生成模型 Stable Video Diffusion 来了，AI 社区马上开始了热议。
测试Gemini1.5 Pro、GPT-4o等多模态大模型的新基准来了，针对视频理解能力的那种。
Sora 问世才不到两个星期，谷歌的世界模型也来了，能力看起来更强大：它生成的虚拟世界「自主可控」。https://mpvideo.qpic.cn/0bc37qac2aaa3iad2lo4b5svb7gdfx6aalia.f10004.mp4?
导读：在图像到图像合成的研究领域热火朝天的当下，英伟达又放大招，联合 MIT CSAIL 开发出了直接视频到视频的转换系统。
AI视频技术的发展历程可以追溯到2022年，当时初创公司Runway在这一领域取得了显著成就，其技术甚至被用于热门科幻电影《瞬息全宇宙》的视频编辑。此后，AI视频技术经历了快速的发展，Runway、Pika、Meta（Emu Video）等公司纷纷加入竞争。然而，早期的AI视频通常存在一些限制，如视频长度有限（通常只有几秒钟），场景逼真度不足，元素突然出现或消失，以及运动不连贯等问题，这些问题使得视频内容容易被识别为AI生成。
与H.264/AVC 类似，H265/HEVC也采用视频编码层（Video Coding Layer，VCL）和网络适配层（Network Abstract Layer, NAL）的双层结构，以适应不同网络环境和视频应用。网络适配层的主要任务是对视频压缩后的数据进行划分和封装，并进行必要的标识，使其更好的适应各种网络环境。
1.FACET: Fairness in Computer Vision Evaluation Benchmark
在图像生成模型技术的推动下，视频生成模型在研究和应用领域取得了显著进展。这些模型通常通过从头开始训练或对预训练图像模型插入额外的时间层进行微调来实现。训练通常在混合的图像和视频数据集上进行。尽管视频建模的改进研究主要关注空间和时间层的排列方式，但先前的工作没有探究数据选择的影响。然而，训练数据分布对生成模型的影响是不可忽视的。此外，对于生成式图像建模，已经知道在大型和多样化的数据集上进行预训练，然后在小型但质量更高的数据集上进行微调，可以显著提高性能。然而，之前的视频建模方法往往借鉴了来自图像领域的技术，而对于数据和训练策略的影响，即在低分辨率视频上进行预训练再在高质量数据集上微调，还需要进一步研究。
ICASSP 2018于2018年4月15日到4月20日在加拿大卡尔加里举行，会议主题为Signal Processing and Artificial Intelligence: Changing the World，因此会议中出现大量基于人工智能的方法应用，会议为期五天，包含四天的技术报告，并有Julia Hirschberg、Alex Acero、Yann LeCun和Luc Vincent等学界顶尖专家进行报告。
1.Directed Diffusion: Direct Control of Object Placement through Attention Guidance
还记得那个「会说话」的蒙娜丽莎吗？机器之心前不久报道了一项来自三星莫斯科 AI 中心和 Skolkovo 科学技术研究所的研究。在那项研究中，研究人员利用一张图像就合成了人物头像的动图，而且头像中的人物可以「说话」（只动嘴不发声）。蒙娜丽莎、梦露等名人画像、照片都可以用来作为「原料」。
以躺在草坪上的男人为中心，将镜头画面按照 10 倍的比例不断扩展，你将看到一亿光年外的场景。
iDT算法框架主要包括：密集采样特征点，特征轨迹跟踪和基于轨迹的特征提取三个部分。 光流：在时间间隔很小的情况下，视频像素位移 特征提取:通过网格划分的方式在多尺度图像中分别密集采样特征点。通过计算特征点临域内的光流中值得到特征点运动方向。
机器之心专栏 机器之心编辑部 来自香港中文大学、上海人工智能实验室、蚂蚁技术研究院以及加州大学洛杉矶分校的研究者提出了一个新的视频生成方法（Towards Smooth Video Composition），在多个数据集上的实验显示，新工作成功取得了大幅度超越先前工作的视频质量。 近年来，基于生成对抗式网络（Generative Adversarial Network, GAN）的图片生成研究工作取得了显著的进展。除了能够生成高分辨率、逼真的图片之外，许多创新应用也应运而生，诸如图片个性化编辑、图片动画化等
对于电影来说，除了精准回答所涉细节，LLaMA-VID也能对角色进行十分准确的理解和分析。
最近一段时间，你可能或多或少的听到过「科目三」，摇花手、半崴不崴的脚，配合着节奏鲜明的音乐，这一舞蹈动作遭全网模仿。
从手机安全和监控摄像头到增强现实和摄影，计算机视觉的面部识别分支具有多种有用的应用。根据您的具体项目，可能需要在不同光照条件下的面部图像或表达不同情绪的面部。从使用面部关键点注释的视频帧到真实和伪造的脸部图像对，此列表上的数据集的大小和范围各不相同。
Https://platform.openai.com，登录后单击页面顶部的『Playground』
今天跟大家分享一篇 ICCV 2019 的文章An Internal Learning Approach to Video Inpainting，该文在CVPR 2018 非常有意思的论文 Deep Image Prior（DIP）的启发下，使用视频内部学习（Internal Learning）的方式，同时建模表观与光流，解决视频修补中不连续的情况。
来源：新智元 极市平台本文约3800字，建议阅读5分钟本文总结了2022年发布的21个生成式模型，一次看明白生成式模型的发展脉络！ 过去的两年时间里，AI界的大型生成模型发布呈井喷之势，尤其是Stable Diffusion开源和ChatGPT开放接口后，更加激发了业界对生成式模型的热情。 但生成式模型种类繁多，发布速度也非常快，稍不留神就有可能错过了sota。 最近，来自西班牙科米利亚斯主教大学的研究人员全面回顾了各个领域内AI的最新进展，将生成式模型按照任务模态、领域分为了九大类，并总结了2022年发
选自arxiv 作者：Hang Zhao、Chuang Gan、Andrew Rouditchenko、Carl Vondrick Josh McDermott、Antonio Torralba 机器之心编译 参与：刘晓坤、李泽南 相比单模态信息，多模态信息之间的关联性能带来很多有价值的额外信息。在本文中，MIT 的研究员提出了 PixelPlayer，通过在图像和声音的自然同时性提取监督信息，以无监督的方式实现了对视频的像素级声源定位。该系统有很大的潜在应用价值，例如促进声音识别，以及特定目标的音量调整
CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理 📷 过去十年来，人工智能技术在持续提高和飞速发展，并不断冲击着人类的认知。 2012年，在ImageNet图像识别挑战赛中，一种神经网络模型（AlexNet）首次展现了明显超越传统方法的能力。 2016年，AlphaGo在围棋这一当时人们认为其复杂性很难被人工智能系统模拟的围棋挑战赛中战胜了世界冠军。 2017年，Google的Ashish Vaswani等人提出了 Transformer 深度学习新模型
---- 新智元报道 编辑：LRS 【新智元导读】一次学完所有生成式模型！ 过去的两年时间里，AI界的大型生成模型发布呈井喷之势，尤其是Stable Diffusion开源和ChatGPT开放接口后，更加激发了业界对生成式模型的热情。 但生成式模型种类繁多，发布速度也非常快，稍不留神就有可能错过了sota 最近，来自西班牙科米利亚斯主教大学的研究人员全面回顾了各个领域内AI的最新进展，将生成式模型按照任务模态、领域分为了九大类，并总结了2022年发布的21个生成式模型，一次看明白生成式模型的发展
三十一、解耦学习 78、GAN-Control: Explicitly Controllable GANs 提出一个训练 GAN 的框架，可以显式控制生成的人脸图像，通过设置确切的属性（例如年龄、姿势、表情等）来控制生成的图像。大多数控制 GAN 生成图像的方法是在标准 GAN 训练后隐式获得的潜在空间以解耦属性来实现部分控制的。这些方法能够改变某些属性的相对强度，但不能明确设置它们的值。还有一些方法利用可变形 3D 人脸模型 (3DMM) 来实现 GAN 中的细粒度控制能力。 与这些方法不同，本文方法不受
OpenAI - Sora is an AI model that can create realistic and imaginative scenes from text instructions.
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
