11 月 5 日，在 Wave Summit+2019 深度学习开发者峰会上，飞桨全新发布和重要升级了最新的 21 项进展，在深度学习开发者社区引起了巨大的反响。
Sora虽爆火但闭源，给学术界带来了不小的挑战。学者们只能尝试使用逆向工程来对Sora复现或扩展。
---- 新智元报道 编辑：LRS 【新智元导读】还在为PS的各种命令、工具头疼吗？魏茨曼联合英伟达发布了一个新模型Text2LIVE，只需用自然语言就能轻松完成各种抠图、贴图，图像和视频都能用！ 使用Photoshop类的软件算是创造性工作还是重复性工作？ 对于用PS的人来说，重复性工作如抠图可能是一大噩梦，尤其是头发丝、不规则的图形、与背景颜色贴近的，更是难上加难。 如果有AI模型能帮你抠图，还能帮你做一些如替换纹理、添加素材等工作，那岂不是能节省大把时间用来创作？ 一些专注于视觉效果（VF
前脚刚推出取得了40多个新SOTA的Florence「佛罗伦萨」吊打CLIP，横扫40多个SOTA。
生成式对抗网络（GANs）是一种强大的人工智能技术，能够创造出惊人逼真的图像和视频。本教程将带你深入了解GANs的工作原理、应用领域以及如何使用它来生成图像和视频。
2月16日，美国人工智能公司OpenAI发布了首个视频生成模型Sora。不同于此前许多AI大模型文生图或视频时，会出现人物形象前后不一致等问题，此次OpenAI展示的Sora生成的视频中的主角、背景人物，都展现了极强的一致性，可以支持60秒一镜到底，并包含高细致背景、多角度镜头，以及富有情感的多个角色，可谓是相当的“炸裂”。甚至有不少人疾呼，传统视频制作行业将会被“革命”！
自监督学习为监督学习方式提供了巨大的机会，可以更好地利用未标记的数据。这篇文章涵盖了关于图像、视频和控制问题的自监督学习任务的许多有趣想法。
视频生成不仅仅是要生成多张逼真的图像，而且要保证运动的连贯性，Video-GAN可以认为是图像生成鼻祖DCGAN的视频版。
Artflow.ai 是一款人工智能工具，旨在帮助用户创建自定义头像并让他们的故事栩栩如生。主要特点和优势包括：
多模态融合是多模态信息处理的核心问题。本文介绍 NLP 领域关注度较高的多模态应用和相关的数据集。
图像文本匹配，顾名思义，就是度量一幅图像和一段文本的相似性，该技术是多个模式识别任务的核心算法。例如，在图像文本跨模态检索任务中，当给定查询文本，需要依据图像文本的相似性去检索内容相似的图像；在图像描述生成任务中，给定一幅图像，需要依据图像内容检索相似的文本，并以此作为(或者进一步生成)图像的文本描述；在图像问答任务中，需要基于给定的文本问题查找图像中包含相应答案的内容，同时查找的视觉内容反过来也需要检索相似文本预料作为预测答案。 .
这次来自新加坡国立大学和中国香港中文大学的两位在读博士生提出了一个名叫MinD-Video的AI模型，它可以根据收集的fMRI数据重建任意帧速率的高质量视频。
Stability AI又有新动作了！这次给我们端上来的是全新的3D生成模型Stable Video 3D（SV3D）。
只要用拖动的方式给出运动轨迹，DragNUWA就能让图像中的物体对象按照该轨迹移动位置并生成连贯的视频。
FFmpeg: Fast Forward Moving Picture Experts Group(mpeg:动态图像专家组） H.264:国际标准化组织（ISO）和国际电信联盟（ITU）共同提出的继MPEG4之后的新一代数字视频压缩格式.H.264是ITU-T以H.26x系列为名称命名的标准之一 AVC(Advaned Video Coding):ISO/IEC MPEG一方对H.264的称呼 序列的参数集(SPS)：包括了一个图像序列的所有信息 图像的参数集(PPS)：包括了一个图像所有片的信息 MinGW-w64:MinGW是Minimalist GNU for Windows的缩写，ffmpeg在Windows平台中的编译需要使用MinGW-w64,它提供了一系列的工具链来辅助编译Windows的本地化程序。MinGW-w64单独使用起来会比较麻烦，但是其可以与MSYS环境配合使用，MSYS是Minimal SYSYTEM的缩写，其主要完成的工作为UNIX on Windows的功能。显而易见，这是一个仿生UNIX环境的Windows工具集。
「视频到视频」合成（简称「vid2vid」）旨在将人体姿态或分割掩模等输入的语义视频，转换为逼真的输出视频。虽然当前 vid2vid 合成技术已经取得了显著进展，但依然存在以下两种局限：其一，现有方法极其需要数据。训练过程中需要大量目标人物或场景的图像；其二，学习到的模型泛化能力不足。姿态到人体（pose-to-human）的 vid2vid 模型只能合成训练集中单个人的姿态，不能泛化到训练集中没有的其他人。
本周二，基于 Stable Diffusion 的视频生成模型 Stable Video Diffusion 来了，AI 社区马上开始了热议。
与H.264/AVC 类似，H265/HEVC也采用视频编码层（Video Coding Layer，VCL）和网络适配层（Network Abstract Layer, NAL）的双层结构，以适应不同网络环境和视频应用。网络适配层的主要任务是对视频压缩后的数据进行划分和封装，并进行必要的标识，使其更好的适应各种网络环境。
导读：在图像到图像合成的研究领域热火朝天的当下，英伟达又放大招，联合 MIT CSAIL 开发出了直接视频到视频的转换系统。
Sora 问世才不到两个星期，谷歌的世界模型也来了，能力看起来更强大：它生成的虚拟世界「自主可控」。https://mpvideo.qpic.cn/0bc37qac2aaa3iad2lo4b5svb7gdfx6aalia.f10004.mp4?
AI视频技术的发展历程可以追溯到2022年，当时初创公司Runway在这一领域取得了显著成就，其技术甚至被用于热门科幻电影《瞬息全宇宙》的视频编辑。此后，AI视频技术经历了快速的发展，Runway、Pika、Meta（Emu Video）等公司纷纷加入竞争。然而，早期的AI视频通常存在一些限制，如视频长度有限（通常只有几秒钟），场景逼真度不足，元素突然出现或消失，以及运动不连贯等问题，这些问题使得视频内容容易被识别为AI生成。
1.FACET: Fairness in Computer Vision Evaluation Benchmark
以躺在草坪上的男人为中心，将镜头画面按照 10 倍的比例不断扩展，你将看到一亿光年外的场景。
iDT算法框架主要包括：密集采样特征点，特征轨迹跟踪和基于轨迹的特征提取三个部分。 光流：在时间间隔很小的情况下，视频像素位移 特征提取:通过网格划分的方式在多尺度图像中分别密集采样特征点。通过计算特征点临域内的光流中值得到特征点运动方向。
在图像生成模型技术的推动下，视频生成模型在研究和应用领域取得了显著进展。这些模型通常通过从头开始训练或对预训练图像模型插入额外的时间层进行微调来实现。训练通常在混合的图像和视频数据集上进行。尽管视频建模的改进研究主要关注空间和时间层的排列方式，但先前的工作没有探究数据选择的影响。然而，训练数据分布对生成模型的影响是不可忽视的。此外，对于生成式图像建模，已经知道在大型和多样化的数据集上进行预训练，然后在小型但质量更高的数据集上进行微调，可以显著提高性能。然而，之前的视频建模方法往往借鉴了来自图像领域的技术，而对于数据和训练策略的影响，即在低分辨率视频上进行预训练再在高质量数据集上微调，还需要进一步研究。
还记得那个「会说话」的蒙娜丽莎吗？机器之心前不久报道了一项来自三星莫斯科 AI 中心和 Skolkovo 科学技术研究所的研究。在那项研究中，研究人员利用一张图像就合成了人物头像的动图，而且头像中的人物可以「说话」（只动嘴不发声）。蒙娜丽莎、梦露等名人画像、照片都可以用来作为「原料」。
ICASSP 2018于2018年4月15日到4月20日在加拿大卡尔加里举行，会议主题为Signal Processing and Artificial Intelligence: Changing the World，因此会议中出现大量基于人工智能的方法应用，会议为期五天，包含四天的技术报告，并有Julia Hirschberg、Alex Acero、Yann LeCun和Luc Vincent等学界顶尖专家进行报告。
1.Directed Diffusion: Direct Control of Object Placement through Attention Guidance
对于电影来说，除了精准回答所涉细节，LLaMA-VID也能对角色进行十分准确的理解和分析。
最近一段时间，你可能或多或少的听到过「科目三」，摇花手、半崴不崴的脚，配合着节奏鲜明的音乐，这一舞蹈动作遭全网模仿。
机器之心专栏 机器之心编辑部 来自香港中文大学、上海人工智能实验室、蚂蚁技术研究院以及加州大学洛杉矶分校的研究者提出了一个新的视频生成方法（Towards Smooth Video Composition），在多个数据集上的实验显示，新工作成功取得了大幅度超越先前工作的视频质量。 近年来，基于生成对抗式网络（Generative Adversarial Network, GAN）的图片生成研究工作取得了显著的进展。除了能够生成高分辨率、逼真的图片之外，许多创新应用也应运而生，诸如图片个性化编辑、图片动画化等
从手机安全和监控摄像头到增强现实和摄影，计算机视觉的面部识别分支具有多种有用的应用。根据您的具体项目，可能需要在不同光照条件下的面部图像或表达不同情绪的面部。从使用面部关键点注释的视频帧到真实和伪造的脸部图像对，此列表上的数据集的大小和范围各不相同。
---- 新智元报道 编辑：LRS 【新智元导读】一次学完所有生成式模型！ 过去的两年时间里，AI界的大型生成模型发布呈井喷之势，尤其是Stable Diffusion开源和ChatGPT开放接口后，更加激发了业界对生成式模型的热情。 但生成式模型种类繁多，发布速度也非常快，稍不留神就有可能错过了sota 最近，来自西班牙科米利亚斯主教大学的研究人员全面回顾了各个领域内AI的最新进展，将生成式模型按照任务模态、领域分为了九大类，并总结了2022年发布的21个生成式模型，一次看明白生成式模型的发展
Https://platform.openai.com，登录后单击页面顶部的『Playground』
来源：新智元 极市平台本文约3800字，建议阅读5分钟本文总结了2022年发布的21个生成式模型，一次看明白生成式模型的发展脉络！ 过去的两年时间里，AI界的大型生成模型发布呈井喷之势，尤其是Stable Diffusion开源和ChatGPT开放接口后，更加激发了业界对生成式模型的热情。 但生成式模型种类繁多，发布速度也非常快，稍不留神就有可能错过了sota。 最近，来自西班牙科米利亚斯主教大学的研究人员全面回顾了各个领域内AI的最新进展，将生成式模型按照任务模态、领域分为了九大类，并总结了2022年发
今天跟大家分享一篇 ICCV 2019 的文章An Internal Learning Approach to Video Inpainting，该文在CVPR 2018 非常有意思的论文 Deep Image Prior（DIP）的启发下，使用视频内部学习（Internal Learning）的方式，同时建模表观与光流，解决视频修补中不连续的情况。
选自arxiv 作者：Hang Zhao、Chuang Gan、Andrew Rouditchenko、Carl Vondrick Josh McDermott、Antonio Torralba 机器之心编译 参与：刘晓坤、李泽南 相比单模态信息，多模态信息之间的关联性能带来很多有价值的额外信息。在本文中，MIT 的研究员提出了 PixelPlayer，通过在图像和声音的自然同时性提取监督信息，以无监督的方式实现了对视频的像素级声源定位。该系统有很大的潜在应用价值，例如促进声音识别，以及特定目标的音量调整
CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理 📷 过去十年来，人工智能技术在持续提高和飞速发展，并不断冲击着人类的认知。 2012年，在ImageNet图像识别挑战赛中，一种神经网络模型（AlexNet）首次展现了明显超越传统方法的能力。 2016年，AlphaGo在围棋这一当时人们认为其复杂性很难被人工智能系统模拟的围棋挑战赛中战胜了世界冠军。 2017年，Google的Ashish Vaswani等人提出了 Transformer 深度学习新模型
三十一、解耦学习 78、GAN-Control: Explicitly Controllable GANs 提出一个训练 GAN 的框架，可以显式控制生成的人脸图像，通过设置确切的属性（例如年龄、姿势、表情等）来控制生成的图像。大多数控制 GAN 生成图像的方法是在标准 GAN 训练后隐式获得的潜在空间以解耦属性来实现部分控制的。这些方法能够改变某些属性的相对强度，但不能明确设置它们的值。还有一些方法利用可变形 3D 人脸模型 (3DMM) 来实现 GAN 中的细粒度控制能力。 与这些方法不同，本文方法不受
也许您已经了解到，当前的人工智能已经可以生成类似于人类的语音，或者生成难以与真实照片区分开的人物图像，甚至达到足以“以假乱真”（假作真时真亦假，无为有处有还无）的地步！
电影《哪吒之魔童降世》自 7 月 26 日上映以来，一直在刷新动画电影的票房纪录。截止目前，19 天里全网票房突破 36 亿，观影人数超过 1 亿！成为了首部观影人数破亿的动画电影。
这些已有的工作仅针对有限的视觉数据，并且生成的视频时间短、分辨率及长宽比固定。本工作验证了在原有的大小上训练模型有优势：
---- 新智元报道 编辑：LRS 【新智元导读】让图片配合你的音频出演，配套sd-webui插件已发布！ 随着数字人概念的火爆、生成技术的不断发展，让照片里的人物跟随音频的输入动起来也不再是难题。 不过目前「通过人脸图像和一段语音音频来生成会说话的人物头像视频」仍然存在诸多问题，比如头部运动不自然、面部表情扭曲、视频和图片中的人物面部差异过大等问题。 最近来自西安交通大学等的研究人员提出了SadTalker模型，在三维运动场中进行学习从音频中生成3DMM的3D运动系数（头部姿势、表情），并使用一
多模态模型结合了多种数据类型，如图像、文本、音频等。传统的语言模型（LLMs）主要针对文本数据进行训练和应用，但在理解其他数据类型方面存在局限性。纯文本语言模型，如GPT-3、BERT和RoBERTa，在文本生成和编码等任务上表现出色，但在理解和处理其他数据类型方面存在不足。
自从Stable Diffusion和Midjourney爆火之后，人们见识到了人工智能技术在图片生成领域的强大实力。
这几年，视频生成领域的技术迭代持续加速，很多科技公司也公布了相关技术进展和落地成果。在此之前，Pika、Runway 都曾推出过类似产品，但 Sora 放出的 Demo，显然以一己之力抬高了视频生成领域的标准。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
