AI视频模型Sora爆火之后，Meta、谷歌等大厂纷纷下场做研究，追赶OpenAI的步伐。
选自Google AI Blog 作者：Paul Hongsuck Seo和Arsha Nagrani 机器之心编译 编辑：泽南 一个模型在五项基准上都实现了重大进步，该研究已被 CVPR 2022 大会收录。 多模态视频字幕系统利用视频帧和语音来生成视频的自然语言描述（字幕）。这样的系统是朝着构建多模态对话系统的长期目标前进的一步，后者可以轻松地与用户交流，同时通过多模态输入流感知环境。 与关键挑战在于处理和理解多模态输入视频的视频理解任务不同，多模态视频字幕的任务包括生成实用化字幕的额外挑战。这项任务被
近年来，自动视频理解的研究经历了多次范式转变。随着神经网络的兴起，最初的问题是如何设计一种架构来输入时空信号[49, 68]。鉴于有限的视频训练数据，焦点随后转向了从图像分类预训练借用参数初始化[7]。为了提供视频预训练，一项工作已经在标注视频分类数据集上做出了昂贵的努力[27]。
在本文中，作者将传统的视频字幕任务转换为一个新的范式，即开放式视频字幕，它在视频内容相关句子的提示下生成描述，而不限于视频本身。
文中提出 NeurIPS 2021 论文『VALUE: A Multi-Task Benchmark for Video-and-Language Understanding Evaluation』微软提出新的视频多模态 benchmark：《VALUE》，同时包含检索、caption、QA等多个任务！快来刷榜吧！
在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。为此，我们精选国内外优秀的综述文章，开辟“综述专栏”，敬请关注。
萧箫 发自 凹非寺 量子位 | 公众号 QbitAI AI自动生成的字幕，能离谱到什么程度？ 不仅把“螃蟹”（crab）误听成“废话”（crap），当场爆粗： 甚至还能把“玉米”（corn）给翻译成p*rn…… 关键在于，这些是AI给儿童节目自动生成的字幕。 被AAAI 2022收录的一篇新研究发现，在7013个儿童视频中，接近40%的节目出现了少儿不宜或脏话等词汇。 甚至在一个113集的儿童机器人学习栏目中，AI就“爆粗”了103次，平均接近一集一次！ 对此，油管（YouTube）在接受《连线》采访时
在本文中，作者提出了HERO，一个新的大规模视频+语言综合表示学习框架。HERO以层次结构编码多模态输入，其中视频帧的局部上下文 通过多模态融合被跨模态Transformer（Cross-modal Transformer） 捕获，而全局视频上下文 由时间Transformer（Temporal Transformer） 捕获。
Google Research 软件工程师发表了可解决「鸡尾酒会效应」视觉-音频语音识别分离模型。 AI 科技评论按：人类很擅长在嘈杂的环境下将其他非重点的声响「静音」化，从而将注意力集中在某个特定人物身上。这也就是众所周知的「鸡尾酒会效应」，这种能力是人类与生俱来的。尽管对自动音频分离（将音频信号分离成单独的语音源）的研究已经相当深入，但它依旧是计算机研究领域上的一项巨大挑战。 Google Research 软件工程师 Inbar Mosseri 和 Oran Lang 于 4 月 11 日发表了一篇
现在，无论是从全球市场规模、还是从营收规模上来说，YouTube都已经是一个庞然大物。而在国内，至今已难以找到一家能够与YouTube实力相当，甚至说模式相似的视频网站了。
大家好，我是爱奇艺的刘小辉，本次我分享的题目是《AI加持的竖屏沉浸播放新体验》，我会从三个方面介绍竖屏沉浸播放是什么，为什么这么做，我们是如何做的。
视觉语言预训练 (VLP) 提高了许多视觉语言任务的性能。但是，大多数现有的预训练模型仅在基于理解的任务或基于生成的任务中表现出色。此外，通过使用从web收集的嘈杂的图像-文本对来扩展数据集，在很大程度上实现了性能改进，但这是监督的次优来源。
今天分享的是下载b站外挂字幕 ，在本地用 potplayer 播放器播放b站视频也能看字幕了，需要用到 potplayer 播放器 和字幕文件。
可以说今年的Google I/O大会就是一场AI大秀了。谷歌CEO皮采(Sundar Pichai)演讲时的语气和动作看似很是轻松，与过去相比更加游刃有余。他表示：“Google 的目标是组织全世界的信息，让全球人民都能够轻松实用地访问。”
4月，是不冷不热的季节，可以肆无忌惮的去游玩，可以敞开心怀去做自己想做的事情，比如科研，灵感来源于大自然，一不小心在樱花树下Get了一个新颖的想法，所以，我们要用乐观的心态去学习、科研和生活。
Survey: Transformer based Video-Language Pre-training
点击上方“LiveVideoStack”关注我们 ▲扫描图中二维码或点击阅读原文▲ 了解音视频技术大会更多信息 编者按：MeshCloud通过与GCP合作为中国出海企业提供强大的全球基础架构。今天LiveVideoStack公开课通过MeshCloud邀请到了谷歌云的于有志老师，为我们介绍如何借助谷歌云在高效视频转码和分发方面的技术与能力，实现海外音视频业务的快速与高质量部署。 文/于有志 整理/LiveVideoStack 大家好，我是来自谷歌云的于有志，主要帮助出海客户的业务在海外落地。我很感谢
Root 假装发自 拉斯维加斯 量子位 出品 | 公众号 QbitAI 机器学习现在已经在多个领域爆发出惊人的能量，企业通过获取有效的用户数据，可以高效锁定用户的需求，针对性地提供服务，营收利润的拉升效果立竿见影。 但对于大多数急着上车的企业来说，自身业务结合人工智能技术最难的地方在于，没有办法迅速找到资深的AI专家来分析业务链，并搭建相应的机器学习模型解决核心问题，提升生产或者服务环节的效率。 亚马逊敏锐地捕捉到了这个痛点，在今天的创新大会AWS Re:INVENT上，亚马逊云服务AWS的CEO，Andy
之前有写过几个视频生成字幕，并且翻译字幕的教程，但是随着时间的流逝，那些方案也早就过时了。
机器之心报道 编辑：蛋酱 从文本生成图像，再到给视频加特效，下一个 AIGC 爆发点要出现了吗？ 相信很多人已经领会过生成式 AI 技术的魅力，特别是在经历了 2022 年的 AIGC 爆发之后。以 Stable Diffusion 为代表的文本到图像生成技术一度风靡全球，无数用户涌入，借助 AI 之笔表达自己的艺术想象…… 相比于图像编辑，视频编辑是一个更具有挑战性的议题，它需要合成新的动作，而不仅仅是修改视觉外观，此外还需要保持时间上的一致性。 在这条赛道上探索的公司也不少。前段时间，谷歌发布的 Dr
最近，堪称改变游戏规则的视觉语言模型（VLM）PaLI-3问世，引得大量科研人员关注。
参赛通知 一、 赛事背景 视频通过视觉和音频等传递丰富的信息。视频理解一直是学术界和工业界的热门研究课题。融合多模态信息也是一个具有挑战性和有意义的研究课题。在本次竞赛当中，我们专注于从视频中提取字幕。 字幕是文字来源于访谈节目或电视剧等类的视频。字幕是视频数据中最重要的文本信息之一，因为字幕包含人们交谈内容的信息。字幕识别广泛用于推荐、检索和视频理解系统。为了更好的促进字幕识别的发展，我们在ICPR 2022上举办多模态字幕识别竞赛，欢迎大家报名参赛。 二、 赛事流程 1. 注册报名：2022.03
一些新发布的数据集可以提供一个窗口，通过这些数据集可以了解试图解决的问题的复杂程度。公共领域中新发布的数据集可以很好地代表理解计算机视觉的发展以及有待解决的问题的新途径。
试想一下，在一个嘈杂的鸡尾酒会上，同时存在着许多不同的声源：多个人同时说话的声音、餐具的碰撞声、音乐声等等。如何在酒会上分辨出特定人物的声音，这对于我们人类来说十分简单。
近日，中科大、厦大、港中文等高校联合推出多模态大模型视频分析综合评估基准Video-MME，全面评估多模态大模型的综合视频理解能力，填补了这一领域的空白。Gemini 1.5 Pro在这份榜单中遥遥领先，证明其在视频理解领域的霸主地位。Video-MME一经推出，更是被谷歌首席科学家Jeff Dean连续转发了三次！目前已有近30万的浏览量，热度很高。
不过近日，谷歌的Gemini终于扬眉吐气了一把，在全新的、更复杂的多模态考试中大获全胜，全面超越了GPT-4o。
AiTechYun 编辑：nanan 在刚刚过去的一月份（2018年1月），Facebook的研究机构Facebook AI Research（FAIR）发布了开源的Detectron对象检测库。几个
但随着各大视频网站和短视频的兴起，用户在互联网上浏览视频的数量近年来显著增加，并且视频创作的质量、分辨率和内容多样性也越来越高！
人类非常善于在嘈杂的环境中，集中注意力听某一个人说的话，从精神上“屏蔽”一切其他声音。这种现象便是“鸡尾酒会效应”，我们与生俱来。
谷歌正在为其谷歌幻灯片演示程序添加一个新的自动隐藏式字幕功能，该程序可以通过口语创建实时字幕。
6月29日，音视频及融合通信技术技术沙龙圆满落幕。本期沙龙特邀请腾讯云技术专家分享关于最新的低延迟技术、全新的商业直播方案等话题，针对腾讯云音视频及融合通信产品的技术全面剖析，为大家带来纯干货的技术分享。下面是孙祥学老师关于AI技术在视频智能识别和分析中的应用，以及实际落地过程中遇到的挑战以及解决办法的分享。
大数据文摘授权转载自夕小瑶的卖萌屋 作者：CoCo酱 ChatGPT已经是大模型的天花板了吗？ 不！没有做不到，只有想不到。谷歌出手，果然不会让人失望！ 谷歌悄悄上线了一个炸弹级模型——足足有5620亿参数！ PaLM-E 将真实世界的传感器信号与文本输入相结合，建立语言和感知的链接。 规模最大的模型“PaLM-E-562B”具有562B个参数，将540B的PaLM和22B的ViT集成在一起，这是目前报道的最大的视觉-语言模型。 模型输入包括视觉、连续状态估计值和文本输入。作者在多个任务（包括顺序机器人操
AiTechYun 编辑：chux 即使在嘈杂的环境下，人们也能够将注意力放在特定的人身上，选择性忽略其他人的声音和环境音。这被称作鸡尾酒会效应，对人类来说十分寻常。然而自动语音分离，将音频信号分离到
b站整理了个入站必刷视频列表 https://www.bilibili.com/h5/good-history ，都是b站宝藏。
本文分享 ACL 2021 论文『VLM: Task-agnostic Video-Language Model Pre-training for Video Understanding』，由 Meta AI & CMU 联合提出任务无关视频语言模型视频理解预训练 VLM，代码已开源！
白交 发自 凹非寺 量子位 | 公众号 QbitAI GPT-4真的要来了！发布时间已确定： 就在下周。而且还是多模态，可支持视频。 听到这个消息，网友们直接炸了锅：大家都准备好了吗？ 毕竟在一部分人眼中，ChatGPT都已经如此惊艳，那GPT-4不得是这样的？ （不过100万亿参数是谣言） 但也有网友质疑其消息的真实性：不可能的。 质疑确实也不无道理。OpenAI的进展竟是微软来宣布发布时间。 而且也还不是官方，而是在一个地方论坛上，由微软德国CTO随口说出。 △图源：微软 有网友表示：员工可
在开篇之前，我想先问大家一个问题，在你在追日番或美剧的时候，是否曾因日语或英语能力不佳，而饱受苦等熟肉视频发布的痛苦？
小编我平时喜欢看 Hacker News 和 Inoreader RSS 订阅上的文章，但这些文章有很大一部分都是英文的，那么，怎样才能快速有效地阅读这些英语文章？答案很简单，就是使用翻译工具。
我们在感知外部世界的过程中，声音（audio）起到了极大的作用。在这里，我们把声音分解为两类，一类是语音（speech），另一类是环境音（sound）。人们会本能地对环境音做出反应，比如会被突如其来的骚动所惊吓，或被情景喜剧中的背景笑声所感染。 而影音网站界的翘楚——YouTube 也深知音频的重要性。自2009年起，他们就开始让视频自动生成字幕。如今，这一功能又有了升级版——AI科技评论了解到，谷歌于昨日（3月23日）宣布，将为YouTube视频中的自动字幕增加音效信息，使人们拥有更丰富的视听体验。
很多做短视频营销的朋友需要批量生成大量的短视频，但是市面上的工具一是不好用，二是要收费。
本文分享论文『UniVL: A Unified Video and Language Pre-Training Model for Multimodal Understanding and Generation』，由西南交大&MSRA提出《UniVL》，用于多模态理解和生成的统一视频和语言预训练模型！
在本次会议中，我们将探讨如何为空间体验准备和提供流媒体内容。我们将从回顾使用HTTP Live Streaming (HLS) 生产、准备和提供2D媒体的当前步骤开始，然后转向3D视频内容的支持及其步骤的更新。本次会议的目标是使得在此平台上提供2D视听内容的过程与在我们所有其他平台上的过程相同。
什么一个开端。谷歌I/O 2019主题演讲结束了，但从头到尾感觉都像是一场力作。虽然我们的一些预测没有成真——我们将永远不会有像素手表吗?-最期待的谣言成真，这意味着我们遇到了一些理想的新硬件，包括中
最近几年，「视频会议」在工作中的占比逐渐增加，厂商也开发了各种诸如实时字幕等技术以方便会议中不同语言的人之间交流。
该课程由由 llama_index 和 truera_ai的 jerryjliu0和 datta_cs 教授主讲，门槛很低，有 Python 基础知识即可学习。
来源：专知本文为论文介绍，建议阅读5分钟本文提出一个新的基准，通过数据增强具有可控偏差。对现有的偏差消除方法进行了彻底的比较，并提出了一种简单的方法，优于其他更复杂的对比方法。 计算机视觉系统正日益被部署到现实世界的应用中，例如自动驾驶汽车上的识别模型、演示软件中的字幕模型以及视觉搜索引擎背后的检索模型。在构建这些真实的计算机视觉系统时存在许多实际挑战，其中许多与数据的不完美有关。具体来说，现实世界的数据可能会因分散注意力的虚假相关性而产生偏差，不同类别存在不平衡的长尾数据，具有大量缺陷的噪声数据，等等。
mPLUG-video可以很好的理解视频的整体语义是“舞蹈视频”以及包含详细的视觉信息，比如“跳跃”和“扭动”等。
自去年 BERT 论文发出，正巧半年，不光各大榜单上尽是 BERT 之名，最近公布 NAACL 最佳长论文也给了 BERT，正所谓实至名归。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
