展开

关键词

GTC 19 经典回顾 | 如何和创造二次元中的

而为了提升动画的品质与创新力,除了邀请专业的师,根据相应音乐进行,团队还将人工智能应用在环节,让 AI 根据这些专业动作,自己学会出与不同音乐相匹配的。 在为《逆水寒》中的人物进行项目中,实验室为了提升游戏中动画的表现以及提高效率,也将人工智能技术运用在其中。 对于动画内容制作,传统的方式有两种,一是专业师根据音乐,用专业设备将动作剥离之后,由专业动画师进行修改,得到最终作品;另外一种是在需要批量制作内容时,需要有经验的擦花将音乐切割开 然后通过这样的匹配,最终输入音乐,得到完整的 3D 动作。 AI 第三步 让更专业,加入动作变数 完成动作匹配,并不是全部。 加入动作变数,使得踩点时机更为精准AI ,激发无限想象力据介绍,目前,该项目已被应用于营销工具、游戏中,在《逆水寒》游戏中,有的玩家,甚至用 AI 项目,让男性游戏角色跳起了妖娆的,引来网友围观

29930

白话微服务60秒:从复仇者联盟看服务

今天是白话微服务第一季《服务通信》 第5集《服务》相对于传统架构,微服务架构下更需要通过各微服务之间的协作来实现一个完整的业务流程。对于协作的方式,不得不提两个概念:曲和曲,Orchestration,本意是乐队指挥,在演出的时候,乐队由指挥来统一的进行指挥和控制。 ,Choreography,本意是表演通常是演员对外部感应作出响应,比如音乐的响应,并且需要与伴的行动和表情进行配合。 微服务的曲强调的是通过一个可执行的中心流程来协同内部及外部的服务交互。 微服务的强调的是,通过消息的交互序列来控制各个部分资源的交互。参与交互的资源都是对等的,没有集中的控制。 简单说,《X-Man》就是曲方式进行服务,X教授和万磁王就是中心结点。复仇者联盟就是方式进行服务,英雄们唯一的行动指南就是维护世界和平。 这就是服务

22920
  • 广告
    关闭

    90+款云产品免费体验

    提供包括云服务器,云数据库在内的90+款云计算产品。打造一站式的云产品试用服务,助力开发者和企业零门槛上云。

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    NVIDIA最新深度学习模型:根据音乐自动

    辑 | KING发布 | ATYUN订阅号 NVIDIA研究人员与加利福尼亚大学、默塞德大学合作开发了一种基于深度学习的模型,该模型可以自动多样化、风格一致并与节拍匹配的新动作。 在自上而下的分解阶段,团队使用运动节拍检测器对从实际序列中分割出的单元进行归一化。然后,他们训练DU-VAE对单元进行建模。 在自下而上的作曲阶段,给定一对音乐和,团队利用MM-GAN学习如何根据给定音乐组织单元。 在测试阶段,研究人员从输入音乐中提取样式和节拍,然后以循环方式合成一系列单元,最后,将节拍整形器应用于生成的单元序列以渲染输出的。 为了训练系统中使用的生成对抗网络,团队收集了三个代表性类别的视频,包括芭蕾,尊巴和嘻哈。团队总共获得了361000多个剪辑或大约71个小时的镜头。

    61220

    基于AI的合成概论

    文章目录背景介绍前沿方法介绍基于音乐的动作背景介绍在现实应用中,由于中肢体活动较灵活和摄像头角度变化,导致人体各部位的可视信息变化颇大,从而为生成高分辨率的目标图像带来巨大挑战。 用户需要输入视频来生成目标任务的 输入视频运用openpose 开源框架进行人物骨架信息提取骨架信息生成目标人物的动作视频 ? 例如在视觉领域,生成逼真的图像对于诸如面部辑,电影制作和基于合成图像的图像检索的许多应用具有很大价值。 基于音乐的动作 ?音乐节拍分析是动作的关键问题。主要的难点是构建音乐与动作序列的映射。 ?

    24310

    吃了这些数据集和模型,跟 AI 学跳,做 TensorFlowBoys

    这一步的本质是对身体姿势进行码,忽略掉身体外形等信息。?对者进行姿态检测,并码为火柴人图形2. 谷歌 AI 新花样去年年底,谷歌艺术与文化部技术项目经理 Damien Henry 与英国家 Wayne McGregor 合作,共同研发了一种能够自动生成特定风格的工具。 视频中演示了 AI 并实时显示在屏幕上的效果这个算法也同样忽略了人的衣着,只是捕捉演员特定姿势的关键点,从而得出火柴人模型。 当他们录入 McGregor 和他的演员的视频后,AI 学会了如何跳,而且生成的风格和 McGregor 的很相似。虽然在创造力上,人工智能还是有一定的局限性。 此外,这个技术还可以提供混合风格的,比如在 McGregor 的录像中插入巴西桑巴的录像,AI 可能会给出一个全新的混合

    59230

    吃了这些数据集和模型,跟 AI 学跳,做 TensorFlowBoys

    这一步的本质是对身体姿势进行码,忽略掉身体外形等信息。?对者进行姿态检测,并码为火柴人图形2. 谷歌 AI 新花样去年年底,谷歌艺术与文化部技术项目经理 Damien Henry 与英国家 Wayne McGregor 合作,共同研发了一种能够自动生成特定风格的工具。 视频中演示了 AI 并实时显示在屏幕上的效果这个算法也同样忽略了人的衣着,只是捕捉演员特定姿势的关键点,从而得出火柴人模型。 当他们录入 McGregor 和他的演员的视频后,AI 学会了如何跳,而且生成的风格和 McGregor 的很相似。虽然在创造力上,人工智能还是有一定的局限性。 此外,这个技术还可以提供混合风格的,比如在 McGregor 的录像中插入巴西桑巴的录像,AI 可能会给出一个全新的混合

    32320

    AI跳哪家强?谷歌3D者闻歌起,挑战DanceNet

    论文地址:https:arxiv.orgpdf2101.08779v1.pdf项目地址:https:google.github.ioaichoreographer下面让我们看下论文细节:通过与音乐节拍一致的动作模式来跳是人类的一项基本能力 是所有文化中的通用语言,如今,许多人在多媒体平台上通过来表现自己。 然而,是一种艺术形式,即使是人类,也需要专业培训才能使演员掌握丰富的动作曲目,创造出富有表现力的动作的模型。 其中动作和音频 transformer 对输入序列进行码,而跨模态 transformer 学习这两种模态之间的相关性,并生成未来的动作序列。

    22020

    给机器人什么感觉?

    这个中国台湾新生代家三年前专门去学习了机器人的“语言”,写程序,教库卡如何“跳”。最终,他与库卡的20分钟“双人”,在中国台湾数位艺术表演奖抱走了百万大奖。 上完一星期库卡的培训课,他就通过了考核,把机器人借回到练场。真正上手给库卡写程序却是一件消磨耐心的事,10小时才能1分钟,新版的部分段落每1分钟甚至需要20个小时。 “可怕的孩子”长大了 ●他在上“知道如何提炼精华” ●自认在科技与艺术跨界领域贡献更多,“因为纯肢体家有太多了”   除了“高科技之”,黄翊对纯肢体的也从未放弃。 作为当时云门2最年轻的家,三年前他曾随团首度来大陆巡演,创的两个纯肢体作品《流鱼》、《下回见》备受好评。 眼下,科技与艺术的跨界实验还将继续,黄翊清楚地意识到这是他的机会,是未来在更激烈的竞争环境中得以安身立命之本,“我在这个领域的贡献会比在纯多,因为纯肢体家有太多了”。

    35070

    Celestial Moon——来自《卫报》的全新VR体验

    相信看过《头号玩家》的朋友对主角在中空台跳的桥段一定不会陌生,而卫报的Celestial Moon给我们带来的则是另外一种VR体验。 ? 这款被称为“Celestial Moon”的VR,结合了真人视频和计算机生成图像,与卫报之前制作的任何内容都截然不同。视频中,几个演员在一个探索人类与太阳关系的超现实宇宙景观中表演。 据悉,该录像由Alexander Whitley,并改自他最初的台表演——8 Minutes。 现场表演元素是在YouTube伦敦工作室拍摄的,而数字元素则是让者穿上了动作捕捉服,再进行拍摄的。 本文由uploadvr刊发,属VRPinea原创译稿件,转载请洽:brand@vrpinea.com

    54560

    学习与AIST ++一起跳:音乐调节型3D生成

    在本文中,我们提出了一种基于转换器的基于音乐的3D生成学习框架。我们精心设计我们的网络架构,并根据经验研究获得定性令人愉悦的结果的关键。 关键组件包括一个深层的交叉模态变压器,该变压器可以很好地了解音乐与动作之间的相关性。并充分注意Future-N监督机制,这对于产生远程非冻结运动至关重要。 此外,我们提出了一个称为AIST ++的3D运动和音乐配对的新数据集,该数据集是从AIST多视图视频中重建的。 该数据集包含1408个序列的110万帧3D动作,涵盖10种,并带有多视点摄影机参数。据我们所知,它是此类最大的数据集。

    23620

    全球首个落地的动画合成系统,网易互娱AI Lab新技术入选SIGGRAPH 2021

    该方案的亮点在于:除了能够快速稳定地输出一段符合美学、符合多种种风格、连贯自然的动画以外,还灵活支持丰富的约束方式来指导算法按照用户期望的方向合成动画,如可替换或删除指定片段、预设轨迹和限制范围等 研究者们从学庞杂的主观经验性规律中,总结出了一些普适规则。在与专业美术持续不断的迭代中,大家发现只要合成的能够遵循这些规律,就能达到美术的质量要求,甚至能够获得专业老师的认可。 ChoreoMaster 的技术方案如上图所示,包含两个模块:面向的音乐 - Embedding(左)和面向动作合成(右)。 面向的音乐 - Embedding该模块的目标是将音乐和的风格相契合和节奏匹配度这两条主观性规律转化成可计算的客观定量表达。 面向动作合成?为了保证系统的鲁棒性、可解释性和可控性,ChoreoMaster 选择了图优化框架来实现动作的合成。

    36860

    谷歌 AI 师,连张艺兴最喜欢的 Krump 都不在话下

    译 | 禾木木出品 | AI科技大本营(ID:rgznai100)一直是文化、仪式和庆祝活动的重要组成部分,也是一种自我表达的方式。今天,存在多种形式的,从厅到迪斯科。 然而,是一种需要练习的艺术形式。通常需要专业培训才能为具有多种动作的者创作富有表现力的风格的由来谷歌的这项新研究引入了全注意力跨模态 Transformer (FACT) 模型,该模型可以模仿和理解动作,甚至可以提高一个人的能力。 每种类型都有 85% 的基本动作和 15% 的高级动作(更长的者自由设计)。AIST++数据集还包括多视图同步图片数据,可用于各种研究领域,包括2D3D、姿态估计。 他们使用 AIST++ 创建不重叠的训练和测试子集,确保它们之间不会共享或音乐。FACT 模型该团队使用 FACT 模型数据集训练,并根据音乐生成 3D

    16540

    波士顿动力副总裁:机器人一天就学会了芭蕾,尚未使用机器学习技术

    晓查 译整理 量子位 报道 | 公众号 QbitAI新年之前,波士顿动力上传了一段机器人跳的视频引爆全网。现在这段视频仅在YouTube平台就已经被观看超过2500万次。 当初,为了拍摄这段机器人,波士顿动力甚至请来了专业的指导Monica Thomas和人类演员,为机器人设计动作。?在这段视频的背后,还隐藏着哪些技术细节? 我们从和演员和合作开始,通过创作和一个套路,来为创造一个初步的概念。其中一个挑战,尤其是Atlas面临的核心挑战,是调整人类的动作,以便在机器人上表演。? 为此,我们使用模拟来快速迭代运动概念,同时征求的反馈,做到在Atlas力量和速度的能力范围之内。 我们用这些在机器人上运行一组步,这些步是我们与演员和一起离线设计的。所以,我们花了很多时间,用几个月来思考、构思动作、在模拟中迭代。

    18420

    雅马哈AI系统能自动为配乐,跟节奏跳时代已不再

    Root 译自 雅马哈官网量子位 出品 | 公众号 QbitAI雅马哈公司在前天很开森地宣布,自家AI可以把世界顶级家森山开次(Kaiji Moriyama)的动作实时转换成钢琴曲。? 家森山开次的背部、手腕和脚上一共装了四种传感器。当他跳时,动作可以被实时地转换成乐曲数据。? 通过家身上穿戴的传感器,可以实时捕捉到家的动作姿态。结合AI系统已有的姿态对应旋律的数据库,可以把动作即时输出旋律数据。 这一次能聚集这么多世界顶级优秀的家、乐器演奏家、工程师一起做这场演出,是件非常有意义的事。 作为一个作曲家,我觉得给这次演出曲是个很大的挑战。 最后,附译来源,https:www.yamaha.comennews_release201818013101

    57250

    南京高校的一大波机器人“大白”来袭

    达人”下腰和劈叉都是“小意思”“大白”一号:家Milly 诞生地点:南京理工大学 在男生扎堆的南京理工大学,机器人Milly稳稳“占据”着“女神”的地位。 作为“达人”,Milly有一套足够靓丽的装备。它头戴黄色尖角耳麦,身着鲜艳红色衣,手戴黄蓝相间的全指手套,脚穿黄色鞋。此外,她还有双蓝色的大眼睛! 能够让Milly的姿变得如此出众,背后的程序设计者功不可没。通过电脑程序的写,Milly可以跳出多种姿,广场、街都难不倒她。 张同学告诉记者:“这些动作都是和其他四位小伙伴在去年暑假通过电脑程完成的,目前她只能通过外放的音乐单一重复动作,希望通过后期的完善,她能够会唱会跳,并通过对不同音乐的感知随机演绎合适的,给人们的生活带来快乐 “我们之间的分工比较合理,一起设计,我主要是负责技术,他们负责赛事的安和学校的沟通工作。”

    35450

    中国版初音未来,《热力伴》嗨爆Chinajoy 全场

    上周,在2017Chinajoy上出现了很多国产3A级的大作,题材多以战争、格斗、枪战为主,而在VIVE体验区小体验到了一款堪比初音未来的音类游戏,堪比众展游戏中的一股清流。 据悉,该游戏是北京威沃世界娱乐科技有限公司针对线下开发的一款音乐游戏,小迫不及待的体验了一下。 小选择了一个可爱萝莉,同一首歌分别体验了两种模式,发现炫模式比较简单,模仿虚拟伴的姿即可触碰到得分点,而竞技模式就嗨大了,360度都有得分点,小手忙脚乱开始狂击。 小在玩的过程注意到几个细节,1、伴是带表情的。2、伴的动作不似一般游戏拘谨刻板。 威沃世界的市场总监张俊清透露,热力伴这款游戏中伴的动作是经过专业者通过动作捕捉进行的,使得整体动作跳起来更加丰富流畅,同时伴的面部表情也是通过面部表情捕捉而制作的,更自然更生动形象。?

    43360

    资源 | DanceNet:帮你生成会跳的小姐姐

    选自GitHub机器之心整理参与:思源、张倩最近有开发者尝试构建能自动生成动作的深度网络,他们结合了变分自码器、LSTM 与混合密度网络,并将这一深度网络命名为 DanceNet。 该网络的主要思想即使用 VAE 生成单张图片,并根据 LSTM 将这些图片组合成一系列完整的动作,最后联合训练就能生成非常逼真的动作。 机器之心也尝试使用了该项目,并能生成还不错的视频,感兴趣的读者也可以使用并完善该项目。 因此我们可以设想给定不同的隐藏码 z,解码器最终能生成不同的姿图像。最后,我们还需要长短期记忆网络(LSTM)和混合密度层以将这些姿图像连接在一起,并生成真正的动作。 此外,根据试验结果,VAE 中的码器参数数量约 172 万,解码器约为 174 万,但 LSTM+MDN 却有 1219 万参数。最后我们生成了一个 16 秒的视频:?

    27540

    LCD Soundsystem乐队与谷歌VR合作,推出了VR会体验

    这首老式电子乐搭配着主唱James Murphy的歌声,让玩家们可以在颜色丰富的房间里,自己,去操控简单的多边形物体。?这次的合作又被称为“Dance Tonite”,旨在创建一个虚拟会。 在这个会中,观众们可以在虚拟房间内观看由LCD Soundsystem粉丝所创作的表演。事实上,这款作品一部分是池派对,一部分是观派对。 除了可以作为一个观者,用户们还可以体验由粉丝们制作的一系列曲。这些曲通过室内VR设置进行录制,并借由头部跟踪和控制器动作跟踪记录下表演中会使用的动作。? 本文由VRFocus刊发,属VRPinea原创译稿件,转载请洽:brand@vrpinea.com

    39570

    我,谷歌AI师,能根据音乐来10种freestyle,想看霹雳还是爵士芭蕾?

    而这个AI也凭借着对音乐和之间的关联的深刻理解,打败了3个同类模型取得SOTA,登上了ICCV 2021。另外,除了代码开源,研究团队还随之一起公开了一个含有10种类型的3D动作数据集。 首先输入2秒钟的seed动作序列和一段音频,对其进行码。 最终,该模型可以逐帧地生成一段(long-range)动作。 最终的AIST++一共包含5.2小时、1408个序列的3D动作,跨越十种类型,包括老派和新派的的霹雳、Pop、 Lock、Waack,以及Middle Hip-Hop、LA-style Hip-Hop 最最后,再来欣赏一遍AI师的魅力吧:论文:https:arxiv.orgabs2101.08779GitHub:https : github.comgoogle-researchmint数据集:https

    11220

    Wolfram语言演绎“与敌友共——Boid的集群智能”

    本文译自六年前Simon Woods在Wolfram社区发表的一篇短文及其评论。 我发现使用昂贵的数学软件进行无聊娱乐的最新方式是这样的(这是一种描述它的方法):1000名者在池上扮演随机位置。 每一步中每个者移动0.5%靠近地板中心然后向他们的朋友迈出一大步离他们的敌人一小步 每隔一段时间,一个者重新选择他们的朋友和敌人故意注入随机性, 这是......n = 1000; r := RandomInteger 随着每个粒子的吸引子和斥器被固定,系统找到一种动态平衡,因此为了保持变化,我增加了一个规则来定期改变其中一个粒子的吸引子和斥器。最后的调整是使非常近距离的粒子的“力”下降到零。 这有助于阻止形成非常紧密的团块,并且当粒子选择自身作为其吸引子或斥器时,还可以防止零除误差。将系统描述为是试图在不使用数学语言的情况下解释屏幕上的旋转模式。 我很想看看其他简单的规则可以创造出什么样的“”。

    19430

    相关产品

    • 资源编排 TIC

      资源编排 TIC

      资源编排 TIC为您提供易用、高效、安全的基础架构管理平台。平台使用声明型语言,兼容众多优秀的开源社区工具,同时提供代码编辑和视图编辑两种模式,有效降低学习成本和使用难度。TIC 使用代码版本管理的方式管理基础架构,保障基础设施的构建、管理和迁移的可靠性和安全性。

    相关资讯

    热门标签

    扫码关注云+社区

    领取腾讯云代金券