展开

关键词

超酷的合成物运画,解救画师!(代码开源+视频)

四足画在电脑游戏和电影中的应很重要,同时也是机器人领域的一个具有挑战性的话题。传统方法制四足画时,画师必须过特殊培训,设计出各种复杂的,然后利各种DCC软件。? 上图展示了基于实现的画制,但画是非结构化的,而且随机太过广泛。的数据不是很精准,存在很多噪波,细节的地方还需要后期修正。? 上图的画由相位函数(Phase-Functioned Neural Networks)的方式生成,优点是精准,但是当两个融合时显得僵硬,而且操控不是那么灵敏。 提出一种新颖的端到端架构,可以从非结构化的四足物运数据中学习,而无需提供相位和运步态标签。 通过与现有方法比较,对所提出的架构了全面评估。 数据准备和结果 研究人员使狗的(Dog Motion Capture)为训练数据。这些数据包含各种运模式,例如步、踱步、小跑、跑步等,以及其他类型的,例如坐、站、闲散,躺着和跳跃。

1.1K30

【超酷视频】生成游戏角色,自然逼真不重复

从视频中可以看到,一个戴三角帽的游戏角色在非常复杂的地形中自由穿非常自然流畅。?利生成的一些不同的走姿态,这是从原始的数据中适应的。 然后,这些数据自主训练了约30小时。大体上,学会了如何将这些具体的画重新组合,并应于在游戏环境中生成。 但是通过组合从原始的中发现的类似情况的数据,以此推断身体的各个部位该如何。Holden 解释说,以的形式存储的数据,1.5GB的训练数据最终只需要几十兆的存储空间。 Holden 说,利来修改获的画可能会得到一些意想不到的结果。例如,角色在崎岖的地形走时会采取爬的姿势,而研究人员并没有为此提供任何相应的数据。 首先,在后不得不需要30小时的训练时间是一大缺点,尤其是你事后会想补录一些设计的艺术家也无法直接对的输出修改,而在传统的事前录制方法中是可以的。

1.1K121
  • 广告
    关闭

    50+款云产品免费体验

    提供包括云服务器,云数据库在内的50+款云计算产品。打造一站式的云产品试用服务,助力开发者和企业零门槛上云。

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    性能超越最新序列推荐模型,华为诺亚方舟提出记忆增强的图

    特别地,本文使对短期的商品语境信息建模,并使共享的记忆商品之间的长期依赖。另外,本文使双线性函数以相关商品的共现模式。 总体而言,本文的主要共现为:为了对户短期和长期兴趣建模,提出一个记忆增强的图,以短期情境信息和长期依赖;为了高校融合短期和长期兴趣信息,提出了GNN框架中的门机制;为对商品共现模式建模 早期的相关工主要使矩阵分解技术学习户和商品的隐性特征,基于的方法也常被采。序列推荐序列推荐模型将商品序列为输入信息。一个典方法是使马尔可夫链对数据建模。 近期,受自然语言处理中序列学习的启发,学者们提出了基于(深度)的方法,包括基于卷积(CNN)、基于循环(RNN)等。注意力机制、记忆也在序列推荐模型中得到应。 图4:记忆注意力可视化 ? 结论本文对于序列推荐任务,提出了记忆增强的图(MA-GNN)。该模型使GNN对商品对短期情境信息建模,并使记忆长期商品依赖关系。

    35930

    CMU提出基于学习的模型,自监督学习实现人类3D追踪

    这意味着每次处理视频时,都需要从头重复优化和手。?图1 的自监督学习给定一个视频序列和一组2D肢体关节热图,我们的可预测SMPL3D人体格模型的肢体参数。 权重使合成数据预训练,并使可微关键点、分割和二次投影误差分别针对检测到的2D关键点、2D分割和2D光流的自监督缺失驱(self-supervised losses driven)微调 我们提出了一个在单目视频中模型,学习将一个图像序列映射到一个相应的3D格序列中。深度学习模型的成功在于从大规模注释数据集中监督。 可微渲染和匹配需要对顶点可见性评估,对于这一点,我们使光线投射(ray casting),以及来执代码加速的我们模型实现。 相关研究3D使多台摄像机3D(四个或四个以上)是一个已被详细研究的问题,其中现有的方法取得了令人印象深刻的结果。

    853100

    看其他GNN介绍我想转,看完这篇我又可以了

    能够通过迭代传播高阶的交互,并且能够有效地整合社交关系和知识图谱等边信息。主要主要围绕以下三个方面阐述:1)构建新的分类体系;2)对已有方法的全面回顾;3)畅想未来的研究方向。 随着图的出现,一些工将item序列转换为图结构并其中的转移模式。图可以通过节点间的消息传播图上的依赖。 图可以高阶交互,在二部图上应就是利户交互过的物品增强户表示,对item同理。 最近的工item-item关系。 序列化数据可以先转换为序列图,然后序列化知识。边信息也可以来增强序列化信息,但是目前相关工很少。

    45010

    AI 赋能游戏工业化,易互娱AI Lab去噪新方法入选 SIGGRAPH 2021

    尽管此前已有学者提出了基于深度人工的光学数据自清洗和解算方案,但该方法的性能还无法满足实际生产环境的要求,且针对细节的保真度也存在一定问题。 基于这一观察,易互娱 AI Lab 的核心思路为:利大量数据,训练一个从raw markers预测上述三方面信息的深度人工。 此外,者还从真实数据中训练了一个对关键参考 marker 的质量评估的深度人工,利挑选raw markers中参考marker可靠性高的帧做刚体对齐,有效避免了算法精度过渡依赖少量参考 为了解决这个问题,本文发明训练了一个对参考marker的质量评估的深度人工,并利这个挑选参考marker可靠性高的帧做参考帧刚体对齐。 3、深度人工结构搭建和训练 接下来,者利上述数据和规范化方法训练一个深度人工结构,该包含两个模块,如下图所示:其中MoCap-Encoders为一个自编码器,包括三个分支,分别对应

    11840

    三摄正普及,四摄在路上?谷歌逆天AI算法,只做单摄虚化

    如上图所示,上一代的人像模式主要通过决定人与背景成像像素,并使从 PDAF 导出的景深信息来增强这两层人物的分割掩码(segmentation mask)。 PDAF 通过场景的两个略微不同的视角,如下图所示。在两个视角之间翻转,我们看到人是静止的,而背景是水平移的,这种效果成为视差(parallax)。 具体来讲,训练一个 TensorFlow 编写的卷积,可以将 PDAF 为输入并景深预测。这种新式改的基于机器学习的景深方法被应在了 Pixel3 的人像模式中。? 图注:CNN 将 PDAF 图像为输入,并输出景深图像。该使“编码-解码”架构如何训练? 此外,通过使 TensorFlow Lite 于在移和嵌入式设备上运机器学习模型的跨平台解决方案,可以将得到的景深信息与分割掩码结合。

    36150

    模拟狗狗的“魔鬼步伐”,比更真还更真

    在本文中,我们提出了一种新型的架构,称为模式自适应(Mode-Adaptive Neural Networks),于控制物的四足运特性。 最近,基于的运控制研究表明,使明确的周期来为双足物运提供高质量画的方法是可的 。 我们提出了一种新颖的、端到端的结构,它能够从非结构化的四足数据,而不需要任何阶段和运步态的标签。我们将所构建的四足运特性控制器与现有的方法了全面地评估对比。 ▌数据准备为了后续研究的,这里我们介绍下分类阶段所要到的数据。狗的。 但与此同时,我们观察到使变量和期望值速度能够有助于提高特性的可控性和响应性。▌训练整个使处理后的获数据,以端对端的方式训练。

    22610

    清华大学6个无线传感器搞定全身,可跑可跳可打滚

    的范围就只能是以头部和手部为主,腿部一直是难题。移只能在画面里前,并不能将腿部的具体在游戏中表现出来。? 除了娱乐外,技术在医疗领域也有应,可以数据指导伤者更好地康复训练。双向循环这么好的方法是怎么实现的呢?原来是靠深度学习。研究团队分阶段将拆成3个子任务。 所以在这一步到的是双向循环 (biRNN)。 ?在空间定位问题也是拆成两部分。一个是脚与地面接触的概率分布,再结合根结点的速度,算出在世界坐标的速度,同样到RNN与biRNN。 ? 对于不同的任务使不同的公开数据集训练,包含300名受试者超过40小时的姿势和空间位置参数。 与之前的研究相比,任务拆解的方法有助于更少资源获得更高帧数,可以胜任高速运。? 并且实现了的同时空间定位。 ?不过,还是有两点不足。一个是的效果依赖于训练数据集,对训练集中没有的效果就一般。

    20550

    【Embedding】SDNE:深度学习在图嵌入领域的应

    SDNE 设计了一个由多层非线形函数组成的深度模型来高度非线性的结构,同时联合优化 first-order 和 second-order 学习结构,前者监督信息以局部结构,后者非监督信息以全局结构 具有非线性激活函数的多层?如何把 first-order 监督信息?同理,second-order 如何做非监督学习?如何联合优化?深度模型的 Embedding 怎么出来? ,可以更好的到高度非线性的结构;结构:将 first-order 和 second-order 联合应的学习过程中,前者局部结构,后者全局结构;稀疏性:first-order 因此,为了得到全局最优,者使深度信念(Deep Belief Network,以下简称 DBN)对参数预训练。 了解了工原理后,我们来看下 RBM 的训练方式:给定的一条数据赋值给显层 ,并计算出隐层每个元被激活的概率 ;对计算的概率分布 Gibbs 采样计算隐层的输出值: ;利隐层的状态向量重构显层

    45420

    一个普通摄像头就让二次元老婆“活”了过来,友:求收费

    不过,传统的光学和惯性,都需要通过传感器来记录演员的。 与以往需要昂贵传感器支持的光学、惯性不同,近几年兴起的视频主要到了计算机视觉技术。它只使普通的RGB摄像头通过卷积(CNN)来识别图像中人体的骨骼关键点。 如上虚拟主播到的技术,也是类似于此的。特别的是,这套名叫小K直播姬的视频技术,识别位点远超17个,仅上半身就有100多个,覆盖了面部、手部和双臂。 之前的卷积(CNN)学习的关节点只有2D信息,无法使到3D虚拟形象上,但是小K直播姬自研的AI算法能3D信息并应的3D虚拟直播里。 看到这里,是不是已被惊艳到了?然鹅,这还不是最厉害的。其实,不只是上半身的,全身现在都能仅靠摄像头完成。

    13220

    随身携带的系统!基于稀疏惯性传感器的实时人体 | SIGGRAPH 2021

    该工由清华大学徐枫团队完成,使仅6个惯性测量单元(Inertial Measurement Unit,IMU)实时人体,实现了三维人体姿态和全局运的估计。 这些缺点大大降低了基于视觉的系统的可性。为了使普通消费者也可以随时随地,本文提出了一个基于6个惯性测量单元的实时系统。 本文将6个IMU设备穿戴在人体的手腕、小腿、头部和后背处,实时人体姿态和全局运。该系统可以在强遮挡、广范围、暗环境和多人交互场景中鲁棒的、准确的。 在基于求解的分支中,本文使一个单向循环直接从估计出的全身关节坐标和惯性测量值预测出根节点在相邻两帧之间的本地(根节点坐标系中的)位移,并利根节点的旋转变换到世界坐标系中。 3 实现细节循环结构图对于每个循环(RNN),本文都使相同的结构(见上图),其中每个RNN包括对输入的Dropout,一个输入线性变换层(使ReLU激活函数),两个长短时记忆层(

    38251

    2018-07-02 图像分割专场

    dilated temporal fully-convolutional neural network (DTFCN) for motion capture segmentation Abstract:运序列的语义分割在许多数据驱的运合成框架中起着关键 这是一个预处理步骤,其中运序列的长记录被划分为较小的段。之后,可以将诸如统计建模的其他方法应于每组结构相似的段以学习抽象运流形。 然而,分段任务通常仍然是手任务,这增加了生成大规模运数据库的工量和成本。因此,我们提出了一种使扩张的时间完全卷积的运数据的语义分段的自框架。 这种类型识别的最初和最重要的步骤是分割感兴趣的区域,即巩膜(sclera)。在此背景下,本文介绍了基于完全连接(FCN)和生成对抗(GAN)的两种方法。 FCN类似于常见的卷积,然而全连接的层(即分类层)从的末端被移除并且通过组合来自不同卷积层的输出层来产生输出。GAN基于博弈论,我们有两个彼此竞争以产生最佳分割。

    72530

    2018 NAB Show Shanghai酷炫科技早知道

    Vicon是全球唯一的自研发及生产的完整表演系统(包含表情、肢体、手指、道具、物)和原厂提供高难度服务业务的公司,也是历三十余年业历练的,世界最早的技术公司。 Dynamixyz面部表情系统之前很火的虚拟日本女生“Saya”;西山居大型游《剑侠情缘版3》以及虚拟偶像“帝菲儿”、 3DCG科幻影片《GANTZ:O》等,都是由Dynamixyz 表情系统参与完成的 Synertial 手指系统已尝试过了Vicon光学系统,那Synertial手指肯定不能少了。 Synertial手指是一款手部和手指运的系统。它能够根据需求对手部及手指采集,为研究、画、人机工程或仿真项目的户提供精准、易的解决方案。 (四)Synertial手指系统可提供:(1)Synertial手指系统使高精度惯性传感器来对手部及手指,甚至在手部完全被遮挡的情况下,仍能追踪。

    25050

    05.序列模型 W1.循环序列模型

    双向循环(Bidirectional RNN)12. 深层循环(Deep RNNs)业 参考: 吴恩达视频课 深度学习笔记 1. 为什么选择序列模型? 循环Recurrent 模型为什么不使标准的学习上面的 X 到 Y 的映射???? image.png ?4. 通过时间的反向传播编程框架通常会自实现反向传播,但是还是要认识下它的运机制? image.png最小化损失,通过梯度下降来更新参数5. 不同类型的循环?6. 研究表明:去尝试让有更深层的连接,去尝试产生更大范围的影响,还有解决梯度消失的问题,GRU就是其中一个研究者们最常使的版本,也被发现在很多不同的问题上也是非常健壮和实的GRU结构可以更好非常长范围的依赖 大部分人会把 LSTM 为默认的选择来尝试无论是GRU还是LSTM,都可以它们来构建获更加深层连接的11.

    9910

    【AI玩跳一跳终极奥义】首个端到端,看AI在玩游戏时注意什么

    本文者使模仿学习,训练了一个端到端的玩跳一跳,使注意力机制(Attention)分析后发现,在玩游戏时,也会自棋子与盒子的重要位置信息。 一个线性模型玩跳一跳的结果 使模仿学习,把复杂程序全都装一个那么,端到端玩跳一跳是怎么实现的呢? 在训练之前,我们对图像数据预处理,将其压缩成224x224的RGB图像,然后再输入到。 端到端的在玩跳一跳过程中,自位置等关键信息可以看出,一定程度上自了棋子和盒子的位置信息,特别注意棋子上头的高亮,这非常符合人玩游戏的方式,也符合传统做法的方法。 这在一定程度上说明,整个端到端内部也会自到这些重要的位置信息!小结微信跳一跳的终极奥义就介绍到这了!大家肯定会惊讶于深度学习的奇之处。老实说只看运的代码我也非常惊讶。

    52570

    EMNLP 2018 | 为什么使自注意力机制?

    循环(RNN)(Elman, 1990) 可以轻松处理可变长度的输入句子,因此是 NMT 系统的编码器和解码器的自然选择。 RNN 的大部分变体(如 GRU 和 LSTM)解决了训练循环的长距离依赖难题。 这两篇论文认为 Transformer 和 CNN 比 RNN 更擅长长距离依赖。但是,这一断言仅基于理论论证,并未过实验验证。本文者认为非循环的其它能力可能对其强大性能贡献巨大。 实验结果证明:1)自注意力和 CNN 在建模长距离主谓一致时性能并不优于 RNN;2)自注意力在词义消歧方面显著优于 RNN 和 CNN。?图 1:NMT 中不同的架构。 因此,我们也使该任务评估不同 NMT 架构的长距离依赖能力。?

    28310

    【NLP保姆级教程】手把手带你RCNN文本分类(附代码)

    接着对目前应较为广泛的深度学习框架算法了综述:Socher et al 提出递归(RecursiveNN),在构建句子表示方面已被证明是有效的。然而,递归通过树结构获了一个句子的语义。 因此,与递归或循环相比,CNN可以更好地文本的语义。CNN的时间复杂度也是O(n)。然而,以前对CNNs的研究倾向于使简单的卷积核,如固定窗。 为了解决上述模型的局限性,者们提出了一个循环卷积(RCNN),并将其应于文本分类的任务。 首先,我们应一个双向的循环结构,与传统的基于窗口的相比,它可以大大减少噪声,从而最大程度地上下文信息。此外,该模型在学习文本表示时可以保留更大范围的词序。 其次,使了一个可以自判断哪些特性在文本分类中扮演关键角色的池化层(max-pooling),以获文本中的关键组件。模型结合了RNN的结构和最大池化层,利了循环模型和卷积模型的优点。

    32520

    深度文本分类综述

    TextCNN模型首先将文本映射成向量,然后利多个滤波器来文本的局部语义信息,接着使最大池化,最重要的特征。最近将这些特征输入到全连接层,得到标签的概率分布。 图2:文档级别情感分类的模型Recurrent Convolutional Neural Networks for Text Classification (AAAI 2015)Lai等人提出了一种无人工特征的循环卷积分类方法 图4:三种架构多任务学习建模Hierarchical Attention Networks for Document Classification (NAACL 2016)Yang等人提出了一种于文档分类的层次注意力机制 DPCNN模型首先利“text region embedding”,将常的word embedding 推广到包含一个或多个单词的文本区域的embedding,类似于增加一层卷积。 DeepMoji模型首先使embedding层将单词映射成向量,并将每个embedding维度使双正切函数映射到。然后,者使两层的Bi-LSTM上下文特征。

    55630

    【NLP实战】手把手带你RCNN文本分类

    接着对目前应较为广泛的深度学习框架算法了综述:Socher et al 提出递归(RecursiveNN),在构建句子表示方面已被证明是有效的。然而,递归通过树结构获了一个句子的语义。 因此,与递归或循环相比,CNN可以更好地文本的语义。CNN的时间复杂度也是O(n)。然而,以前对CNNs的研究倾向于使简单的卷积核,如固定窗。 为了解决上述模型的局限性,者们提出了一个循环卷积(RCNN),并将其应于文本分类的任务。 首先,我们应一个双向的循环结构,与传统的基于窗口的相比,它可以大大减少噪声,从而最大程度地上下文信息。此外,该模型在学习文本表示时可以保留更大范围的词序。 其次,使了一个可以自判断哪些特性在文本分类中扮演关键角色的池化层(max-pooling),以获文本中的关键组件。模型结合了RNN的结构和最大池化层,利了循环模型和卷积模型的优点。

    68230

    相关产品

    • 云服务器

      云服务器

      腾讯云服务器(CVM)为您提供安全可靠的弹性云计算服务。只需几分钟,您就可以在云端获取和启用云服务器,并实时扩展或缩减云计算资源。云服务器 支持按实际使用的资源计费,可以为您节约计算成本。

    相关资讯

    热门标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      扫码关注云+社区

      领取腾讯云代金券