今天给大家介绍一篇来自美国密苏里州圣路易斯市华盛顿大学生命系统科学与工程中心和该校医学院病理与免疫学系合作的文章“Deep learning the structural determinants of protein biochemical properties by comparing structural ensembles with DiffNets”。该论文使用DiffNet模型比较蛋白质的结构集合,从而学习蛋白质的生化性质的结构决定因素。
AI 科技评论按: 在机器学习研究领域,生成式对抗网络(GAN)在学习生成模型方面占据着统治性的地位,在使用图像数据进行训练的时候,GAN能够生成视觉上以假乱真的图像样本。但是这种灵活的算法也伴随着优化的不稳定性,导致模式崩溃(mode collapse)。将自动编码器(auto-encoder)与GAN相结合,能够使模型更好的表示所有被训练的数据,以阻止模式崩溃。来自Google DeepMind的研究者Mihaela Rosca等人利用生成模型的层级结构,提出了将自动编码器与生成对抗网络相结合的原则,结
大家好!我是来自Google网络媒体团队的李博晗。今天,我将讨论有关AV1的编码器优化技术。
这怎么可能!后来我才知道,这是人家Deepfake的一个视频,把视频中人物的脸和声音替换了。
4月1日愚人节,也是张国荣的忌日。今天,在哥哥张国荣离开的第16个年头,有网友用AI让张国荣“复活”,并且演唱了经典歌曲《千千阙歌》、《玻璃之情》。
所以,话不多说,让我们创建一个空的实体集。我刚把这个名字命名为顾客。你可以在此处使用任何名称。现在它只是一个空桶。
生成模型是机器学习中一个有趣的领域,在这个领域中,网络学习数据分布,然后生成新的内容,而不是对数据进行分类。生成建模最常用的两种方法是生成对抗网络(GAN)和可变自编码器(VAE)。在这篇文章中,我将尝试解释可变自动编码器(VAE)背后的原理,以及它是如何生成上述面的数据的。
AI 科技评论按:最近推出的几个计算机视觉领域中的突破性论文在图像合成领域展示了新的可能,他们能够创造非常自然的图像,并且合成无比真实甚至同时保持面部信息的人脸图像。论文《CVAE-GAN:一种通过非对称训练的细粒图像生成模型》就是其中之一,它是由微软和中国科学技术大学的研究团队在威尼斯举办的 ICCV 2017 上展示的一种方法,它是一种基于变分自动编码器生成对抗网络的图像生成模型,能够在特定细粒类别中合成自然图像。特定细粒度的类别包括特定的人脸,如名人或者真实世界的物体,如特定类型的花或者鸟。
GAIR 今年夏天,雷锋网将在深圳举办一场盛况空前的“全球人工智能与机器人创新大会”(简称GAIR)。大会现场,雷锋网将发布“人工智能&机器人Top25创新企业榜”榜单。目前,我们正在四处拜访人工智能、机器人领域的相关公司,从而筛选最终入选榜单的公司名单。如果你的公司也想加入我们的榜单之中,请联系:2020@leiphone.com 作为世界上最大的视频平台,YouTube 每天都会新增来自世界各地的数百万个视频。这些视频具有非常大的多样性,对 YouTube 来说,要将这些不同的视频和相关的音频都转换成
给出一个来自领域A的单一图像x和一组来自领域B的图像,我们的任务是生成x在B中的类似物。我们认为,这项任务可能是一项关键的人工智能能力,它强调了认知代理在这个世界上的行动能力,并提出了经验证据,表明现有的无监督领域翻译方法在这项任务上失败。我们的方法遵循一个两步过程。首先,为领域B训练一个变异自动编码器。然后,给定新的样本x,我们通过调整接近图像的层来创建A域的变异自动编码器,以便直接适应x,而只间接适应其他层。我们的实验表明,当对一个样本x进行训练时,新方法和现有的领域转移方法一样好,当这些方法享受来自领域A的大量训练样本时。我们的代码可在https://github.com/sagiebenaim/OneShotTranslation 公开。
编码器在编码时,开启多线程会导致编码效果不稳定,常常出现相同参数两次编码结果,PSNR 可能会相差 1dB。 请教过编码器专家,给出的原因是:
大家好,首先非常荣幸有机会收到LiveVideoStack邀请来和大家分享腾讯视频云在AI视觉上的落地实践与应用,以及AI视觉泛化应用过程遇到的机遇和挑战。
AI 科技评论按:OpenAI 昨日发布一篇博客,介绍了 7 个自己近期在研究但尚未解决的问题,希望邀请到外部的研究者一同参与研究、做出进展。OpenAI 尤其希望它们是有趣的、有意义的,既可以吸引新人加入到人工智能领域中来,也可以让有经验的研究者继续磨炼自己的水平(甚至感兴趣的研究者也可以以此为机会加入 OpenAI)。此前 OpenAI 也做过一次这样的邀请研究活动,得到的结果形成了多篇论文。 研究这些问题的过程肯定会需要很多新点子,OpenAI 非常欢迎参与者写邮件和他们沟通,也可以通过 OpenAI
上文讲述了机器学习的功能和神经网络的概念,以及简要介绍了感知器和卷积神经网络,接下来继续介绍另外6种神经网络架构。
正文字数:4204 阅读时长:6分钟 AI就像一个加速器,正在渗透在多媒体应用的方方面面,改进甚至颠覆传统的图像视频处理方法。本文整理自腾讯云高级研发工程师刘兆瑞在LiveVideoStackCon 2020北京站上的演讲,将从超低码率压缩场景下AI技术在前置处理中的优化、AI技术的画质修复探索以及智能编辑场景的落地实践三个方面展开。 文 / 刘兆瑞 整理 / LiveVideoStack 大家好,首先非常荣幸有机会收到LiveVideoStack邀请来和大家分享腾讯视频云在AI视觉上的落地实践与
避免延迟,对于直播来说,一直是一块比较难啃的骨头,而这块“骨头”却为移动直播源码开发凿出了一个又一个的“坑”,根据实践总结下来的经验,移动平台上视频直播的坑主要有两个方面:设备差异,以及网络环境这些场景下带来的技术考验。那么对这几个坑如何进行有效规避呢,下面我们就来具体看看。
无论是查线上一些花屏、卡顿,马赛克问题,还是进行码率自适应的功能开发,抑或进行客户端播放器的JitterBuffer的优化,都需要编码器发送端的配合。我们需要在编码速度、网络带宽,视频质量方面做一个权衡,进而选择更符合场景的码控调整方案,同时目前比较热门的ROI编码,编码场景的自适应学习都跟这部分内容有关系。本文介绍下常见视频编码器码率控制方案,具体的编码器可能在实现和使用上有所差异,具体在调用API和阅读源码时需要进行进一步分析和了解。
深度生成模型的最新进展表明,它们有望在各个领域合成高质量、逼真的样本,例如图像、音频、3D 场景 、自然语言等。作为下一步,一些作品已经积极关注更具挑战性的视频合成任务。与其他领域的成功相比,由于视频的高维性和复杂性,在高分辨率帧中包含复杂的时空动态,因此生成质量与真实世界的视频相去甚远。
最近我们做了一个小项目,通过对接亚马逊的开放API,将智能家居中的自营摄像头视频可以投屏到Alexa智能音箱上,可以对着喊一句:alexa,open the door。就可以将安装在门外的摄像头唤醒,然后观看视频直播。
接上一篇Deep learning (1) -- 概述、分布式表示与思想 九、Deep Learning的常用模型或者方法 9.1、AutoEncoder自动编码器 具体过程简单的说明如下: 1
许多交换机或交换机设备组成的网络环境中,通常使用一些备份连接,以提高网络的健全性,稳定性。备份连接也叫备份链路,冗余链路等。
ODrive比较适合大电流的无刷电机使用,对于云台电机(小电流低转速)并没有使用电流环(好像SimpleFOC也没有电流环)。并且网上仅有少数的大电流无刷电机的配置例程,没有小电流无刷电机的配置例程。今天踏了一遍这个坑,遇到了很多错误,最后也逐渐摸索出了解决方法。
2022年6月20日,伊利诺伊大学芝加哥分校化学系的Huan-Xiang Zhou等人在Commun Biol发表文章,提出了旨在挖掘IDPs构象空间的生成性自动编码器。这项工作说明了人工智能在IDPs构象挖掘中的巨大潜力。
第一种是功能性的,仿真一下就能查到原因,并且这类问题往往是确定性的,也容易重现和解决,比如本公众号之前介绍的搭建仿真环境的一些方法:Modelsim的安装与使用,用Modelsim独立仿真带Vivado IP核的仿真工程,如何用ModelSim 独立仿真ISE的仿真工程。这类问题中稍微有难度的就是仿真环境不容易重现的,或者需要跑很长时间仿真才能重现的,这一类问题本公众号之前介绍过一种解决方案,详见:Vivado进行FPGA调试“犯罪现场”,在仿真环境中重现方法;
随着深度学习的发展,自动编码器(Autoencoders)成为了一种重要的无监督学习算法。其中,变分自动编码器(Variational Autoencoders,VAEs)作为一种特殊类型的自动编码器,在生成模型、数据压缩和特征学习等领域取得了很大的成功。本文将介绍变分自动编码器的原理和应用,并探讨其在深度学习中的重要性。
在过去的15年中,直播行业得到了巨大的发展。最初的流媒体传输模仿了广播传输的工作流程,使用自定义服务器通过专有协议提供流服务。在HTTP自适应流媒体(HTTP Adaptive Streaming,HAS)发展的推动下,直播行业的发展使观众对OTT质量和延迟有了更高的需求。传统观点认为,HAS传送的内容具有端到端延迟,该延迟是切片(segment)时间的几倍,并且这种延迟比广播中的延迟更久。有一种HAS解决方案能够实现低于一个segment时间的端到端延迟,它甚至使得整个延迟与segment的持续时间无关,即超低延迟CMAF(ULL-CMAF)。
HTTP2的优点我们后面会一一列出,但是一个新的东西的升级必须要做到向前兼容才能快速推广,因为只有这样才能减少对用户的影响。
本文略长,需一定耐心看完!不当处望指出。 前言 扩散模型(DMs)将生成过程顺序分解,基于去噪自动编码器实现,在图像数据和其它数据上实现了先进的生成结果。此外,它们可以添加引导机制来控制图像生成过程而无需再训练。 然而,由于这些模型直接在像素空间中操作,优化扩散模型DM消耗数百个GPU天,且由于一步一步顺序计算,推理非常昂贵。为在有限的计算资源上进行DM训练,同时保持其质量和灵活性,本文应用了预训练自动编码器的潜在空间。与之前的工作相比,在这种表示上训练扩散模型,可以在复杂性降低和细节保留之间达到一个接近最
变分自动编码器(VAE)可以说是最实用的自动编码器,但是在讨论VAE之前,还必须了解一下用于数据压缩或去噪的传统自动编码器。
AI 科技评论按:喜欢机器学习和人工智能,却发现埋头苦练枯燥乏味还杀时间?这里是,雷锋字幕组编译的 Arxiv Insights 专栏,从技术角度出发,带你轻松深度学习。 原标题: Variation
Contents 1 关键词 2 白化介绍 3 2D的例子 4 ZCA白化 5 正则化 1. 关键词 白化 whitening 冗余 redundant 方差 variance 平滑 smoothing 降维 dimensionality reduction 正则化 regularization 反射矩阵 reflection matrix 去相关 decorrelation 2. 白化介绍 在(自动编码
直播带货系统发展到现在,已经覆盖了h5、小程序和app等多个平台。但就目前市场情况来看,很多用户还是比较钟情于app,觉得它可靠,相比起小程序来讲,对于功能定制的可选性更多。所以有些开发商把大部分精力都放在了直播带货系统app版本的开发上。但是,在开发直播带货系统的过程中,有一些“坑”需要各位开发者格外注意,而这些“坑”主要是“直播功能”上的问题。
论文题目:Anytime3D Object Reconstruction Using Multi-Modal Variational Autoencoder
【新智元导读】YannLecun曾赞誉GAN为“近十年来机器学习领域最有趣的想法”,一经提出便受万众瞩目。伴随着研究的逐步深入,GAN已然衍生出了多种多样的形态。Crazymuse AI近期在Youtube中推出一个视频,介绍了十大GAN背后的数学原理。本文便带领读者盘点一下这些各具特色的GAN。
本文分享论文『VideoMAE: Masked Autoencoders are Data-Efficient Learners for Self-Supervised Video Pre-Training』,由南大王利民团队提出第一个VideoMAE 框架,使用超高 masking ratio(90%-95%),性能SOTA,代码已开源!
在LiveVideoStack线上交流分享中,爱奇艺技术研究员李晓威分享了基于爱奇艺Hydra平台的剧场直播云端混流方案,重点讲解如何提升WebRTC推流成功率并提升音视频质量,如何做到点播流在客户端
大数据文摘作品 编译:田奥leo、桑桑、璐、Aileen 27种?!神经网络竟有那么多种?这篇文章将逐一介绍下面这张图片中的27种神经网络类型,并尝试解释如何使用它们。准备好了吗?让我们开始吧! 神经网络的种类越来越多,可以说是在呈指数级地增长。我们需要一个一目了然的图表,在这些新出现的网络构架和方法之间进行导航。 幸运的是,来自Asimov研究所的Fjodor van Veen编写了一个关于神经网络的精彩图表(就是上面那张大图)。 下面,我们就来逐一看看图中的27种神经网络: Perceptron 感知
随着移动互联网普及,移动设备和高清摄像头在日常生活和工作中大量使用,人们产生海量的视频数据,如何高效实时采集、传输、显示视频数据,成为当下各方参与者摩拳擦掌的竞技舞台,TRTC是将腾讯多年来在网络与音视频技术上的深度积累,以多人音视频通话和低延时互动直播两大场景化方案,TRTC音视频解决方案是其中的佼佼者。
生成模型(Generative Model)这一概念属于概率统计与机器学习,是指一系列用于随机生成可观测预测数据得模型。简而言之,就是 “生成” 的样本和 “真实” 的样本尽可能地相似。生成模型的两个主要功能就是学习一个概率分布 P m o d e l ( X ) P_{model}(X) Pmodel(X)和生成数据,这是非常重要的,不仅可以用在无监督学习中,还可以用在监督学习中。
📷 来源:机器之心 本文约2600字,建议阅读6分钟 本文介绍了一篇关于黑箱防御工作的研究论文,代码和模型均已开源,已被 ICLR 2022 接收为 spotlight paper。 今天介绍一篇密歇
在本文中,我们研究了跟踪可能非常复杂背景的视频中运动物体轨迹的挑战性问题。与大多数仅在线学习跟踪对象外观的现有跟踪器相比,我们采用不同的方法,受深度学习架构的最新进展的启发,更加强调(无监督)特征学习问题。具体来说,通过使用辅助自然图像,我们离线训练堆叠去噪自动编码器,以学习对变化更加鲁棒的通用图像特征。然后是从离线培训到在线跟踪过程的知识转移。在线跟踪涉及分类神经网络,该分类神经网络由训练的自动编码器的编码器部分构成,作为特征提取器和附加分类层。可以进一步调整特征提取器和分类器以适应移动物体的外观变化。与一些具有挑战性的基准视频序列的最先进的跟踪器进行比较表明,当我们的跟踪器的MATLAB实现与适度的图形处理一起使用时,我们的深度学习跟踪器更准确,同时保持低计算成本和实时性能单位(GPU)。
Yann LeCun:纽约大学终身教授,Facebook人工智能实验室负责人。 Yoshua Bengio:加拿大蒙特利尔大学教授,深度学习大神。 “Deep learning is not a co
导读:昨天我们为大家带来了大牛Zouxy学习深度学习的笔记的上篇。今天我们继续为大家带来教程的下篇,让我们看看这位大牛在深度学习领域还有什么独到的理解~ |六、浅层学习(Shallow Learning)和深度学习(Deep Learning) 浅层学习是机器学习的第一次浪潮。 20世纪80年代末期,用于人工神经网络的反向传播算法(也叫Back Propagation算法或者BP算法)的发明,给机器学习带来了希望,掀起了基于统计模型的机器学习热潮。这个热潮一直持续到今天。人们发现,利用BP算法可以让一个人工
传统的自动编码器是一种数据的压缩算法 其算法包括编码阶段和解码阶段,且拥有对称的结构。
选自arXiv 作者:Alex Lamb, Jonathan Binas, Anirudh Goyal, Dmitriy Serdyuk, Sandeep Subramanian, Ioannis Mitliagkas, Yoshua Bengio 机器之心编译 参与:Panda 在训练数据集上表现优良的深度模型在识别有细微差别的样本时可能会得到非常让人意外的结果。针对这类对抗样本的防御是人工智能安全研究方面重点关注的研究主题之一。近日,蒙特利尔学习算法研究院(MILA)提出了一种有助于提升深度网络在应对对
本文最初发布于 Blankly 上,经原作者授权由 InfoQ 中文站翻译并分享。
在计算机科学中,人工神经网络由成千上万个以特定方式连接的节点组成。节点通常分层排列; 它们的连接方式决定了网络的类型,最终决定了网络在另一网络上执行特定计算任务的能力。传统的神经网络可能看起来像这样:
迁移学习是Google、Salesforce、IBM和Azure云服务商提供的托管AutoML服务的基础。它现在在最新的NLP研究中占据突出的地位——包括谷歌的BERT以及ULMFIT中有重要的作用。
为了带大家抢先领略高质量论文,小编特意整理了八篇ICCV 2019最新GNN相关论文,并附上arXiv论文链接供参考——点云结合、姿态估计、行为定位、视觉传感、多标签图像识别、视觉问答、图匹配等。
领取专属 10元无门槛券
手把手带您无忧上云