首页
学习
活动
专区
圈层
工具
发布

深度 | Vicarious详解新型图式网络:赋予强化学习泛化能力

太空入侵者 打砖块与太空入侵者有一些共同的动力学特点,比如玩家的移动和其他游戏对象相对持续的动量。...此外,我们通过保证可靠地过滤掉噪杂和不可预测的现象而优化了学习。 我们也注意到,在随机动作很快会得到积极与消极奖励的意义上,太空入侵者比打砖块更容易获得奖励。...下面是太空入侵者的再实现,它带有一个通过 MCTS 控制玩家的已训练的图式网络。 ? 一个在太空入侵者上训练的图式网络,玩着相同的游戏。...在存在随机动作的情况下,有效的学习图式也是我们一个积极研究的领域。 像打砖块、太空入侵者和推箱子这样的游戏可以用作开发新型人工智能算法的环境。...当前最佳的深度强化学习模型可能能够在其接受训练的环境中达到超越人类的水平,但它们无法像人类一样学到可以重复使用的概念。一些在人类看来对环境的微小改变就可能让模型陷入困惑,无能为力。

1.3K70

“Game Boy超级计算机”每秒处理10亿帧,ML知识迁移不再是难题!

这是迈向神经网络记忆的一步,然而正如罗基在博客中描述他的“超级计算机”时所解释的那样,这些游戏在复杂性方面并没有太大的差异。 《太空入侵者》的播放频率为100MHz,是FPGA全速的四分之一。...游戏机上有各种各样的游戏可供选择,这些游戏并不需要耗费大量资源才能运行,这样才能测试它在更复杂游戏上使用先验知识的能力。...Rocki在他的研究中考虑了几种不同的游戏机,包括街机版的太空入侵者、Atari2600、任天堂娱乐系统(NES)和Game Boy Classic。...像《太空入侵者》这样的游戏在左边,不那么复杂,而《Pokemon》和《波斯王子》则在右上角,更加复杂。...例如,在最初的《太空入侵者》街机控制台中使用的8080 CPU以每秒100万次(1 MHz)的速度运行。

65830
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    IBM研究者开发Game Boy超级计算机,每秒处理十亿帧

    如果一个已经掌握了俄罗斯方块的神经网络试图学习像超级马里奥兄弟这样更复杂的游戏,那么神经网络基本上需要从头开始,并且无法借鉴俄罗斯方块的经验来学习超级马里奥兄弟。...这与像波斯王子这样的游戏有很大不同,其中玩家的行为可能不会产生即时反馈,并且屏幕上不会一直显示明确的分数。...Rocki为他的研究考虑了几种不同的游戏机,包括街机版的太空入侵者,Atari 2600,任天堂娱乐系统(NES)和Game Boy Classic。...像太空入侵者这样的游戏在左边,不那么复杂,而Pokemon和波斯王子则在右上角,更加复杂。...然而,当这个CPU在FPGA中模拟时,它的时钟频率可高达400 MHz,这就像以每秒24,000帧的速度运行游戏一样。

    64910

    ​1970年代-大规模集成芯片(LSI)、ASIC和电子游戏吃豆人的诞生

    专用控制台市场 主条目:第一代电子游戏机 ? 像APF TV Fun(如图)这样的Pong克隆产品在 1970 年代后期过度饱和了市场。...太空入侵者在街机电子游戏中引入或推广了几个重要的概念,包括由生命而不是计时器或设定分数调节的游戏,通过累积分数获得额外的生命,以及跟踪在机器上获得的高分。...这也是第一款用一波又一波的目标来对抗玩家的游戏,也是第一款在游戏中加入背景音乐的游戏,尽管只是一个简单的四音循环。太空入侵者在日本获得了立竿见影的成功,一些拱廊是专为太空入侵者机器设计的。...虽然在美国不太受欢迎,但作为北美制造商的Midway在1979年移动了超过60000个柜子,太空入侵者成为了热门。 ?...美国海洋打后卫的一艘军舰在1982年 《太空入侵者》引领了从1978年到1982年的街机游戏黄金时代。

    1.8K50

    塔秘 | DeepMind到底是如何教AI玩游戏的?

    彼时,DeepMind开发了一个AI程序,它能玩Atari公司70年代推出的一系列游戏,如Breakout(打砖块)、弹球游戏《Pong》和《太空入侵者》(Space Invaders)。...但是在RL中,你会遇到这样的问题: ● 奖励可能会延迟很多时间步长(例如在国际象棋中,要走很多步才能吃掉对方的皇后,其他每一步都不能像最后一步那样即时得到反馈奖励,而有些步数可能比最后一步还要重要)。...我们并没有在《太空入侵者》中使用较大的神经网络,在《乒乓球游戏》(ping-pong)中则使用较小的网络。在每个新游戏中,我们都从零开始训练神经网络,而且神经网络的架构都是相同的。...这就是所谓的像训练人类一样训练神经网络。 由于代理仅观察当前画面中的图像,所有无法全面观察到任务。...除了《太空入侵者》(Space Invader),我们在其他游戏中都将k设为4,如果在这款游戏中将k设为4,就会看不见激光,因为跳过的帧与激光闪烁的时长相重叠。

    2.9K80

    开源的Bluespec SystemVerilog (BSV)语言表现如何?

    今天的核心是使用BSV设计一款游戏,看下在实际设计中BSV表现如何~ 使用BSV设计《太空入侵者》 绪论 2020年1月,Bluespec开源了bsc(Bluespec SystemVerilog Compiler...BSV 与任何其他语言一样,无法通过阅读手册来学习,我认为学习新语言的唯一方法是实际设计应用程序。因此,我尝试使用 BSV 设计《太空入侵者》游戏。...确定声道 游戏中使用了 10 种不同的声音;需要确定同时发生的数量(=声道的数量)。考虑到游戏场景中同时发生的条件,假设有4个通道:玩家自己的船的声音、入侵者的声音1和2、UFO的声音。...另一方面,BSV 有一个名为StmtFSM的库,可以高效地设计状态机。在这个游戏FSM中,我充分利用了这一点,设计时无需手动进行状态分解。在本文中,这种方法将被称为基于序列的方法。...游戏完成 下面的动图展示了可能是世界上第一部由 BSV 设计的《太空入侵者》游戏的视频。 完整的入侵者层次结构如下图所示。Button_0 只是一个对板载开关和外部开关进行或运算的电路。

    1.3K50

    【愚公系列】《AIGC辅助软件开发》032-AI辅助开发跑酷游戏:游戏设计

    让我们一起探索AI在跑酷游戏设计中的潜力,共同打造更具创意和乐趣的游戏体验! 一、游戏设计 随着 AI技术的不断发展,越来越多的游戏开发者开始将其应用在游戏开发中。...特别是在2D游戏开发中,AI技术的影响尤为直接,本章将带大家用AI工具链实现一个简单的2D游戏项目,并探讨一下 AI工具链和 2D 游戏研发链路结合后的效果。...以下是一个详细的跑酷游戏策划方案,根据你的设定来制定的: ### 游戏名称 **“星际跑酷:蓝水晶使命”** ### 游戏背景 在遥远的宇宙中,有一颗名为“蓝星”的神秘星球。...### 游戏目标 玩家需要操控英雄在蓝星上奔跑、跳跃、滑行,躲避鬼火的追击,尽可能多地收集蓝水晶,尽量走得更远,获得更高的分数。...以下是你的游戏简介: --- **游戏简介:** 在《蓝星疾跑:水晶追击》中,你将踏上星际探险的旅程,来到神秘的蓝色星球。传说,这颗星球蕴藏着无数珍贵的蓝水晶,能赋予持有者强大的力量。

    54500

    DeepMind到底是如何教AI玩游戏的?这篇在Medium上获得1700个赞的文章,把里面的原理讲清楚了

    彼时,DeepMind开发了一个AI程序,它能玩Atari公司70年代推出的一系列游戏,如Breakout(打砖块)、弹球游戏《Pong》和《太空入侵者》(Space Invaders)。...但是在RL中,你会遇到这样的问题: 奖励可能会延迟很多时间步长(例如在国际象棋中,要走很多步才能吃掉对方的皇后,其他每一步都不能像最后一步那样即时得到反馈奖励,而有些步数可能比最后一步还要重要)。...我们并没有在《太空入侵者》中使用较大的神经网络,在《乒乓球游戏》(ping-pong)中则使用较小的网络。在每个新游戏中,我们都从零开始训练神经网络,而且神经网络的架构都是相同的。...这就是所谓的像训练人类一样训练神经网络。 由于代理仅观察当前画面中的图像,所有无法全面观察到任务。...除了《太空入侵者》(Space Invader),我们在其他游戏中都将k设为4,如果在这款游戏中将k设为4,就会看不见激光,因为跳过的帧与激光闪烁的时长相重叠。

    1.7K60

    【快报】日研发可自主意识控制行动机器人 | 合成肌肉完成太空测试返回地球

    未来,靠编程行动的机器人会被淘汰,而像Alter这样可以根据“意志”自己控制手臂、头部等部位动作的机器人将成为主流。...来源:凤凰科技 2 摩尔定律救星:螺旋形漩涡光束激光器 不久前有许多文章称摩尔定律即将终结,但是一项新的光线研究进展可能会继续延长摩尔定律的生命期限:螺旋形漩涡光束激光器,一种新型的基于光的通信工具可以在一个迅速沿着圆周运动中进行数据的传输...黄莹介绍,联想研究院目前在研发一款机器人软件平台,其中包含云端和机器人端。在硬件方面,联想在研发一款名为“达尔文” 的陪伴机器人,有一米高左右,包含各类传感器,同时包含3D、2D摄像机和投影仪。...这种合成肌肉不仅能用于太空极端环境,在地球应用中也很有价值,如用合成肌肉武装的机器人,能在深太空环境中生存下来,在核电站内部等人类无法到达的危险地方执行紧急任务,还能用于改造假肢,使其像真正的肌肉那样灵活运动...合成肌肉通常由软塑料或橡胶类材料制成,通电后能拉伸、收缩,像有生命的肌肉那样运动。Ras实验室表示,这种合成肌肉在义肢和机器人行业有着巨大潜力,他们正致力于开发定制的产品,用于治愈伤口挽救生命。

    90460

    听说你死成狗了?试着和NPC和平谈判吧!

    外星人第N次入侵地球 玩家奉命将它们赶回老家 好吧,说人话 又是一款科幻题材FPS游戏 先别急着走 这次真的不一样啦! 首先 在星图上规划路线 然后 投入到紧张刺激的太空战斗中去吧 不能开始游戏?...对了 首先你得先找两名队友 一个人怎么可能干翻一艘太空船 这款游戏没有经验值 也没有等级 那怎么增强自己呢? 从外星人那里抢啊!...我们可以在自己的船上接到各种任务 然后再去抢劫其它船只 不断地获得新武器和战利品 游戏刚开始只有一把激光手枪 不过不要担心 外星人那的装备可丰富了 自动激光步枪、散射猎枪、电激光步枪 还有一次发射三枚火箭的火箭筒...别激动的太早 这可是一款“Rouguelike”游戏 就是所有东西都是随机的 所以嘛 你可能会很频繁的经历人生的大起大落 我知道 大家都喜欢用暴力的方式消灭敌人 可这款游戏毕竟是有难度的 打不过了咋办?...《来自其他的太阳》 一款“Rouguelike”VR射击游戏 已经登陆Oculus Rift 本文属VRPinea原创稿件,转载请洽:brand@vrpinea.com

    599100

    业界 | 腾讯优图联手Science发布主题报告:计算机视觉的研发和应用

    这是因为人类在观察时,获得的不仅仅是视觉信息;我们还会获得有关物体物理属性的线索,以及与之交互所需要的物理知识。机器需要能够收集这类信息,才能像人类一样毫不费力地穿行在物理世界中。...「我们想给汽车装上的,不仅仅是我们的眼睛。」 像优步这样的公司希望到 2020 年前能实现自动驾驶汽车上路和载客。...如果一个人类驾驶员在道路上看到一些出乎意料的东西(比如一条坠落的电源线),他们会知道应该绕过电线。而如果一辆自动驾驶汽车遇到训练中没有经历过的事情,它可能无法安全地做出反应。...像亚马逊和波音这样的公司已经在测试无人机,未来它们可能会像现在的邮递员那样投递包裹。 在某些情况下,多架无人机可能出现在同一个空域内,并且可以比人类飞行员更好地实现彼此间飞行的协调。...AI 算法已经可以比放射科医生更好地从医学影像中识别出病症,例如骨折和肺炎。 「大数据的爆发,尤其在医疗领域的爆发,意味着我们能获得更多的数据来进行研究。」

    49720

    1.22 VR扫描:欢创科技完成8000万人民币B轮融资;Lumentum欲收购激光仪器商Coherent

    据了解,Camsense欢创科技曾获得东方富海、一村资本、沣扬资本、晨晖创投、南岭基金等机构投资。Camsense欢创科技主要从事行业视觉传感器业务,产品广泛用于VR/AR、工业以及医疗等领域。...据了解,Coherent是一家研发制造激光仪器的公司,产品主要用于医疗、实验仪器、工业以及半导体制造业等领域,而Lumentum则是苹果Face ID以及LiDAR元器件的供应商。...与此同时,作为25周年纪念的《生化危机:逆转》将会捆绑销售。 据了解,在《生化危机8:村庄》中,伊森一家的平静生活因克里斯·雷德菲尔德而又陷入混乱之中,他再次身陷无法逃离的梦魇中。...的90Hz刷新率 据了解,本次版本更新添加了Oculus Group启动,玩家可以直接从Oculus Party开启多人游戏,以及游戏中玩家统计数据功能再次回归以及一些其他细节功能调整。...在《极速空战》这个积木世界里,玩家将面对千奇百怪的外星入侵者,在确保自己存活的前提下,尽可能的消灭敌人。 VRPinea独家点评:卡通的画风以及粉粉的配色,P君真的大爱!

    53410

    Unity Demo教程系列——Unity塔防游戏(三)塔(Shooting Enemies)

    (激光束不需要和阴影交互) 塔预制完成后,将其添加到工厂。 ? (塔在工厂中引用) 1.3 放置塔 我们通过另一个切换方法添加和移除塔。可以简单地复制游戏板。...仅在无法成功调用AcquireTarget时才在GameUpdate中调用此方法。如果任何一个成功,那么我们就有一个目标。...可以通过在更新敌人和Game.Update中的棋盘之间调用Physics.SyncTransforms来实现此目的。 ? 2.8 忽略海拔 我们的游戏玩法本质上是2D。...这可以通过使用胶囊来完成,胶囊的第二点在地面上几个单位,比方说三个。 ? 我们不能使用2D物理引擎吗? 问题在于我们的游戏是在XZ平面中定义的,而2D物理引擎在XY平面中工作。...它依靠勾股定理来计算2D距离,但省略了平方根。取而代之的是半径的平方,因此我们最终比较了平方长度。这样就足够了,因为我们只需要检查相对长度,就不需要确切的差异。

    3K20

    全球八位科学家谈计算机视觉:眼见为实

    这是因为人类在观察时,获得的不仅仅是视觉信息;我们还会获得有关物体物理属性的线索,以及与之交互所需要的物理知识。机器需要能够收集这类信息,才能像人类一样毫不费力地穿行在物理世界中。...“我们想给汽车装上的,不仅仅是我们的眼睛。” 像优步这样的公司希望到 2020 年前能实现自动驾驶汽车上路和载客。...如果一个人类驾驶员在道路上看到一些出乎意料的东西(比如一条坠落的电源线),他们会知道应该绕过电线。而如果一辆自动驾驶汽车遇到训练中没有经历过的事情,它可能无法安全地做出反应。...像亚马逊和波音这样的公司已经在测试无人机,未来它们可能会像现在的邮递员那样投递包裹。 在某些情况下,多架无人机可能出现在同一个空域内,并且可以比人类飞行员更好地实现彼此间飞行的协调。...AI 算法已经可以比放射科医生更好地从医学影像中识别出病症,例如骨折和肺炎。 “大数据的爆发,尤其在医疗领域的爆发,意味着我们能获得更多的数据来进行研究。”

    55130

    在地球卷AI太费电?谷歌密谋“太空显卡”,把AI数据中心射上天!

    每颗卫星,就是一个会飞的“AI计算节点”: 能源:超大面积的太阳能帆板。在晨昏轨道上,几乎能获得连续日照,年接收能量是地面同面积板的8倍。...宇宙射线和太阳风里的质子,打到芯片上,可能引发两种后果: 累计电离效应:像慢性中毒,电荷在绝缘层里慢慢累积,久了芯片就“衰老”、性能下降。 单粒子效应:像突如其来的“爆头”。...如果这个趋势能保持(这需要像星舰这样的大运力可回收火箭成功,并保持每年约180次的高频发射),那么到2035年左右,近地轨道的发射成本有望降到200美元/公斤以下。 这个数字是个重要的心理关口。...论文算了笔账:如果发射成本降到200美元/公斤,那么像星链V2迷你版这样的卫星(重575公斤,功率约28千瓦),其平摊到每年的“发射能量成本”约为810美元/千瓦/年。...也就是说,在最理想的情况下,未来在太空“发电+计算”的平摊成本,可能跟在地面买电差不多。 4 太空AI的未来:从“显卡”到“细胞自动机” 当然,论文描绘的还只是一个远景的第一步。

    15110

    NFT 游戏互操作性:技术不是拦路虎

    代币所在的第三方数据库确实是开放的,但这并不意味着它代表的对象在弹指之间就能转移到任何其他游戏当中,哪怕假设对象的视觉效果和道具等资产(比如速度、装甲或机载激光炮数量等)也可供任何人查看和导入。...开心农场这种游戏里根本都不会涉及太空战斗,飞船未被编码,因此在开心农场这样的游戏就无法处理它们。 然而,通过一些协作设计和创造性思维这个问题就可以解决。...虽然原始图形资产可能无法转移,但开发人员可以使用一个通用图形资产表示来自其他游戏的 NFT。NFT 在游戏玩法方面的价值至少在某种程度上也可以保留,即使它被导入到不支持其原始道具和功能的游戏中。...有了这样的设计,如果我们在太空战斗类游戏中购买了 NFT 飞船但后来游戏关服,通过将其导入到更大生态系统中的任何其他游戏,我们的 NFT 价值仍能保留。...解决这个问题的一种可能方法是使用推荐计划,在这样的计划中,A 项目对集成自 B 项目的 NFT 进行推广,以获取 B 项目在该渠道的销售收入和在随后的转售中获得版税分成。

    59430

    QQ & PUPU 动画设定

    基于这些记忆,我们用上世纪80年代和90年代的街机图像设计了第一集。在制作太空场景时,我们参考了"Tengai" 和"Megaman"等侧滚游戏,并以复古街机游戏机为主要对象设计了后半部分的场景。...C.角色分析 动画制作之前,我们重新定义了角色的特征,这些特征都包含在故事中,这样看视频的用户可以很自然地熟悉这些角色。...故事被分成两个部分:太空场景和街机场景,两个场景之间有一个使这个短视频变得有趣和好玩的转变。视频以QQ在logo下面不断挑战赢得游戏的场景结束,突出”Never Give Up"的主题。...我们也需要在视频里设计一个扮演反派的角色。通过联想经常出现在游戏和电影中的疯狂科学家“天启”,我们把它设计了出来。视频里,这些反派企鹅驾驶具有威胁性的武器攻击QQ和PUPU。...为了让它看起来像视频游戏,和侧滚游戏一样,我们限制了摄像机的移动,并且所有效果都在后期制作中使用2d FX footages完成。

    1.2K30

    这项新发明登上Nature,会是马斯克最需要的太空技术吗?

    在人类悠久的文明中,好奇心一直驱动着我们去探索太空。然而,也正因为如此,自 1957 年苏联成功将斯普特尼克 1 号送入太空以来,全球各个国家也开始向太空中发射各式各样的人造卫星。...这种效应意味着,地球近地轨道会被太空垃圾所覆盖,导致人造卫星失去能够安全运行的轨道。最终结果是,在数百年后,无论是人造卫星的正常运行,还是人类对太空的探索,将无法进行。...据美国国家航天局(NASA)称,目前已经有超过 27000 块垒球大小(圆周为 29.4-30.8 厘米)的太空碎片在绕地球轨道运行,它们的速度高达每小时 17500 英里,这样的速度足以让一小块碎片像银河炮弹一样摧毁人造卫星或航天器...(来源:MIT News) 目前,主要存在三种方式: 1)激光推进技术:利用强大的连续波激光照射太空垃圾,使其温度升高直到被熔化或者汽化,或者利用高能脉冲激光束照射太空垃圾表面,为太空垃圾提供一定的速度增强...这个过程使得太空碎片变成了一个能通过感应涡流产生扭矩和力的电磁铁,这样就可以使得机械臂在不接触碎片的情况下而去控制碎片的去向,大大减少了机械臂被折断的风险。 这种方法还允许科学家操纵特别脆弱的物体。

    47810

    盘点将改变世界的12大科技技术,你说它们黑不黑?

    维珍银河的第一艘“宇宙飞船2号”飞船已在2014年11月的测试飞行中坠毁,导致一人遇难。该公司在今年3月披露了其第二艘宇宙飞船,预计将很快开始测试。 ?...尽管谷歌宣布其研发的无人驾驶汽车已经在电脑的控制下安全行驶了100多万公里,但谷歌无人驾驶汽车依靠激光测距仪、视频摄像头、车载雷达、传感器等获得环境感知和识别能力,确保行驶路径遵循谷歌街景地图预先设定的路线...除此之外,虽然还无法彻底评估这种计算机处理问题的能力,但相信在不久的将来答案就会揭晓。...目前,这几名亿万富翁正在为一些研究人体为何会衰老以及如何阻止衰老的生物医学项目提供资金支持。 不过,我们中的大多数人仍然无法想象,“死亡成为选择而不是必然”这样的场景。...随着这些能自我学习的计算机掌握的知识越来越多,机器会变得越来越像人,处理事物的能力也会越来越强。最终,类似《星球大战》电影中号称有完美记录从不犯错的HAL9000这样的人工智能或许会成为现实。

    86590
    领券