专栏首页杨熹的专栏自动驾驶器环境介绍

自动驾驶器环境介绍

在gym里有个自动驾驶的模拟器,它的任务是把乘客从一个地方接起,在另一个地方放下,在这个过程中 需要小车至少遵守下面三个规则:

在正确的地点下车

尽量用最短的路径

不要出事故

如果要用强化学习来解决这个问题,需要明确state,action,reward是什么:

在这个过程会让小车自己学会判断在每个state要采取什么action,小车会在环境中不断地尝试来找到最优策略,这个学习过程的依据就是reward,如何设置奖励机制呢?

因为希望小车最后达成的是成功地将顾客在正确的位置放下,所以这时的奖励要有很大的正奖励

如果在错误位置将顾客放下,就要有惩罚

当小车在每个state上的方向错误时,会有轻微的惩罚,这样的惩罚会让小车迟到,那么有助于它找到最短路径

state 是指小车可能经过的位置,例如整个环境是个 5x5 的网格,在这个格子上有四个位置可以接送顾客,R, G, Y, B or[(0,0), (0,4), (4,0), (4,3)]

例如有个顾客想从 y 到 r,目的地是4个,顾客的位置是5=4个目的地+1个是在车内,所以小车的状态空间是 5×5×5×4=500 个,之所以相乘,是因为顾客的 pick up 的状态,以及目的地的状态,它们所在的位置会变化的,这就构成了一个组合,组合总数就是相乘的结果。

action 空间有6个,在每个state上面可以向四个方向走,还有接顾客和放下顾客两个。

在网格中的四边是墙,如果小车在四周撞到了墙会得到-1的惩罚,这样让小车学着不要撞墙。

参考资料:

https://www.learndatasci.com/tutorials/reinforcement-q-learning-scratch-python-openai-gym/

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 为什么仿真测试能让自动驾驶变得更安全?

    在打造交通工具的时候,无论它是由人类还是计算机驾驶,安全都是首要考虑的因素。 在自动驾驶开发过程中,需要在各种行驶条件下,对无人驾驶技术进行不断的验证测试,从而...

    企鹅号小编
  • 为什么仿真测试能让自动驾驶变得更安全?

    在打造交通工具的时候,无论它是由人类还是计算机驾驶,安全都是首要考虑的因素。 在自动驾驶开发过程中,需要在各种行驶条件下,对无人驾驶技术进行不断的验证测试,从而...

    企鹅号小编
  • 自动驾驶之路已走了多远?一文读懂研究现状

    我们调查了有关自动驾驶汽车的研究文献,重点关注的是自 DARPA 挑战赛以来开发的配备有可归类为 SAE 3 级或更高级的自主系统的自动汽车。自动驾驶汽车的自主...

    机器之心
  • Waymo首次公开自动驾驶技术:让AI学会「危机想象力」

    今年,自动驾驶公司 Waymo 取得了一些里程碑式的进展。8 月份,Waymo 的实地自动驾驶里程突破 1000 万英里,上周,Waymo 又推出了一款商用自动...

    机器之心
  • 给自动驾驶一双通天眼——环境感知器篇

    ? 视频是Tesla自动驾驶简述 给自动驾驶一双”通天眼” ...

    WZEARW
  • 自动驾驶是怎样工作的?SLAM介绍

    【磐创AI导读】:本篇文章主要介绍了自动驾驶是如何工作的以及SLAM简介,希望对大家有所帮助。查看上篇关于本专栏的介绍:PyTorch专栏开篇。想要获取更多的机...

    磐创AI
  • comma.ai George Hotz 挑战谷歌的自动驾驶系统测试搭建过程

    用户1908973
  • 实用工具 | 强大的自动驾驶模拟器CARLA

    随着人们对安全、舒适的驾驶体验的不断追求,自动驾驶成为汽车研发的新方向。与此同时,自动驾驶相关技术在人工智能领域也是如火如荼的研究方向,吸引了大批来自产业界和学...

    马上科普尚尚
  • Momenta 陈凯:Momenta 自动驾驶背后的底层技术及人才需求 | 职播间第 4 期(附 Momenta 招聘解读)

    AI 科技评论按:目前全球汽车行业公认由美国高速公路安全管理局(NHTSA)和国际自动机工程师学会(SAE)提出的的分级制度,把自动驾驶分成 L0 到 L5 级...

    AI科技评论
  • 【未来驾驶新思路】王飞跃平行智能理论启发ACP自动驾驶,技术全解析

    编辑:张乾 【新智元导读】2月2日,在青岛2018国家智能产业峰会上,中国自动化学会副理事长兼秘书长王飞跃教授介绍了《第三轴心时代的智能产业》报告。王教授的平行...

    新智元
  • MIT推出的自动驾驶仿真平台VISTA:采用真实数据集训练,未来将延展至所有路况

    知道自动驾驶汽车安全上路前需要进行多少里程的测试吗?特斯拉CEO马斯克说至少要96亿公里以上,兰德智库认为需要至少跑177亿公里,相当于在地球和太阳间往返50多...

    数据猿
  • 自动驾驶汽车控制模块简介 | 【自动驾驶专题】

    自动驾驶汽车先使用感知模块了解其环境,并通过定位模块了解其在环境中的位置,然后使用规划模块进行决策并生成轨迹。

    用户7623498
  • 苹果新专利曝光,让自动驾驶汽车警报系统与电子设备无缝连接

    近日,美国专利商标局曝光了一项有关苹果自动驾驶项目Project Titan的新专利。从专利介绍看,苹果正在为自动驾驶汽车研发一种新型的车载警报系统,使其能与i...

    镁客网
  • 重磅!国内公司欧卡智舶发布全球首个「城市内河无人船」数据集

    最近,欧卡智舶联合清华大学与西北工业大学的研究学者公开了一个针对真实内河水域场景下多传感器、多天气条件下的内河无人船数据集USVlnland 。为无人船及水面自...

    CV君
  • 无人驾驶时代来临行为决策成为制约发展的瓶颈

    从《中国制造2025》提出加快发展智能制造装备和产品,到"十三五"规划提出积极发展智能网联汽车的目标,无人驾驶汽车已不再是遥不可及的梦想。 根据《节能与新能源汽...

    企鹅号小编
  • 【智驾深谈】李德毅院士:深度学习将成为智能驾驶的新维度

    【新智元导读】最近在北京参加《智能驾驶深度学习研讨会》,跟很多高校和企业的同行聊了半天。大家一致的观点是,鉴于深度学习技术在各个领域的碾压性优势,它恐怕会成为智...

    新智元
  • 自动驾驶核心技术之三:环境感知

    自动驾驶四大核心技术,分别是环境感知、精确定位、路径规划、线控执行。环境感知是其中被研究最多的部分,不过基于视觉的环境感知是无法满足无人驾驶要求的。

    用户1908973
  • 5分钟构建一个自己的无人驾驶车

    心情不够振奋,学个新技术吧! 翻译来源: https://www.youtube.com/watch?v=hBedCdzCoWM 发现了一个特逗儿的小伙儿,有...

    杨熹
  • 自动驾驶汽车硬件与软件技术介绍

    来源:知乎 概要:本文详细介绍了自动驾驶汽车的硬件和软件,以及所需要做的准备工作,每个研发者或者准备投身于无人驾驶领域的人都应该好好看一下。 全球有数不清的公司...

    企鹅号小编

扫码关注云+社区

领取腾讯云代金券