前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >RL Algorithm Components - 强化学习算法组件

RL Algorithm Components - 强化学习算法组件

作者头像
Steve Wang
发布2019-08-31 19:04:13
5710
发布2019-08-31 19:04:13
举报
文章被收录于专栏:从流域到海域

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

本文链接:https://blog.csdn.net/Solo95/article/details/100147150

RL Algorithm Components

通常包括一个或者更多:

  • Model(模型): world对agent的动作如何改变的一种表示(representation)
  • Policy(策略): 映射agent的state到动作的函数
  • Value function(价值函数): 遵循一个policy处于一个状态/执行一个动作之后的未来奖励
Model

模型是Agent的world如何对其动作产生回应的表示(what happens in the world as it takes its action and what reward it might get)。

Transition/dynamics(变迁/动态)模型预测下一个agent的state p(st+1=s′∣st=s,at=1)p(s_{t+1}=s'|s_t=s,a_t=1)p(st+1​=s′∣st​=s,at​=1)

Reward模型预测即时奖励: r(st=s,at=a)=E[rt∣st=s,at=t]r(s_t=s,a_t=a)=\mathbb{E}[r_t|s_t=s,a_t=t]r(st​=s,at​=a)=E[rt​∣st​=s,at​=t]

Policy

策略π\piπ决定agent如何选择动作 π:S→A\pi: S \rightarrow Aπ:S→A,映射states到actions 确定性策略(Deterministic policy): π(s)=a\pi(s)=aπ(s)=a 随机性策略(Stochastic policy): π(a∣s)=Pr(at=a∣st=s)\pi(a|s)=Pr(a_t=a|s_t=s)π(a∣s)=Pr(at​=a∣st​=s)

Value

价值函数 VπV^{\pi}Vπ: 在一个特定策略π\piπ下所有未来的打折奖励总和的期望。 Vπ(st=s)=Eπ[rt+γrt+1+γ2rt+2+γ3rt+3+...+∣st=s]V^{\pi}(s_t=s)=\mathbb{E}_{\pi}[r_t+\gamma r_{t+1}+\gamma^2r_{t+2}+\gamma^3r_{t+3}+...+|s_t=s]Vπ(st​=s)=Eπ​[rt​+γrt+1​+γ2rt+2​+γ3rt+3​+...+∣st​=s]

折扣因子(Discount factor)γ\gammaγ(between 0 and 1)加权了即时奖励和未来奖励(weighted by how much I care about immediate versus long term rewards)。

可以被用于量化状态和动作的好坏程度。

通过比较不同的策略决定如何行动。

RL Agents

基于模型的(Model-based)

代码语言:javascript
复制
- 显式:模型
- 可能有也可能没有策略和/或价值函数

不基于模型的(Model-free)

代码语言:javascript
复制
-显式:价值函数和/或策略函数
-没有模型
在这里插入图片描述
在这里插入图片描述

Key Challenges in Learning to Male Sequences of Good decisions

下面是在对比规划和强化学习:

规划(planning)(Agent的内部计算)

  • 给定模型world怎样运作
    • 动态和奖励模型
  • 算法计算如何行动以取得最大奖励期望
    • 和实际环境没有交互

Reinforcement Learning

  • Agent不知道world怎样运作
  • 显式或者隐式地和world交互以学习world如何运作
  • Agent会改进策略(可能包含规划过程)
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2019年08月30日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • RL Algorithm Components
    • Model
      • Policy
        • Value
          • RL Agents
          • Key Challenges in Learning to Male Sequences of Good decisions
          领券
          问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档