强化学习读书笔记 - 14 - 心理学

强化学习读书笔记 - 14 - 心理学

学习笔记： Reinforcement Learning: An Introduction, Richard S. Sutton and Andrew G. Barto c 2014, 2015, 2016

参照

• Reinforcement Learning: An Introduction, Richard S. Sutton and Andrew G. Barto c 2014, 2015, 2016
• 强化学习读书笔记 - 00 - 术语和数学符号
• 强化学习读书笔记 - 01 - 强化学习的问题
• 强化学习读书笔记 - 02 - 多臂老O虎O机问题
• 强化学习读书笔记 - 03 - 有限马尔科夫决策过程
• 强化学习读书笔记 - 04 - 动态规划
• 强化学习读书笔记 - 05 - 蒙特卡洛方法(Monte Carlo Methods)
• 强化学习读书笔记 - 06~07 - 时序差分学习(Temporal-Difference Learning)
• 强化学习读书笔记 - 08 - 规划式方法和学习式方法
• 强化学习读书笔记 - 09 - on-policy预测的近似方法
• 强化学习读书笔记 - 10 - on-policy控制的近似方法
• 强化学习读书笔记 - 11 - off-policy的近似方法
• 强化学习读书笔记 - 12 - 资格痕迹(Eligibility Traces)
• 强化学习读书笔记 - 13 - 策略梯度方法(Policy Gradient Methods)

停在这里了

从这一章开始叫做Looking Deeper。 讲的有心理学(Psychology)，神经科学(Neuroscience) 和强化学习的联系， 还有强化学习的应用和案例(Applications and case studies)和前沿(Frontiers)。

基本上需要大量的翻译。这不是我的特长。 所以我的笔记先停在这里了。

心理学(Psychology)

术语

• reinforcement 在心理学中，指动物接收到一个刺激（或者经历一个刺激的消失），行为和另一个刺激（或者反应）的关联模式得到了（强度或者频率上的）加强。
• reinforcer - 强化刺激
• reward - 奖赏 让动物认知好行为的事物或者事件。
• penalty - 惩罚 让动物认知坏行为的事物或者事件。
• reinforcement signal - 加强信号 加强信号的一个例子：TD error。
• action
• control 在强化学习中，控制是指本体影响它的环境，带来期望的状态或者事件。
• stimulus-response learning - 刺激-反应学习
• prediction algorithm
• control algorithm Policy improvement algorithms
• unconditioned responses
• unconditioned stimulus
• conditioned responses
• conditioned stimulus
• classical conditioning - 条件反射

算法列表

2 A simple bandit algorithm 4 Iterative policy evaluation Policy iteration (using iterative policy evaluation) Value iteration 5 First-visit MC policy evaluation (returns V  v) Monte Carlo ES (Exploring Starts) On-policy rst-visit MC control (for "-soft policies) Incremental o-policy every-visit MC policy evaluation O-policy every-visit MC control (returns   ) 6 Tabular TD(0) for estimating v Sarsa: An on-policy TD control algorithm Q-learning: An o-policy TD control algorithm Double Q-learning 7 n-step TD for estimating V  v n-step Sarsa for estimating Q  q, or Q  q for a given  O-policy n-step Sarsa for estimating Q  q, or Q  q for a given  n-step Tree Backup for estimating Q  q, or Q  q for a given  O-policy n-step Q() for estimating Q  q, or Q  q for a given  8 Random-sample one-step tabular Q-planning Tabular Dyna-Q Prioritized sweeping for a deterministic environment 9 Gradient Monte Carlo Algorithm for Approximating ^v  v Semi-gradient TD(0) for estimating ^v  v n-step semi-gradient TD for estimating ^v  v LSTD for estimating ^v  v (O(n2) version) 10 Episodic Semi-gradient Sarsa for Control Episodic semi-gradient n-step Sarsa for estimating ^q  q, or ^q  q Dierential Semi-gradient Sarsa for Control Dierential semi-gradient n-step Sarsa for estimating ^q  q, or ^q  q 12 Semi-gradient TD() for estimating ^v  v True Online TD() for estimating >  v 13 REINFORCE, A Monte-Carlo Policy-Gradient Method (episodic) REINFORCE with Baseline (episodic) One-step Actor-Critic (episodic) Actor-Critic with Eligibility Traces (episodic) Actor-Critic with Eligibility Traces (continuing)