深度确定性策略梯度()是动作空间连续时强化学习的最新方法。它的核心算法是。
然而，在阅读了论文和听了the talk ()之后，我仍然无法弄清楚确定性PG相对于随机PG的根本优势是什么。
浏览 64提问于2017-03-13得票数 12
我们知道，DDPG是一种确定性的策略梯度方法，其策略网络的输出应该是某个动作。但是有一次我尝试将策略网络的输出设为若干行动的概率分布，这意味着输出的长度大于1，并且每个行动都有自己的概率，并且它们的和等于1。输出的形式类似于随机策略梯度方法，但梯度是计算的，网络是以DDPG<
浏览 2提问于2019-12-22得票数 1
我正在使用稳定的基线训练PPO2 RL模型。我发现的一件事是，经过训练的代理仍然会在测试数据上显示一些随机行为，如predict方法PPO2所示；deterministic标志应该设置为True，以查看确定性(非随机)行为。我理解，在训练一个RL代理时，需要进行一定数量的随机探索，以便agent能够学习最优的值策略网络。然而，我认为，一旦对一个代理进行了训练，并用于对新的测试数据进行操作(预测)，将
浏览 0提问于2019-07-24得票数 4
回答已采纳
关于深度强化学习，我有一个更一般的问题。我总是有点挣扎，到底有什么不同的断断续续的政策是。可以肯定地说，非策略是在轨迹采样过程中从不同的行为分布中进行抽样，而on策略是使用实际策略进行轨迹生成。或者on策略无法从旧数据中受益，而off策略则可以。两者都没有真正的回答，确切的区别是什么，而是告诉我输出。
在我看来，DDPG和PPO都是建立在A2C的基础上，并同时训练
浏览 6提问于2019-09-25得票数 1
2回答
我正在尝试使用A3C网络来学习玩古老的Atari电子游戏。我的网络为每个可能的动作输出一组概率(例如，左、右、射)，我使用这些信息来确定在游戏中采取的行动。然而，我已经开始思考，一个人将如何去玩一个非二进制行动的游戏。例如，用方向盘(而不是键盘键)左右操纵汽车。我想简单地把概率转换成强度(例如，如果我的左向右的数值为1.0/0.0，那么就使最难的左转成为可能，但如果我的值为0.6/0.4，则进行一个更渐进的
浏览 0提问于2018-01-27得票数 2
回答已采纳
2回答
Keras中的策略梯度
、、、、
我一直试图建立一个使用‘深度Q-学习’的模型，其中我有大量的行动(2908)。在使用标准DQN：()取得有限的成功之后，我决定做更多的研究，因为我认为动作空间太大，无法进行有效的探索。然后我发现了这篇论文：，在这里他们使用了一个参与者-评论家模型和策略梯度，这导致了我：，在那里，他们使用策略梯度来获得比DQN更好的结果。我已经找到了几个在Keras、和中实现策略梯度的</e
浏览 6提问于2016-11-05得票数 23
1回答
我刚在youtube上看到了这样的视频：https://www.youtube.com/watch?v=kopoLzvh5jY&t=9s如果是策略梯度法，那么他们使用了哪种策略梯度法？
浏览 0提问于2021-04-16得票数 0
回答已采纳
1回答
在DQN中，Q值的函数逼近对于相关更新是不稳定的.在具有基线的策略梯度中，策略的值函数是否不会被相同的相关更新所困扰？
例如，在加强型基线算法中，更新按时间顺序应用于每个时间步骤。我知道，在策略梯度中，目标是估计策略的值，而不一定是整个状态空间；然而，在随机环境和/或随机策略下，并不是所有的状态都会以相同的</
浏览 0提问于2018-10-16得票数 1
回答已采纳
我想要弄清楚政策梯度定理是什么意思。我的困惑在于强化学习中的奖励R在政策参数中是不可微的。在这种情况下，策略梯度的中心目标是如何找到奖励R的梯度--策略函数的参数--甚至是有意义的？
浏览 0提问于2019-02-26得票数 0
1回答
使用深度确定性策略梯度处理第一轮非策略培训的好方法是什么？
这是我的问题:我用和零初始化所有权重，以避免偏差。然而，当计算批评损失时，我得到了无限的MSE，因为Q_target和Q_eval之间的差别太大了。把这个剪成一个很大的值是不是个坏主意？
浏览 4提问于2017-10-05得票数 0
回答已采纳
3回答
什么是遗传算法，它相对于其他算法的实际优势是什么？它是否类似于任何常用的机器学习算法，如线性/logistic回归，神经网络，或基于树的方法，如梯度增强和随机森林？我听说它是基于其他型号的“变异”组合。这能让它更像一个合奏吗？
浏览 0提问于2016-06-29得票数 4
回答已采纳
自给代码： 我尝试过的：
只在游戏开始时玩随机动作(采取越来越贪婪的行动，遵循策略)。我本以为在游戏开始的<
浏览 1提问于2019-11-20得票数 0
我正在用随机策略实现策略梯度算法，由于“辅助”非PyTorch操作在Python中速度慢，所以我想在C++中实现该算法。在PyTorch C++ API中有实现正态分布的方法吗？
浏览 19提问于2022-04-22得票数 1
回答已采纳
Iv一直在观看斯坦福大学youtube上的RL讲座。在第9集-政策梯度2中，老师艾玛·布鲁斯基尔说，我们将学习如何通过调整(尚不确定如何)调整我们计算的策略梯度估计来制定更安全的策略梯度步骤。老师说，\theta参数化的策略的值函数的方程式如下。我在找一个解释这个方程式是干什么用的？或者为什么使用另一个策略的值函数和优势
浏览 0提问于2022-07-13得票数 0
回答已采纳
策略梯度算法的引入表明，策略算法是更好的算法，因为它直接优化策略，而不需要先计算Q。那么为什么他们在等式中使用Q呢？他们如何在不先计算Q函数的情况下直接计算整个东西？
浏览 5提问于2019-09-20得票数 1
1回答
在神经网络和深度学习中，梯度下降算法被描述为与梯度相反的方向。
链接到书中的位置。是什么阻止这一策略在当地最低限度着陆？
浏览 0提问于2022-06-19得票数 1
回答已采纳
当我谈到策略优化时，它会被引用到下面的图片，并且它被链接到DFO/进化论加上策略梯度。我想知道这样的说法是否正确:策略优化学习策略，以更高的概率做出更好的行动？另外，最大化策略优化在图片中的位置是什么？
浏览 0提问于2018-11-13得票数 1
回答已采纳
1回答
在尝试实现Episodic Semi-gradient Sarsa with神经网络作为逼近器时，我想知道如何根据当前学习到的网络权重来选择最优动作。如果动作空间是离散的，我只需计算当前状态下不同动作的估计值，就可以选择给出最大值的动作。但这似乎不是解决问题的最佳办法。此外，如果动作空间可以是连续的(例如，自动驾驶汽车的加速)，则不起作用。因此，我很想知道如何解决这个伪代码中的第10行Choose A' as a function of q(
浏览 6提问于2017-07-28得票数 6
回答已采纳
2回答
关于在TensorFlow网站上的应用，我做了一个实验()，看看不同的权重初始化对学习有什么影响。我注意到，与我在流行的中看到的情况相比，不管体重初始化如何，学习都是很好的。
不同的曲线代表w的不同值，用于初始化卷积层和完全连通层的权重。请注意，w的所有值都工作得很好，尽管0.3和1.0的性能降低了，有些值训练得更快--特别是0.03和0.1是最快的。尽管如此，图中显示了相当大范围的
浏览 1提问于2017-04-19得票数 16
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
