亲宝软件园·资讯

展开

【深度强化学习】Curriculum-guided Hindsight Experience Replay读后感

东瑜 人气:0
[TOC] ## 导读 看任何一个领域的文章,一定要看第一手资料。学习他们的思考方式,论述逻辑,得出一点自己的感悟。因此,通过阅读paper,来提升自己对于这个领域的感性和理性认识。如少年时,玩war3电子竞技一般。练习一个种族,找寻突破点。 文章原文:https://ai.tencent.com/ailab/zh/paperhttps://img.qb5200.com/download-x/detial?id=329 看到这篇文章的title是:`Curriculum-guided Hindsight Experience Replay`。可能一下会犯晕,但是 要想到一点,万事万物是"简易"的,是一步步由简单到复杂的。"天下难事必作于易"。 * `Curriculum-guided` 是某些前辈提出来了。paper中也有如下的引用: ` curriculum learning [Bengio et al., 2009] and its applications [Khanet al., 2011, Basu and Christensen, 2013, Spitkovsky et al., 2009] `他是借鉴人类的思想方式。如果有一个精心设计的课程可以 显著提高强化学习的质量和效率。 * `Hindsight Experience Replay` 事后经验复盘(个人翻译,只为个人理解,不权威)。就像人类一样,从失败的经历中得到教训和经验,从而去修正自己 的行为。这个概念也是有前辈已经提出来的,引用`HER [Andrychowicz et al., 2017]` 作者,是把这两种思路,进行了融合。然后加入了一些参数因子`goal-proximity`和`diversity-based curiosity` ,这个可以说是作者思考的核心要点。采取像人类一般的思考策略(human-like learning strategy),对一件事物,你前期对于它的兴趣越大,那么你接近目标的可能性概率也就越高。通过这些思考,作者提出了`Curriculum-guided HER (CHER)` 。 以上是个人分析,但我觉得事物的发展,是通过思考而来的。如果我们也可以站在"巨人的肩膀之上",把A和B的思路合为一体,再加一点点C因素。构成自己的D理论。我们也可能写出顶会的paper。 ## 目录 继续分析,paper的目录结构: * Abstract * Introduction * Related Work * Methodology * Experiments * Conclusion Acknowledgements References 可以看到,一篇paper的目录结构还是很简单易懂的。介绍一些前人的工作和算法,他们有哪些事情是可以值得借鉴的;他们有哪些是不足的;我(这里不是指我,而是作者)可以做哪些工作取弥补他们。然后我提出来的算法,在某个领域的应用比前辈们有哪些优势。通过基准测试的数据证明我的有效性。最后,得出一定的结论。 全文可以看出,作者任何一句话都不是顺便说的,没有那么多主观论断,都是有客观的引用。循序渐进,最终提出自己的思路和想法。 因此,我(这里指我)可以学到的是什么?他的逻辑思维,思考逻辑和运用的一些方法。如果我要去写的话,也得找出这些前辈们的算法中的优势和不足在哪里。 ## 正文 我不是翻译的,而是,喜欢个人分析。转为自己的思路。如果想看原文请点击最上方。 #### Abstract【摘要】 提出现象:在off-policy的深入强化学习框架之下,很难在稀疏奖励(sparse matrix)之下获得有效和成功的经验。 那怎么办呢? 前人提出来了HER ,能解决一部分。但是无法把所有的失败案例做有效的复盘和统一整理。 这篇paper,提出的解决思路: 1)利用好奇心多样性驱动,来自适应性的选择这些失败的经验进行复盘。 2)选择想人类一般的思考策略,在前期阶段强制投入过多的好奇心,这样后期阶段达到`goal-proximity`的可能性就越大。 而这个算法作者取名为:`CHER`,并在具有挑战性的机器人环境中证明它这种算法有一定的提升性。 >什么是`off-policy`?on-policy:相当于,古时候的皇帝,想了解百姓生活,要眼见为实。所以微服私访,自己去调查民情。而off-policy:就是皇帝自己待在宫中,派百官去了解百姓的民情,然后通过百官的论述做决策。这里就有百官是否可靠的问题了,和RL算法中提到的`agent`有异曲同工之妙。 #### Introduction【介绍】 1. Deep reinforcement Learning(RL)是一个有效的框架,可以解决很多复杂的控制问题。在模拟(simulated)领域中,它可以驱动代理(这里可以比喻为皇帝的百官)去执行各种各样的有挑战性的任务。引用来自:[Mnih et al., 2015, Lillicrap et al., 2015, Duan et al., 2016].(其中括弧中的话,是我说的。主要是为了让人们理解) 2. 为了训练可靠的代理(判断百官是否忠诚),就要设立奖惩制度(design a reward)。引用来自: [Ng et al., 1999].通过这些代理密集型的反馈(百官们积极反映社会问题),有效指导了算法的决策(皇帝做决策的时候,更符合民情)。因此,在特定环境下特定场景内效果还是不错滴。 ------------------------先写到这里,九层之台始于垒土,慢慢来,后面更新----------------------------------

加载全部内容

相关教程
猜你喜欢
用户评论