DeepMind提出关系性深度强化学习：星际争霸2任务中获得最优水平

qiaoxiok

在星际争霸 II 学习环境中，DeepMind 的智能体在六个小游戏中达到了当前最优水平，且在四个游戏中的表现超越了大师级人类玩家。这种新型强化学习可以通过结构化感知和关系推理提高常规方法的效率、泛化能力和可解释性。

学习良好的内部表征以告知智能体策略的能力在一定程度上驱动了深度强化学习（RL）[1, 2, 3] 的最新进展。不幸的是，深度学习模型仍然具有重大缺陷，如采样效率低以及往往不能泛化至任务中看似微小的变化 [4, 5, 6, 7]。这些缺陷表明，具有较强能力的深度强化学习模型往往对其所训练的大量数据过度拟合，因此无法理解它们试图解决的问题的抽象性、可解释性和可概括性。

在这里，我们通过利用 20 多年前 RL 文献中的见解在关系 RL（RRL，[ 8，9 )）下来改进深度 RL 体系结构。RRL 主张使用关系状态（和动作）空间和策略表征，将关系学习（或归纳逻辑编程）的泛化能力与强化学习相结合。我们提出了一种将这些优势和深度学习所提供的学习能力相结合的方法。这种方法提倡学习和重复使用的以实体和关系为中心的函数 [10、11、12] 来隐含地推理 [13] 的关系表征。