??由于DQN学习过程需要强大的计算能力和大量的训练过程为此，DeeoMind团队提出了一种新的算法称为异步优势行为者评论家(A)算法，该算法要优于其他深度强化学习算法因為其需要较少的计算能力和训练时间。A的主要思想是通过多个智能体并行学习并整合其所有经验

??A网络还可以与其他算法产生更好的精度，在连续和离散行为空间中均有很好的效果该网络是使用多个智能，且每个智能体在实际环境副本中以不同的探索策略进行并行学***然后，将这些智能体所获得的经验整合在一起构成全局智能体全局智能体也称为主网络或全局网络，而其他智能体称为工人

---

??茬继续之前，首先分析什么是A其中3个A有什么含义？

?? 在A中第1个A是异步，表明了它是如何工作的 并不是像在DQN中只有一个智能体来学***最优策略，在此有多个智能体与环境交互由于同时有多个智能体与环境交互，因此需对每个智能体提供环境副本以便每个智能体都能与其各自的环境副本进行交互。因此这些多个智能体称为工人智能体，且有一个称为全局网络的独立智能体、所有智能体均向其汇报这种全局网络将经验整合在一起。

?? 第2个A是指优势 在讨论DQN的对抗网络架构时已了解了什么是优势函数。优势函数可定义为Q函数与值函数之差已知Q函数是确定某一状态下行为的好坏程度，值函数是确定所处状态的好坏程度那么，直观地考虑Q函数与值函数之差意味着什么呢其实表明了与其他所有行为相比，智能体在状态s下执行动作a的好坏程度