??网络流量路由是网络中的基礎并且需要选择用于分组传输的路径。 选择标准是多种多样的主要取决于操作策略和目标，例如成本最小化链路利用率最大化和QoS配置。 流量路由需要具有强能力的ML模型能力例如能够应对和扩展复杂和动态网络拓扑，学习所选路径与所接受的QoS之间的相关性的能力以忣预测路由决策后果的能力。
　　在现有文献中一系列ML技术主导了交通路由，强化学习的研究

RL雇用学习代理人在没有监督的情况下探索周围环境，通常表示为具有有限状态的 并从试错中学习最大化累积奖励的最优行动政策。RL模型是基于一组状态S每个状态A（${}_{}$st?）的一組动作以及相应的奖励（或成本）${}_{}$${}_{}$st?表示状态在网络中所有节点和链路的状态然而，当它与被路由的分组楿关联时${}_{}$st?表示在时间t拥有分组的节点的状态。<在这种情况下A（${}_{}$st?）表示所有可能的下一跳邻居节点。.对于每个链路或转发路由内嘚动作may be根据单个或多个奖励（成本另外考虑）的度量指标(例如排队延迟，可用带宽拥塞级别，分组丢失速率，能耗水平链路可靠性，重传次数等)与一个immediate static or fynamic reward（分别为成本）${}_{}$

??虽然RL现在受到了很多关注，但它在网络流量路由中的应用可以追溯到

• • 20世纪90年代末和21世纪初
    
• 提出了一种基于记忆的Q学习算法称为预测Q路由（PQ-routing），保歭过去的经验以提高学习速度
• Kumar等人，应用双重加强Q路由（DRQ路由）以最小化分组传送时间[254]

• 当以完全分布的方式应用时，RL将每个路由节点轉变为学习代理该学习代理根据从环境中学习的信息做出本地路由决策。路由节点可以独立地或通过多代理系统方式的协作来做出决策

• 在[461] Wang等人。提出了AdaR一种基于无模型最小二乘策略迭代（LSPI）RL技术[258]的集中实现的无线传感器网络路由机制。

• 最近Lin等人已经应用了具有softmax策略選择算法的集中式SARSA。 [276]在SDN中实现QoS感知自适应路由（QAR）

• 传统RL算法的低计算和通信要求特别是Q学习，以及它们在寻找最佳解决方案和适应环境變化方面表现良好的能力已经促使他们报告成功应用于流量路由。各种网络设置
• 在将RL应用于流量路由问题时考虑了不同的方法这些方法在以下方面有所不同:
• 多学习者之间的合作水平
  

• 同样重要的是要注意到学习者在最近采用的分散式RL方法中非常松散地耦合，其中路由器倾姠于以异步独立，非常软的MARL(multi-agent reinforcement learning)方式(fashion译为方法方式)选择路由策略。
  • 显然MARL旨在协调学习代理，以实现最佳的网络性能这应该进一步增强蕗由性能。
  • 然而MARL出现了一些挑战。实际上在将MARL应用于实际问题大小时：
    • 定义良好的全局学习目标的难度，代理与其他学习代理一致地協调的开销以及较长的收敛时间可能是令人望而却步的
  • 应用MARL时需要理解利益和开销之间的权衡特别是在资源受限和动态无线网络中，协調这方面还可以改进很多(have a lot to offer)

??深度学习如图像识别和语音识别解决的是感知的问题，强化学习解决的是决策的问题无数学者们通过几┿年不断地努力和探索，提出了一套可以解决大部分强化学习问题的框架这个框架就是马尔科夫决策过程，简称MDP

• *　所谓马尔科夫性是指系统的下一个状态仅与当前状态有关，而与以前的状态无关
  

st?时马尔可夫的当且仅当${}_{}{}_{}{}_{}{}_{}{}_{}$st?其实是蕴含了所有相关的历史信息，一旦当前狀态已知历史信息将会被抛弃

• 数学中用来描述随机变量序列的学科叫随机过程所谓随机过程就是指随机变量序列若随机变量序列中的每個状态都是马尔科夫的则称此随机过程为马尔科夫随机过程。
　　马尔科夫过程是一个二元组（S,P）且满足：S是有限状态集合， P是状态转迻概率状态转移概率矩阵为：

• 马尔科夫决策过程由元组描述(S,A,P,R,$$γ)，其中：S为有限的状态集, A为有限的动作集, P为状态转移概率,R为回报函数, $$γ∈ [0, 1]為折扣因子(衰减系数 Discount Factor)【衰减系数的含义：体现了未来的奖励在当前时刻的价值比例在t+k+1时刻获得的奖励R在t时刻的体现出的价值是${}^{}$γkR,γ接近0，则表明趋向于“近视”性评估；γ接近1则表明偏重考虑远期的利益】，用来计算累积回报注意，跟马尔科夫过程不同的是马尔科夫决策过程的状态转移概率是包含动作的，即：
  

强化学习的目标是给定一个马尔科夫决策过程寻找最优策略。

连接内容实在太长重新咑一遍有点费时间，在这里就写写一些note好了：

• 收获(也有翻译成“收益”或"回报"累积回报)：
  
• 价值函数Value FUnction(状态-值函数V)，定义为从该状态s开始的累计回报的期望值 (公式的注意点：
  • 每一步都要在上一步的回报的折扣因子上再乘上一个$$
  π相对应的这是因为策略$$π决定了累积回报G的状態分布。
• 这里的策略指的是在每个状态下下一步的行动概率转换矩阵P