摘要：近年来,无线数据流量急剧增加,导致当前的无线网络基础设施难以处理如此巨大的数据,特别是在高峰通信期间。...近年来,无线数据流量急剧增加,导致当前的无线网络基础设施难以处理如此巨大的数据,特别是在高峰通信期间。无线缓存技术被提出来减缓流量负载,其基本思想是在非高峰时间将最受欢迎的文件预先缓存到无线节点中。以缓存辅助蜂窝网络为例,如果请求的文件预先存储在小基站(Small Base Station,SBS)中,SBS可以直接将文件发送给用户,从而减少回程链路负载。对于无线缓存技术,最为重要的问题是如何设计缓存策略,即预先存储哪些文件到哪些无线节点。关于这个问题,我们的主要研究如下。首先,我们研究无线缓存技术的产生背景、常见缓存策略、文件流行度设置和性能评估标准,接着研究单智能体和多智能体强化学习的基础概念和经典算法。其次,我们研究异构蜂窝网中的概率缓存放置问题。该异构网络中存在几种类型的基站,并且每种类型的基站具有不同的存储容量。我们通过引入平均服务成功概率来衡量网络传输性能。根据随机几何、齐普夫公式和信噪比覆盖模型,我们基于缓存命中概率和成功传输概率得到平均服务成功概率的表达式。然后通过优化概率缓存放置问题来最大化系统中的平均服务成功概率。由于这个优化问题是非凸的,我们转而使用启发式算法来解决缓存放置问题。仿真结果表明,所提出的策略优于传统的最流行内容(Most Popular Content,MPC)缓存策略。最后,我们研究缓存辅助网络中基于多智能体强化学习的分布式缓存策略,该网络中的所有无线节点通过协作优化分布式缓存策略,来最大化以平均缓存命中概率为衡量标准的网络性能。具体来说,我们首先将分布式缓存策略问题建模为完全合作的重复博弈,然后分析如何提高多智能体强化学习框架下的平均缓存命中概率。进一步的,我们提出了基于频率最大Q值(Frequency Maximum Q-value,FMQ)的缓存策略和基于分布式Q学习(Distributed Q-learning,DQ)的缓存策略以优化分布式缓存策略。仿真结果表明,所提出的基于FMQ的策略显着提高了平均缓存命中概率,而所提出的基于DQ的策略可以收敛到最优策略。此外,所提出的基于FMQ和基于DQ的策略不仅优于基于Q-learning的策略,而且优于概率缓存放置和MPC策略。更多还原显示全部
