干扰管理学习日志9-------强化学习_联邦学习_功率分配_联邦学习和强化学习

---

本文是对论文《Transmit Power Control for Indoor Small Cells: A Method Based on Federated Reinforcement Learning》的分析，第一作者为 Peizheng Li

一、文章概述

本篇文章作者通过强化、联邦学习方法，联合优化小区功率分配，以达到更高的通信速率和更强的泛化性能。具体而言，对于不同场景下的功率分配任务，作者首先使用强化学习方法改进功率分配方案，提升信道容量。之后，又通过联邦学习将个模型参数进行融合，以达到更好的泛化性能，使得全局模型在不同场景中都有着较为优异的收敛速度。

二、系统环境

系统环境如上图所示，是布局各不相同的室内微小区，基站分配各载波频段的功率，实时计算当前信道容量大小。

三、理论模型

1.系统目标

系统目标在于最大信道容量，其中是可选功率值组成的集合。

2.公式推导

信道容量C由香农公式给出(信噪比考虑干扰)

其中SINR(信号加干扰噪声比)如上式定义，和代表发送和接受天线增益，为发射功率。代表基站m和用户n之间的路径损耗loss，以距离为变量。代表的是热噪声，为其他基站对用户的干扰。

四、应用算法

1.顶层设计

整个系统如上图运行，每一个房间中，微基站收集信道状态信息，输出不同载波频段的功率，并将历史数据保存用于强化学习模型的训练。每隔一定周期，全局基站收集各微基站强化学习的模型，对模型参数进行加权平均，得到更具有泛化性的参数并下发，如此反复。

2.强化学习

(1)输入状态

包括在t时刻基站的发射功率，连接用户数以及各频段信道状态。

(2)输出动作

输出动作为t时刻各个载波频段的发射功率值。

(3)环境反馈

环境反馈为系统总吞吐量的变化。

3.联邦学习

联邦学习使用常规平均算法。

4.伪代码

五、性能表征

1.泛化性

相较于传统强化学习模型，联邦学习模型在新的环境中学习速率更高。