Policy-GNN

一、dqn_agent_pytorch.py

这个文件实现了一个基于深度Q学习的智能体DQNAgent。代码使用PyTorch来定义和训练深度神经网络，估计状态-动作值。

主要组成部分包括：

• Transition：定义了一个转移经验。
• Normalizer：一个状态标准化类，用于更新运行统计数据。
• Memory：经验回放内存，用于存储并从中采样批处理。
• DQNAgent：智能体主体，实现了Double DQN算法，包括选择动作、存储经验和更新网络等功能。
• Estimator：执行单个时间步的Q估计。
• EstimatorNetwork：定义用于估算的神经网络结构。

关键特征：

• 使用了一个epsilon贪婪策略来探索环境。
• 实现了目标网络的更新机制，帮助稳定训练。
• 包括了一个经验回放系统，用于提高样本效率。
• 使用了Torch的自动求导机制来进行梯度更新。

整体来看，这是一个标准的深度Q网络实现，适合在连续或离散环境中训练智能体。

二、train_citeseer.py

这个Python脚本 train_citeseer.py 实现了一个基于深度Q网络（DQN）的强化学习训练过程，旨在学习图神经网络（GNN）的元策略。以下是该脚本的概述：

• 目的和背景：此脚本旨在通过强化学习训练一个智能体（agent），以便在Citeseer数据集上自动学习图卷积网络（GCN）的最优超参数配置（即元策略）。

• 主要依赖和模块：

  • torch：用于使用PyTorch框架构建和训练神经网络。
  • dqn_agent_pytorch：可能是自定义模块，用于实现DQN智能体。
  • env.gcn：也是可能的定制模块，提供了一个GCN环境的接口。

• 训练设置：

  • max_timesteps：单个训练episode的最大时间步长。
  • dataset：指明训练数据集为Citeseer。
  • max_episodes：定义了最大训练episode数量。

• 环境和智能体：

  • env：创建了一个环境实例，代表GNN训练环境。
  • agent：创建了DQNAgent实例，负责学习策略。

• 训练流程：

  • 初始化智能体和环境，并设置随机种子以便复现。
  • 训练阶段：智能体在验证集上学习元策略，并在验证准确性提高时保存当前策略。
  • 测试阶段：应用训练得到的最佳元策略来训练一个新的GNN模型。

• 关键步骤：

  • agent.learn()：执行DQN的学习过程。
  • best_policy：保存最好的策略。
  • test_acc：在训练GNN时，记录测试集上的准确性。

• 输出：

  • 脚本会打印训练和测试过程的验证准确性和测试准确性。

• 脚本入口：

  • if __name__ == "__main__": 定义了脚本的执行入口点，即调用 main() 函数开始执行整个流程。

总结来说，这是一个对GNN训练过程进行强化学习的脚本，目的是找到一个能够使GNN在给定数据集上表现良好的策略。

三、train_cora.py

这个Python脚本 train_cora.py 是一个使用深度Q学习（DQN）算法训练图神经网络（GNN）元策略的示例。以下是对该脚本的概述：

1. 目的：脚本旨在通过DQN训练一个GNN的元策略，即学习在特定图数据集上如何有效地构建和训练GNN模型。

2. 环境配置：

   • 设置了确定性运算，以提供可以复现的结果。
   • 确定了实验参数，例如时间步长限制、数据集（这里是Cora）、以及训练的剧集数量。

3. 环境与代理：

   • 初始化了一个GCN环境（gcn_env），该环境定义了图神经网络的构建和训练流程，及其相应的动作和状态。
   • 实例化了一个DQNAgent，该智能体具有多层感知机（MLP）网络结构，用于策略的学习。

4. 主要流程：

   • 训练阶段：

     • 智能体在每个训练集中进行多个剧集的学习。
     • 在每个剧集，智能体通过与环境交互学习，进行指定的最大时间步长。
     • 如果在验证集上的准确度提高，则保存当前的策略。

   • 测试阶段：

     • 使用学到的最优元策略（best_policy）来训练新的GNN模型。
     • 对新的GNN模型进行批处理测试，打印出验证和测试的准确度。

5. 输出：

   • 训练元策略时打印出每个剧集的验证准确度和平均奖励。
   • 测试阶段打印出新GNN的训练和测试准确度。

简而言之，这个脚本通过DQN框架，在Cora数据集上自动学习如何选择最佳的GNN架构，最终目的是提高GNN在未知数据上的泛化能力。

四、gcn.py

图卷积网络（GCN）模型及其训练环境：

1. GCN模型（Net类）：
   这是一个使用图卷积层（GCNConv）处理图数据的神经网络类。层数（最多到max_layer）及其大小均可自定义。

2. GCN环境（gcn_env类） :
   该类将GCN模型的训练和评估封装在一个可交互的环境内，类似于强化学习。它支持以下功能：

   • 初始化数据集。
   • 设定动作空间（层数）和观察空间（图特征）。
   • 重置并逐步执行训练过程，包括基于验证集性能的奖励。
   • 支持不同策略，包括对层深的随机和训练后动作。
   • 实现了一种k跳随机训练的动作方式。

• 训练与评估

  • step方法用于在每个数据点上训练模型，并使用反向传播更新模型参数。
  • 每步的奖励基于验证准确度。
  • eval_batch和test_batch方法分别用于评估模型在验证集和测试集上的准确度。

• 策略与实验

  • 环境支持一个策略，用于确定每个训练步骤中要使用的层数。它包含了启用或禁用某些特性（如GCN基准、随机k跳、动态层选择）的选项，以便实验不同的训练策略。

• 附加特性

  • 脚本使用torch geometric来处理图数据。
  • 提供了可复现的随机种子功能。
  • 使用缓冲区及历史性能记录以支持更复杂的训练动态和基线计算。

---

下面是一个表格，描述了这些文件的功能：

程序整体功能的概括：

这个程序使用深度Q学习来自动学习图神经网络在不同数据集上的最优超参数配置，以提高模型的性能和泛化能力。

程序的核心目的：使用强化学习来优化GNN的元策略。