PINN及其“变种”

PINN

Physics-informed Neural Network，简称PINN，也就是基于物理信息的神经网络，是神经网络（NNs）的一种。与传统纯数据驱动的神经网络相比，它加入了物理方程的约束，因而能用更少的数据样本学习到更具泛化能力的模型。下图展示了神经网络中数据量大小、有无物理信息约束，大部分的PINN方法都是中间的位置，很好的中和了数据量、物理信息约束的关系。

那么物理方程是如何加入的呢？通过把物理方程的迭代前后的差值加到神经网络的损失函数里面去，让物理方程也“参与”到了训练过程。这样，神经网络在训练迭代时候优化的不仅仅是网络自己的损失函数，还有物理方程每次迭代的差，使得最后训练出来的结果就满足物理规律了。

PINN基本模型

对于正问题来说，损失函数如下

对于反问题来说，损失函数如下

“变种”PINN

初始的PINN可能不适用于某些问题，根据要求解问题的特点，我们可以选用不同的“变种”PINN来解决，下面是PINN的一些改进形式。

 Self-adaptive PINNs（APINNs）

原PINN算法在具有明显时空过渡的情况下存在稳定性和精度问题。这些“刚性”偏微分方程需要不合理的大量配置点来精确求解。人们已经认识到，需要自适应的过程来迫使神经网络准确地拟合刚性偏微分方程解中的存根生点。

自适应PINN的基本原理是在相应损耗较高的地方增加权重，这是通过训练网络同时最小化损耗和最大化权重来实现的。

原始的loss函数如下所示，

self-adaptive PINNs中的loss函数如下，

可以发现残差、边界条件、初始条件的loss函数多出一个，这些称为自适应权重，可以在训练过程中自动调整各自权重。神经网络权重和自适应权重的迭代规则如下，

可以发现训练过程就是要最小化网络权重，最大化自适应权重。

Multi-fidelity PINNs（MPINNs）

求解如下方程

 方程中的是比较容易测量的，现在要求解。有以下两种方法。

第一，现在有少量的精确值，直接进行拟合得到结果；

第二，模拟更多的近似值，然后进行拟合。也就是Multi-fidelity PINNs（多保真PINN）。

从下图可以看出Multi-fidelity PINNs会有更好的结果。

Parareal PINNs（PPINNs）

思想就是划分子域，并行处理各个子域从而提高效率。但要注意的是各个子域交接处需要特殊处理。

 示意图

Bayesian PINNs（BPINNs）

传统的PINN在训练时，如果数据有比较大的噪音，结果效果会非常差。

将前部分神经网络换为Bayesian神经网络，并且没有用优化方法，而是利用Bayesian’rule进行计算。

利用此方法后，可以发现预测结果被限制在一个不确定性的范围内，噪声不会产生太大影响，并且数据越多的地方不确定性越小，如下图

BPINNs的另一个优点是可以对拟合结果进行进一步的优化。如下图，可以发现x=0.8的地方不确定性比较大，我们可以在不确定性大的地方加入一些新点，从而更好进行拟合。

 

其他的“变种”PINN大家可以自行查阅资料进一步了解。