“华为杯”第17届中国研究生数学建模竞赛B题二等奖论文_2014年数学建模b题获奖论文

Perason相关系数可作为衡量两个特征向量之间线性相关程度的系数。设X, Y为两个变量，为变量X和Y之间的perason相关系数，也就是两个变量的协方差与两个变量的标准差之积的比值，其范围区间为[-1, 1]。其绝对值越大则两变量之间的线性相关程度越强，则两变量之间无线性相关性。使用perason相关系数可以很好的对与目标变量Y具有线性相关性的变量进行降维处理，但只能表示二者之间不存在线性相关性，不能确认其之间没有非线性相关性。故对于附件一中325个样本数据中的操作变量并不适用。

4.3 随机森林（Random Forests）

随机森林[[i]][[ii]]对于回归和分类问题有很好的效果，随机森林还有一个重要特征：它能够计算单个特征变量在整个回归或分类过程中的的重要性指标（Variable Importance Measure），本文利用随机森林的这一特性对附件一中的354个操作变量进行特征提取，筛选出重要性指标最大的10个操作变量作为新特征。

记VIM为操作变量的重要性指标，本文选择基尼指数（Gini importance）作为354个操作变量的VIM值。作者在[[iii]]中计算传感器间的Gini importance作为传感器的贡献度量，从而实现后续对传感器优化的工作。本文利用sklearn构建随机森林的所有决策树中，输入均为354个操作变量，每个决策树对各个操作变量的Gini importance 进行计算，并根据各个操作变量的Gini importance从大到小进行排列。本文取354个操作变量中，Gini importance最大的前10个作为主要特征操作变量。特征选择结果如下表 4-1所示：

表4-1

上述10个操作变量和7个原料性质（原料性质取了全部，未列出具体名称），共17个特征值作为自变量输入辛烷值损失模型的输入。

4.4 自回归滑动平均模型（ARMA）

ARMA模型曾广泛应用于时间序列的分析和预测，其中，ARMA的本质是利用输入的历史数据作为建模基础，基于其公式计算出未来时刻的最大可能发生的值。在此过程中，输入的时间序列是一组随时刻递进排列的数据元组，排除其时间序列的背景，其序列的本质可以视为一组具有隐含特性的特征向量，即一组可以唯一代表某一类特征的序列，并具有该类特征的全部属性。所以ARMA建模中的参数计算部分可以视为一种特殊的特征提取，将具备特征属性的大量数据序列，以参数向量的形式映射到欧氏空间中。基于此分析，我们尝试利用ARMA模型来捕获每个操作位的显式和隐式特征属性，每个特征都可由一个唯一的参数向量代表，且该向量具备了该特征的序列中的隐含属性，并将显式和隐式特征属性均体现在了参数向量中。另外，由于本题中的众多特征各具自身的单位，所以若要对比其与目标对象的影响大小，需要对数据进行归一化处理。而ARMA建模可以在参数计算的同时完成归一化。在建模过程中，可根据具体序列的特性定阶，而阶数则也是模型参数个数。特别的，不同序列的参数是各自唯一的。利用ARMA，可将序列映射到欧氏空间中，并可由其对应的向量唯一确定。

图神经网络是一种适用于多实体，且实体间具有一定影响的可构成网络模型的问题。为了在后续步骤中提供尽可能多的方法接口，我们在此处引入了图神经网络模型，并以图网络的形式对问题建模。本问题目的在于寻找354个可变操作位中，对RON损失影响最大的前n个操作位，其中各个操作位间具有不同程度的联系和影响，每个操作位可视为一个节点，而操作位间的影响可经过归一化后视为节点间边的权重。依据以上，可将全部样本建模为354+1（354为可操作变量，1为目标对象）个节点的完全无向加权图，共325帧。图模型网络示意图如下图 4‑1所示：

图4-1 图模型网络

利用以上特性，可将多个特征对目标对象的影响程度分析并提取主要特征的问题，转换成对一个维数为（355， 325）的图中多个节点的参数向量间影响因子的分析并寻找影响程度较大节点的问题。

在此问题中，我们将对各个节点进行图建模，并利用ARMA对各个节点进行参数向量求取，最后利用参数向量分析出各个节点对目标对象的影响程度。我们设计了算法1来实现该处细节：

算法1如下所示：

 此处，在进行ARMA建模前还需对原始数据进行判别和整定，对于ARMA建模，需要进行数据平稳化处理，目的在于剔除掉序列中的趋势项。在此问题中，各个操作位的特征向量均是按照时间序列排成的，所以可能在实际工厂的操作中，会有时间趋势隐藏在操作位的变化中。即，该处的各个序列具有时间结构，所以对于具有时间结构的序列，进行趋势项分析和剔除是合理的。

完成数据平稳性检测和处理后，即是对节点进行ARMA建模。此处我们的阶数设置为ARMA（5，0）。确定阶数，即可得到对应数目的参数，并构建参数向量。此处省略公式。

最后，根据计算结果，距离目标对象参数向量欧氏距离越近的，影响因子越小，表示对目标对象（产品的RON）影响程度越高。依照此规则，我们确定了10个操作位，各个操作位与其对应的影响因子。特征选择结果如下表 4-2所示：

表4-2

5 问题三：建立辛烷值（RON）损失预测模型

5.1 问题分析

对目标进行建模，实际上也是一种回归或者映射的过程。针对本题目所给的场景，我们需要解决的问题即为，将若干个主要特征和因素，映射至成品汽油的辛烷值RON和硫含量。由问题二要求对数据进行降维，我们筛选出与输出指标相关程度最大的若干个特征作为模型输入，不仅大大缩减了运算复杂程度，也能够很好地将输入操作变量映射至实际汽油输出指标。

数据来源：附件一提供的325个样本数据，目标输出指标为：产品辛烷值（RON）和产品硫含量（μg/g）。输入参数为问题二得出的10个操作变量，加上样本的7个原料性质共17个。

问题要求：使用附件一中所提供的325个样本数据建立辛烷值（RON）损失预测模型，并对模型进行验证。

目标：利用附件一中样本的60%作为训练集对本文的模型进行训练，总样本的20%作为测试集，总样本的20%作为验证集，进行模型正确性验证和模型性能评估。

5.2 模型简析

问题三要求根据附件一所给数据集建立辛烷值（RON）损失预测模型，目前常用的预测模型建模方法主要有以下几类：

1. 回归预测法。回归分析可以评估两个或多个变量之间的关系，常用的包括线性回归（Linear Regression），多项式回归[[i]]（Polynomial Regression），岭回归（Ridge Regression）等等。可以有效解决具有线性相关性的问题，可以揭示若干个自变量对某个因变量的影响程度大小。
2. 卡尔曼滤波[[ii]]。卡尔曼滤波是一种基于隐马尔可夫模型的最优线性估计算法，以最小均方误差作为估计的最佳准则，该算法模型主要操作可以分为两阶段，分别为预测和更新。在预测阶段，滤波器使用上一状态的估计，做出对当前状态的估计。继而在更新阶段，利用对当前状态的观测值优化在预测阶段获得的预测值，以获得一个更精确的新估计值。
3. 组合预测模型。该类方法是用多种预测方法的组合，解决同一个问题。这类方法的优点在于，其可以利用各种预测方法所提供的信息，综合多种预测方法提供的信息，从而提高对目标问题的预测的精准度。

BP神经网络[[iii]]。BP神经网络是一种以误差逆向传播进行算法训练的多层前馈神经网络。其主要优点在于：非线性的映射能力、泛化能力和容错能力。该类方法可以储存大量输入与输出的映射关系，而无需给出具体的数学方程。在存在大量输入输出数据的时候，经过训练可以拟合出数据输入输出的非线性关系。故在处理这类复杂问题时，BP神经网络具有很大的优势。

5.3 模型结构

本文用BP（Back Propagation）神经网络对目标模型进行建模，BP网络为一种以误差逆向传播进行算法训练的多层前馈神经网络。根据问题二选择的主要特征数据：

第一层为输入层，由问题二对数据筛选的结果，输入层包括17个神经元，和一个截距项b1。其中前7个神经元的输入为原料性质相关参数，后10个神经元的输入为上文中所提及的10个操作变量。

第二层为隐含层，包括9个神经元，和一个截距项b2，并以输入层的每个神经元的输出作为输入。

第三层为输出层，根据问题三对建立辛烷值（RON）损失预测模型的要求，包含两个神经元，其输入均为隐含层9个神经元的输出，该层的输出分别为产品辛烷值（RNO）和产品硫含量（μg/g）。

由于BP神经网络每层的输出都是上一层输入的线性函数，若不使用激活函数，不管神经网络有多少层结构，其最终的输出都是输入的线性组合，故使用激活函数给BP神经网络引入非线性因素。本文设计的辛烷值（RON）损失预测模型的激活函数为ReLU[[i]]（Rectified Linear Units）。

RELU函数作为激活函数有以下若干优点：

· 计算速度快：使用sigmoid函数计算反向传播求误差梯度时，计算量大，而使用ReLU函数的计算量要小很多，故在对神经网络进行训练时速度相对较快。

·应对梯度消失问题：对于一些深层的神经网络，采用sigmoid函数容易出现梯度小的问题，从而无法对网络完成训练。使用ReLU函数作为激活函数，由于其导数为1，计算梯度时不会导致梯度减小。

·缓解过拟合问题：使用ReLU函数作为激活函数，会使一部分神经元的输出为0，可以为整个网络引入稀疏性，减少网络中各个参数之间的相关性，缓解了过拟合现象的出现。

综上所述，我们对本BP神经网络的相关参数设置如下表 5-1所示：

表5-1 BP网络相关参数设置

我们将在下文中分别将随机森林和ARMA模型对操作变量进行选择的结果，作为BP神经网络的输入，并对其进行相关分析。

5.4 损失函数

本文对模型损失函数的设置为总误差(square error)，其值为误差平方和的1/2。针对问题三的模型建立过程中，本文中的BP神经网络是一种以误差逆向传播进行算法训练的多层前馈神经网络，采用梯度下降法对每一层神经元的参数进行更新修正。

5.5 模型评估

本小节分别利用问题二中两种特征选择方法（随机森林和ARMA）的输出结果，作为预测模型的输入，并对这两种方案进行整体模型评估对比。表1为两种特征选择方法的结果分别作为模型输入，其输出硫含量和辛烷值（RON）的指标对比。

此处对于原始数据集的划分为：训练集60%、验证集20%和测试集20%。以下展示实验结果为测试结果。由于原始数据集是按照时间序列排序的，为了排除工厂生产中存在阶段性的特性迟滞，防止引起局部过拟合，我们选择将数据集样本的排序顺序打乱，再进行划分。

产品辛烷值预测的准确率分别为：99.6%（随机森林+BP）、99.2%（ARMA+BP）

产品硫含量预测的准确率分别为：70.8%（随机森林+BP）、82.9%（ARMA+BP）

预测误差如下表 5-2所示：

表5-2 预测误差

6 问题四：主要变量操作方案的优化

6.1 问题分析

数据来源：附件一中全部样本数据，其中原料性质、待生吸附剂、再生吸附剂的性质保持不变。

问题要求：在保证产品硫含量不大于5μg/g的前提下，降低样本辛烷值RON损失大于30%，并得出对应的各个操作变量的优化结果。

目标：降低辛烷值RON损失值50%，并输出各个操作变量的优化结果。

本问题要求利用问题三中训练所得模型进行参数优化。整体来看，全部所选主要变量与目标变量间为非线性关系，对于非线性变量组间的多目标优化问题，遗传算法及其相关变种是应用较广泛的优化算法。

但对于本问题中的数据情况和可调步长要求，基于上述的问题分析，我们认为，也可用更简单、更符合题目要求、且计算资源需求量较小的方法来实现优化。

6.2 优化方案

根据题目要求，要以各个样本的当前样本数据集为基础，以操作变量信息作为操作标准，针对模型输出（产品硫含量、产品辛烷值）进行操作位变量优化。为了更贴近现实的工业生产，我们选取样本数据集的操作位参数为初始参数，并根据操作变量信息确定每个操作位的数值调整步长，因此，每个操作变量全部符合要求的可调值均为确定值，且均可枚举。另外，在问题二中，我们寻找出的变量均为对目标变量重要性较高的。且按照重要性由大到小，将全部可调变量排序。

依据以上特性，我们选择步进参数优化的方法，即从重要性最高的可调操作变量开始，逐个组成测试样本，遍历全部枚举对象，寻找最优解组合。此处需要说明，并不是遍历每个变量的全部取值间的排列组合，而是从重要性最高的变量开始，基于控制变量的思想，依次确定最优取值。此方法的优点在于计算量少，网络结构简单。由于所选的主要变量在实际的生产中并不是与其他变量相互独立的，所以在优化过程中应当一定程度上考虑变量间的相互影响，在此处可利用图神经网络中的邻接矩阵作为滤波器，输入特征矩阵来进行优化，但由于时间和计算资源有限，本方案基于控制变量的思想选择了更利于实现的逐个变量调整的方法。虽然无法最大程度上模拟实际生产，但由于我们的参数调整是从重要性最强的参量开始，且基于显示数据集进行数值调整，可以一定程度上避免可变参量间的相关影响，且相对于参量的完全随机初始化，更贴近生产中的实际操作。

1. 依据问题二中的方法，确定输入的可变主要操作变量和不可变原料性质变量。提取优化参数的初始值，并按照变量操作信息的要求枚举出全部的可调参数值；
2. 将全部参数组合依次代入模型，求出输出：产品硫含量、产品RON；
3. 利用生成的产品RON和作为输入不可变量之一的原材料RON进行RON损失分析，通过比对筛选得出最优操作位参数组合。

6.3 优化结果及分析

结合问题五要求，先以编号为133的样本为例，描述优化结果。所选取的操作位名称可见问题二中所列结果。优化目标是维持产品硫含量不大于5μg/g，并使产品RON的损失降幅超过30%。对于133号样本，数据集中给出初始值的RON损失是1.3，可优化降幅空间较大，根据题目要求，只要优化后的可变参量可使RON损失小于0.9，即符合要求。

在前面的问题中，我们使用了两种方法进行特征提取，产生的结果也是不同的，所以此处也分别依照两组结果进行优化。在我们的两种方法中，损失降幅趋势均是呈非线性增长的，最终趋于平稳，RON损失均维持在0.6左右，特征提取使用ARMA+BP方法的优化结果比随机森林+BP的高2%。相对于原始数据，损失降幅均维持在60%左右，ARMA+BP的提取特征优化结果约为65.88%，随机森林+BP的提取特征优化结果约为63.21%。具体的图表将在问题五中进行可视化。并且，将会在问题五中进行更详细的解释。

从此实验结果来看，我们的方法可以达到题目要求的降幅大于30%的标准。

我们也针对全部样本进行了优化实验，由于325个样本中，部分样本的RON损失已经小于1，可优化空间较小，导致了整体的平均优化结果有所降低。在维持产品硫含量低于5μg/g的基础上，最后可实现的最优的RON损失降幅为53.42%（随机森林+BP）和54.01%（ARMA+BP）。

7 模型的可视化展示（略）

8 模型评价

8.1 模型优点

1. 特征选择：使用RF对样本操作变量进行特征筛选，其本质是计算不同操作变量变化时对输出造成影响的大小，对输出影响大的操作变量为该问题模型的主要特征。利用随机森林进行特征选择得出的结果更具代表性，与目标输出指标（产品硫含量和产品辛烷值RON）更具相关性。将用于时间序列分析的ARMA对样本操作变量进行特征筛选是一个新的尝试，本文讨论并用实验证明了方法的可行性与合理性，利用ARMA模型来捕获每个操作位的显式和隐式特征属性，并将显式和隐式特征属性均体现在了参数向量中。故在操作变量筛选中，可以考虑到变量更多的特征。

综合上述两种特征选择方法能够从不同角度对主要操作变量进行调节操作，从而对产品辛烷值含量进行优化。最终的性能显示我们的两个方法均达到题目要求。

1. 模型建立：本文根据样本数据特点选择BP神经网络作为预测模型的网络构架，其具有计算速度快，便于理解和实现等特点，其非线性的映射能力、泛化能力和容错能力强，在处理该类型样本数据中有很大优势。
2. 参数优化：优化方法便利，直接利用问题三的模型，无需重构，减小了计算量和工作量，同时保证了一定的合理性和可行性，相比对初始值进行较复杂处理的其他算法更贴近工厂的实际生产情况。并可以达到很好的优化效果。

8.2 模型确定

 

1. 特征选择：有限的方法限制了方法的对比与交叉验证。由于时间限制，我们只完成了图结构的建模，未能对数据进行图神经网络的训练，所以在特征降维阶段未能利用更有效的图分类方法进行特征提取，无法更全面的考虑节点的隐含特征，会导致提取的特征与真正的主要变量存在差异。
2. 模型建立：该模型对主要操作变量之外的变量进行了理想化处理，这些变量在实际过程中可能存在一些不可忽视的波动，或者是与主要操作变量变化相关性强的影响等，这些可能会对模型的训练产生较大影响。为了应对这些因素，还需要进行更加细致的讨论。      另外，预测的结果在某些相对其他节点波动较大的节点存在一定程度的过拟合问题。需要进一步利用样本数据特性，或利用更大数量的数据集来进行训练。基于已完成的图结构建模，应当在此处利用更契合多节点非线性数据的图学习方法训练模型（滤波器）[[i]]。
3. 参数优化：利用辛烷值损失预测模型对主要操作方案的优化，其过程难以真正模拟工业加工过程，仍需要在实际汽油精制过程中进行对应操作验证。部分参数的部分取值产生了输出异常，这应当是问题三中训练结果的泛化能力不足导致。针对优化，应当基于现有要求，利用神经网络重构模型，在第三问的结果基础上，增加更有效便捷的操作位参数调整训练。