学生成绩预测和学业表现预警（EERNNM，GHANN-EC，HHA）_深度学习 学业预警模型

首先介绍下这两个任务的背景：

• 学生成绩预测：通过拿到学生的历史数据，如成绩，社交，其他行为等，预测学生的GPA，某课程的成绩，或者毕业后的发展预测等等。
• 学生学业预警：同上也是通过各种收集到数据，预测学生的状态是否处于异常，该任务的特点是如何做到及时的反馈。

其实预测和预警基本上可以被归类为是回归或者分类任务。然后看如何充分的利用已有信息，对学生的行为进行理解。

接下来介绍几篇相关的前沿文章。

Exercise-Enhanced Sequential Modeling for Student Performance Prediction
来自AAAI18的文章，任务主要是利用学生的历史练习记录，去预测学生在未来的测试中的表现(例如，分数）。但作者认为现有方法对每个作业/测试的处理都是用手工标记的知识概念表示，而在练习的文本描述中包含的更丰富的信息仍未得到充分开发。

所以作者们提出了一种新的锻炼增强递归神经网络(EERNN)框架，通过充分利用学生的练习记录和每次练习的文本来预测学生的表现。具体来说，为了建模学生的练习过程，将首先设计了一个双向的LSTM，从其文本描述中学习每个练习的表示，然后用LSTM跟踪其连续练习过程中的学生状态（即知识状态）。模型架构如下，有两种建模连续行为的方法，马尔科夫和带上注意力：

通过这种建模方法可以比较好的挖掘连续行为。

Elective future: The influence factor mining of students’ graduation development based on hierarchical attention neural network model with graph
来自APIN2020的文章，主要做的通过学生成绩预测学生的毕业后发展，如出国，深造，考公等等。同时这篇论，作者主要想探讨毕业发展的新思路来自于：选修课。原因是大学一般都会满足学生的个性化教育，并提供大量的选修课供他们选择。然而由于学生的精力有限，他们经常选择自己的爱好的课程，因此选修课可以成为预测毕业发展的强信号。例如，一个计划在毕业后出国留学的学生很可能会参加外国文化的选修课、语言课程等。

但建模的困难在于：

• 1必修课程比较稠密，而选修课很稀疏，存在很难学习的问题。
• 2课程之间不独立，比如一些基础课程和高级课程，所以学习课程间的关系也很重要。
• 3如何统一选修和必修。

因此作者提出的模型主要使用图方法来学习课程之间的关系，同时用注意力机制来平衡选修课和必修课，模型图如下：

一共有如下几层：

• 输入层包括选修课，必修课，和课程的初始权重（如学分）。
• 嵌入层使用GCN来建模课程间的关系。具体的做法是计算相似度，然后卡阈值连边之后做传播。
• 层次注意力层使用多个注意力来综合信息。
• 预测层得到分类结果。

HHA: An Attentive Prediction Model for Academic Abnormality
也是来自2020的论文，任务是做学业预警，也是拿到学生的数据，包括选修课，然后预测该学生的状态，可以视为是二分类：safe or out。建模的主要困难在于

• 现有的模型无法处理未记录/缺失的数据。在数据收集中，很多学生的数据都不是完整的，更何况稀疏的选修课。而以前的研究人员经常丢弃，通过零来填充等等。但这显然是缺乏探索的，因为学生没有成绩的课程可能是他所擅长的，因此未记录/缺失的数据并不表明异常，这可能意味着未被探索的知识。
• 课程往往以组合的形式出现。这证明了课程不是独立的，而且存在着复杂的关系。有些基础课程对选修课的影响比选修课更大，课程组合是对课程信息的重要补充。

因此作者模型主要也是两个贡献：1补充数据 2按组合挖掘课程关系。模型图如下图：

主要分为三层：

• 第一层是行为模拟层。主要是用了GAN的思想来填补缺失的数据（其实使用降噪自编码器应该也是可以的）。
• 第二层是高阶卷积层。使用了多个组合（即不同大小的卷积）来研究课程间的关系，并且在高阶注意力的模式下加强信息融合。
• 最后仍然是预测/分类模型了。

基于图卷积网络嵌入社交关系的毕业去向预测
更新一篇中文核心2021的文章，主要思想是探究学生间的社交关系。作者认为人是群聚型社交生物，一切的生产与活动都会通过人和人之间的交互完成。因此对于面临毕业的大四学生，他们的毕业去向决策通常会受到多维社交圈内其他学生的影响，如某些大学生会受到寝室社交圈的影响而选择一起考研或考公务员，而某些大学生则会受到其他好友影响而选择创业或者实习。

作者们发现发现学生由聚集产生的社交关系主要由两大成分组成：住校与选修课。这两大聚集模式分别代表着社交关系的共性和个性，即：一种以学生按照指定寝室长时间集合在同一空间而形成的社交圈，往往以共性聚集的形式存在。另一种将不同社交圈内的学生共同选择多门相同的选修课以个性聚集存在。

不过挖掘学生社交关系存在以下难点：

• a) 社交关系丰富且复杂，其难以准确定义和理解，如何合理定义社交关系很重要。
• b) 社交关系并不平等，存在侧重性，且因人而异，如何突出学生毕业去向选择的关键因子十分关键。

因此作者们提出一种新的基于社交图嵌入的自注意力模型SGE-SANN。模型如如下，分为四个部分：

• 输入层：最重要的是利用新收集的数据完成对，社交共性图+社交个性图 的构建。
• 图嵌入层：然后执行图卷积挖掘共性和个性特征。
• 自注意力层：则是为了解决社交关系的不平等问题。
• 多层神经网络：最后完成毕业去向的预测。

Social-path embedding-based transformer for graduation development prediction
继续补一篇2022年刊出的期刊文章，这篇文章在前一篇核心的基础上继续深入研究社交，即Social-path。此时的社交关系/圈不再是固定的，而是可以动态学习和调整的，更加符合实际情况。

模型架构如上图，基本和上篇文章一致，最不一样的是第二个模块Social-path Selection Layer。在学习完动态的社交规律后，使用Transformer进行特征嵌入学习。其中社交选择层的模块细节图如下图：

该层的作用是在社交关系网络图中寻找社交路径。可以看到上图从共性图和个性图两个分支出发，研究了异质图节点的不同meta-path可能性，最后为每个节点都学习到合理的表示。