摘要
个性化预测医学需要对患者疾病和护理过程进行建模，该过程本身具有长期的时间依赖性。储存在电子医疗记录中的医疗观察是零散的，不规则的。我们介绍DeepCare（一种端到端的深层动态神经网络），可以读取医疗记录，存储先前的疾病史，推测目前的疾病状态，并预测未来的医疗结果。在数据级别，DeepCare通过历史记录将护理事件作为向量，对患者健康状态轨迹建模。建立在LSTM上，DeepCare介绍了通过调节内存的获取和整合来处理不定期定时事件的方法。 DeepCare还明确地建立了改变疾病过程并塑造未来医疗风险的医疗干预措施。随着健康状态的上升，历史的和预测的健康状态通过多尺度时间池进行聚合，然后通过估计未来结果的神经网络。我们展示了DeepCare对疾病进展的建模，干预推荐和未来风险预测的疗效。在两个重要的社会经济负担的群体 - 糖尿病和精神病 ，此结果表明：提高了预测精度。
1.介绍
当病人进入医院时，有两个常见问题：“发生了什么事情”和“接下来会发生什么”？第一个问题是关于疾病诊断，第二个问题是关于预测未来的医疗风险。 虽然有各种各样的诊断工具来回答第一个问题，但较少的技术解决了第二个问题。 传统上，预兆的问题可能由经验丰富的临床医生解决，或者通过具有明确危险因素的临床预测模型。 但是这两种方法都是昂贵的，可用性受到限制。现代电子医疗记录（EMR）快速、便宜， EMR包含医院就医，诊断，干预，实验室检查和临床评估的历史。 EMR的广泛应用导致最近的研究从这个丰富的数据源构建预测模型。
有效的建模必须解决四个公开的挑战：（i）长期依靠医疗保健：未来的疾病和护理可能严重依赖于病史和干预。例如，中年糖尿病的发病仍然是一个人余生中的危险因素;癌症可能复发多次;以前的手术可能会阻止某些未来的干预措施。 （ii）表示录入信息：录入事件包括一个包含诊断和干预措施的可变大小的离散集。 （iii）零散记录和不规律的时间：医疗记录长度差异很大，本质上是偶发性的，不规则的。数据是偶发的，因为只有当患者访问医院并进行护理时才记录。这一事件通常在短期内，通常从一天到两周不等。到达的时间大部分是随机的。 （iv）疾病进展与干预措施之间的相互作用的混杂。
我们解决构建一个端对端和通用的预测系统的四个挑战，以便将其部署在不同医院的EMR实施中。 端到端系统需要最小化特征工程（甚至没有），阅读医疗记录，推测现在的疾病状态并预测未来的结果。
现有的方法很复杂。 他们模型不定长度并忽略长期依赖。 基于马尔科夫假设的时间模型仅限于模拟时间不规则，没有记忆，因此，由于无关的情节，他们可能完全忘记以前的重大疾病。 深度学习在这些领域，如语音识别，视觉和计算语言学，在构建端到端系统方面具有很大的潜力。 然而，使用深度学习医疗保健工作的工作很少。 在深度学习工作的同时，为应对长期依赖的挑战，另外三个挑战依然未解决。
为此，我们引入了DeepCare，一种端到端的深层动态记忆神经网络，解决了上述四个挑战。 DeepCare建立在LSTM的基础之上，这是一种配备记忆体细胞来存储历史的循环神经网络。在每个时间步长，LSTM读取一个输入，更新存储单元，并返回一个输出。存储器通过一个忘记的门来维护，这个门可以缓和从一个时间点到另一个时间段的内存传递，并通过在每个时间步长看到新的输入来更新内存。输出由存储器确定并由输出门调节。在DeepCare中，LSTM模拟病人的病情轨迹和医疗流程，包含在时间戳入院顺序中.LSTM的输入是从入院提取的信息。输入是入院时的疾病状态。内存维护可以捕获长期的依赖关系，从而解决第一个挑战。事实上，这种能力使得LSTM成为各种时间序列领域的理想模式。
解决其他三个问题，DeepCare将C-LSTM作为标准LSTM单元的扩展（图1）。 为了表示信息录入，其是不同类型的一组离散元素，例如诊断和干预，解决方案是将这些元素嵌入到连续向量空间中。 然后将相同类型的向量合并到单个向量中。 类型特定的合并向量被连接以表示录入信息。以这种方式，可变大小的入口被嵌入到连续分布向量空间中。 然后，接纳向量作为C-LSTM的输入特征。 随着从数据中学习嵌入，该模型不依赖于手动特征工程。
对于不规律的时间，忘记门扩展为连续时间步长之间的不规则时间间隔的函数。 我们引入两个新的遗忘机制：单调衰变和全时参数化。 在人类学习新概念时，这种衰变模仿了自然遗忘。 参数化考虑了不同疾病随时间变化的动态变化。 所得到的模型在时间上是稀疏的，并且有效地计算，因为只有观察到的记录被并入，而不管不规则的时间间隔。 最后，在DeepCare中，疾病进展与干预措施之间的混杂相互作用模型如下：干预措施影响当前疾病状态的输出门和温和日后记忆的忘记门。 因此，疾病状态（产出）由过去和现在的干预措施调节。
3.1模型概观
DeepCare（见图1）是一个深层动态神经网络，具有三个主要层面。 底层建立在C-LSTM上，其记忆单元被修改以处理不规则的时间和干预，标准LSTM单元中看不到容量。更具体地说，输入是入院序列。 每个录入信息t包含一组诊断代码（然后将其形成为特征向量Xt），一组干预代码（进一步表示为特征向量）Pt，M是Xt与Pt的矢量维数，录入方法mt，△t是当前时间与上一时间的时间差。疾病状态h(t)由C-LSTM计算。中层聚合疾病状态是通过多尺度加权池化。顶层是一个神经网络，采用汇集状态和其他统计来估计最终结果概率。概率取决于产出的性质和统计结构的选择。例如，对于二元结果，P是逻辑函数; 对于多类结果，P是softmax函数; 对于持续的结果，P是高斯。 接下来，我们更详细地描述前两层。
3.4轨迹预测
一旦建立了C-LSTM单元，在每个时间步骤中，计算隐藏的疾病状态Ht。 然后，各状态用于预测未来轨迹。 我们考虑三个任务：（1）下一步疾病进展，（2）干预推荐和（3）未来风险预后。 前两个任务涵盖短期预测（当前和接下来的入场），但第三个任务看起来远未来到任何地平线。
3.4.1短程疾病进展
