Hist2ST：联合Transformer和图神经网络从组织学图像中进行空间转录组学预测

近日《Briefings in Bioinformatics》发表了一种空间信息引导的深度学习方法：Hist2ST，用于从全载玻片图像(WSIs)进行空间转录组预测。

Hist2ST是什么？

此前虽然已经开发了几种利用组织学图像预测基因表达的方法，但它们并没有同时包括2D视觉特征和空间相关性，从而限制了它们的性能。基于此，研究人员开发了Hist2ST，一种基于深度学习的模型，使用组织学图像预测RNA-seq表达。

Hist2ST用于预测组织学图像基因表达的示意图

Hist2ST由三个模块组成：Convmixer、Transformer和Graph Neural Networks。具体而言，在每个测序点，相应的组织学图像被裁剪成图像块。图像块被送到Convmixer模块中，以通过卷积操作捕获图像块内的2D视觉特征。学习的特征被送到Transformer模块中，以通过自注意力机制(self-attention)捕获全局空间相关性。然后，Hist2ST通过图神经网络（Graph Neural Networks）显式捕获邻域关系。最后，通过遵循零膨胀负二项（