一种经济高效的医学诊断图像识别的新 AI 算法_医学图像识别算法

文   马丰敏

医学影像是现代医疗保健的重要组成部分，提高了各种疾病治疗的准确性、可靠性和发展性。人工智能也被广泛用于进一步增强这一过程。

然而，采用人工智能算法的传统医学图像诊断需要大量的注释作为模型训练的监督信号。为了获得人工智能算法的准确标签——作为临床常规的一部分，放射科医生为每位患者准备放射报告，然后注释人员使用人工定义的规则和现有的自然语言处理（NLP) 工具。从这些报告中提取和确认结构化标签。 提取标签的最终准确性取决于人工工作的质量和各种 NLP 工具。该方法代价高昂，既费力又费时。

香港大学（HKU）的一个工程团队开发了一种新方法“REFERS”（审查自由文本报告以进行监督），通过自动采集数百个监督信号，可以将人力成本降低 90%，数以千计的放射学报告可以同时进行。它的预测精度很高，超过了使用人工智能算法的传统医学图像诊断。

这一创新方法标志朝着实现通用医疗人工智能迈出了坚实的一步。

“人工智能医学影像诊断有可能支持医学专家减少工作量，提高诊断效率和准确性，包括但不限于减少诊断时间和发现微妙的疾病模式。来自香港大学工程学院计算机科学系的团队。

 参考工作流程。研究人员通过射线照片转换器转发第 k 个患者研究的射线照片，使用注意机制融合不同视图的表示，并使用报告生成和研究报告表示一致性强化来利用放射学报告中的信息。图 a，整个管道的概览。图 b，射线照相变压器的架构。图c，对视图融合的注意力进行了阐述。MLP 代表多层感知器。图 d，显示了两个监督任务，报告生成和研究-报告表示一致性强化。

 新方法在 NIH ChestX 射线上不同标签比率下的性能。研究人员表示 REFERS 需要达到与 Model Genesis 和 ImageNet 预训练结果相当的目标域中带注释的训练数据的百分比。请注意，所有三种方法都共享相同的基于转换器的主干。

“我们相信放射学报告中的抽象和复杂的逻辑推理句子为学习易于转移的视觉特征提供了足够的信息。通过适当的培训，REFERS 直接从自由文本报告中学习射线照片表示，而无需人工进行标记。” 研究人员说。

 为了训练 REFERS，研究团队使用了一个公共数据库，其中包含 370,000 张 X 射线图像和相关的放射学报告，涉及 14 种常见的胸部疾病，包括肺不张、心脏肿大、胸腔积液、肺炎和气胸。研究人员设法仅使用 100 张射线照片建立了射线照片识别模型，并且预测准确率达到 83%。当数量增加到 1,000 时，他们的模型表现出惊人的性能，准确率为 88.2%，超过了使用 10,000 个放射科医生注释训练的模型（准确率为 87.6%）。当使用 10,000 张射线照片时，准确率为 90.1%。一般来说，85% 以上的预测准确度在实际临床应用中很有用。

REFERS 通过完成两项与报告相关的任务来实现该目标，即报告生成和 X 光片-报告匹配。在第一个任务中，REFERS 首先将射线照片编码为中间表示，然后将其用于通过解码器网络预测文本报告，从而将射线照片转换为文本报告。定义成本函数来衡量预测和真实报告文本之间的相似性，在此基础上采用基于梯度的优化来训练神经网络并更新其权重。

至于第二个任务，REFERS 首先将射线照片和自由文本报告编码到相同的语义空间中，其中每个报告及其相关射线照片的表示通过对比学习进行对齐。

“相对于传统方法严重依赖人工标注，REFERS 能够从放射学报告中的每个单词中获取监督。我们可以大幅减少 90% 的数据标注量和构建医学人工智能的成本。它标志着朝着实现广义医学人工智能迈出了重要一步，”项目负责人周宏宇博士说。