WAVE SUMMIT+2023回顾，复旦大学基于文心大模型辅助医学教育与研究

在数字化浪潮的推动下，人工智能与医疗健康的结合已成为行业前沿的探索方向。在刚刚结束的2023 WAVE SUMMIT+深度学习开发者大会“科学启智 AI赋能”平行论坛上，来自各高校的专家学者们分享了各自的研究成果。其中，复旦大学的王烁研究员发表了“医学影像建模新范式”的主题演讲，介绍了医学影像智能分析和心血管力学建模领域的最新进展，并展示了一款原创的耳畸形医学教育及科普插件Fdear。

作为中国领先的人工智能大模型，文心大模型拥有强大的自然语言处理和跨模态信息分析的能力。而复旦大学数字医学研究中心在数字医学领域积累了丰富的经验与技术优势，前期双方已有一定合作基础，王烁研究员在百度CCF松果基金的支持下，正在进行一项基于百度飞桨的大规模人群心脏数字孪生研究。此次的合作，将双方各自的技术与专业优势进一步相结合，有望在AI4S医学科普及教育领域开创全新的篇章。

先天性耳廓畸形是头面部最常见的出生缺陷，包括耳廓形态畸形和耳廓结构畸形两大类，发病率约15-20%。耳廓畸形应早诊断、早治疗，这依赖于综合性医院的产科、新生儿科医师对于新生儿耳廓畸形的早期识别和转诊，这属于专业性要求高的专科问题，十分依赖有丰富耳整形经验的专科医生进行识别判断。很多耳畸形患儿由于发现晚错过了耳模矫形的最佳治疗时间窗。因此，耳廓畸形的有无、畸形类别的早期诊断是耳畸形领域的重要问题，相关知识的教育及科普意义重大。

为提高全社会对于耳畸形这一疾病的重视，以及进行对AI4S医学领域前沿探索，复旦大学数字医学研究中心研究员王烁与复旦大学附属眼耳鼻喉科医院眼耳鼻整形外科副主任医师傅窈窈，在文心一言大模型底座和复旦附属五官科医院的大数据基础上，通过训练耳畸形识别模型，联合研发新生儿耳畸形鉴别与科普问答插件——Fdear。

Fdear用户可通过手机拍照上传新生儿耳朵图片，得到耳畸形鉴别结果，Fdear既能精准判断耳朵是否存在畸形，还能初步判断属于哪种畸形，同时可以提供基于大模型的互动式问答科普。除此之外，对于耳畸形的治疗，Fdear能给出关于治疗期、手术期的一系列注意事项。该插件不但为需要初步自查的用户提供了便利，将来也可以作为卫生课的教学工具、儿童保健的科普工具等。

现存的通用大模型在训练时通常使用大量的公开数据，这些数据可能并不包含特定领域的知识，或者包含的知识不够准确和深入。由于大模型通常依赖于从训练数据中学习到的统计模式来生成回答，当面对医学专业领域的问题时，大模型可能会产生与事实不符或误导性的回答，即所谓的“幻觉”。

为了解决这个问题，Fdear背后的辅助诊断模型是由大样本的耳朵图片资料和专家诊断意见整合而成的数据集训练而成的，合作方之一张天宇教授团队在耳畸形的基础与临床研究工作上有着近20年的经验，多次获得上海市科技进步奖、上海市医学科技奖，并牵头制定耳畸形国际共识与国内共识，近期还在Nature子刊 Scientific Data上发表了题为《A publicly available newborn ear shape dataset for medical diagnosis of auricular deformities》的数据集，Fdear正是延续了这项工作，实现了耳畸形的自动辅助诊断和相关信息的问答。值得一提的是，在插件研发过程中，样本信息在模型训练（无论是图片还是科普问答文献）都已经得到了严格保护，规避了患者隐私风险。

复旦大学数字医学研究中心与百度的合作，不仅是对AI4S医学领域的一次大胆探索，更是对未来医疗健康模式的一次深刻思考与实践。通过双方的专业技术与经验优势的结合，我们期望能够开创AI在医疗诊断领域的新篇章，为患者提供更精准、高效的医疗服务。此合作有望推动人工智能与医疗健康的深度融合，进一步优化和改进医疗服务的模式和效率。同时，我们也鼓励更多高校积极参与与百度合作，共同推动AI4S医学领域的创新与发展。

参考文献

1. 张天宇，傅窈窈，郭英，李辰龙。先天性耳廓畸形的分类、分型及分度进展。中华耳鼻咽喉头颈外科杂志，2021，56（8）：871-5．

2. 李辰龙，傅窈窈，骆菲，汪吉梅，张天宇。新生儿耳郭畸形流行病学调查及表型分析。中国眼耳鼻喉科杂志，21（3）：198-200。

3. Lili Chen, Chenlong Li, Aijuan He, Hua Tong, Jinchao Yu, Chunxiao Cui, Yaoyao Fu, Tianyu Zhang. Long-Term Effectiveness of Ear Molding and Factors Affecting Outcomes. Plastic and Reconstructive Surgery, 2023.

4. Liu-Jie Ren, Fei Luo, Zhi-Wei Yang, Li-Li Chen, Xin-Yue Wang, Chen-Long Li, You-Zhou Xie, Ji-Mei Wang, Tian-Yu Zhang, Shuo Wang, Yao-Yao Fu. A publicly available newborn ear shape dataset for medical diagnosis of auricular deformities. Scientific Data, 2023.

关注【飞桨PaddlePaddle】公众号

获取更多技术内容~