weixin_40725706

这个屌丝很懒，什么也没留下！

热门标签

2023年开源中文医疗大模型概览_doctorglm

作者：weixin_40725706 | 2024-03-22 14:16:45

踩

doctorglm

序言

自基于GPT-3.5的ChatGPT版本2022年年底震撼问世以来，如何利用通用大模型的优势，结合各垂直行业与领域专业知识积累及业务流程规范，打造领域大模型，从而有效支撑各领域日常问答、专业咨询乃至解决方案建议，无疑成为大模型应用落地探索的一大方向和趋势。

在医疗领域，国外以Google为代表持续在医疗大模型方面探索发力，由谷歌Research和DeepMind共同打造的多模态生成模型Med-PaLM M于2023年月发布，该模型懂临床语言、懂影像，也懂基因组学，在美国执业医师资格考试（USMLE）中通过率高达85.4%，从技能上已经达到专业医生的水平，令人振奋。

而国内各研发机构、医疗机构及LLM Geeker也不甘落后，以极大的精力与热情，从2023年起，结合中文环境下的、医疗问诊、中药特色以及日趋更为关键的心理学领域进行了大量的尝试，并且总体体现了开放共享，共襄盛世的百花齐放的格局，无论从大模型基座的选择、大模型微调技术、专业领域数据集构建方法、开放专业训练数据集、微调训练推理经济成本考量、中文医疗大模型评价标准和医疗健康在心理健康领域的衍生，都呈现了各自的特色，可谓精彩纷呈。

值得高兴的是，部分开源医疗大模型项目团队作者，不局限于初步成果，持续探索更新，无论在基座灵活支持、中文医疗数据集、微调训练方法及效果评价不断开放提升方面，都继续发力，如DoctorGLM, MedicalGPT、ChatMed及MedQA等项目，尤其是MedQA项目，在复现过程及后续不断推出的更具开放性先进性的IvyGPT-CareLlma等，无疑都展现了该领域研发探索先锋的Geek/Guru风范。

本文根据现有近20个中文医疗领域开源大模型网络众神们的总结分析，结合作者探索行业发展浅见，编制形成本文，意图对发展中的中文医疗大模型提供多方面概览，呈现采撷各自精彩与独特之处，共同推进LLM应用探索与实践，在组织结构及内上也引用了不少附录中（中文综述）专家的成果，在此一并致谢，其中有不尽之处，也敬请海涵指正。

如同各开源模型指出的，这些大模型都是在研发探索阶段，包括AI Ethics的隐忧等，尚不足以成熟到作实际医用诊疗；但如果这些开放性研发探索，能够从某种程度上，通过中文医疗卫生大模型及其生态应用，加强中文-中药医卫乃至心理咨询方面的大众的专业认知与素养，让具有庞大人口基数的中华14亿大众，身边多个垂手可得的专家，让华佗扁鹊医者仁心的AI Ethics与技艺能够继续洋溢人间，都不啻为一种有益的尝试。

突然脑路清奇想到，按照开源精神及一带一路倡议精神，发端于英文体系，推陈出新意有所为的中文医卫大模型，后续也可能为人口众多但不发达且语种独特的异域特色医卫AI辅助 :-)

开源中文医疗大模型信息一览表

模型名称	模型基座	论文-源码链接	开放情况	贡献单位	初始发布日期	Github Stars (20230822-20230830统计）
MING (原MedicalGPT-zh)	bloomz-7B 指令微调	无公开论文/技术报告源码地址： https://github.com/MediaBrain-SJTU/MedicalGPT-zh https://github.com/MediaBrain-SJTU/MING	未开放训练数据集提供模型下载提供推理验证示例脚本	上海交通大学未来媒体网络协同创新中心和上海人工智能实验室智慧医疗中心	2023/07	392
DoctorGLM	ChatGLM-6B Lora微调	论文及源码 https://github.com/xionghonglin/DoctorGLM https://arxiv.org/abs/2304.01097	提供模型训练的技术细节公开训练数据集提供模型权重下载提供推理验证脚本建立了开发者微信群提供了演示地址：https://doctorglm.idealab-llms.com（有时不可用）	上海交大	2023/06	574
本草BenTaso（原名HuaTuo华驼）	Lalalma Alpaca Bloom 活字 LoRA微调	论文及源码： https://github.com/SCIR-HI/Huatuo-Llama-Med-Chinese https://arxiv.org/pdf/2304.06975.pdf 相关解读：哈工大团队开源医学智能问诊大模型 \| 华佗: 基于中文医学知识的LLaMa指令微调模型 - 知乎 [实战LLM]本草-华驼-用中文医学知识来微调LLaMa模型 - 知乎	给出数据集的构建方法介绍，未公开训练数据集给出多种基座模型后微调后的模型权重提供推理验证脚本及示例数据集给出了模型对比评价标准及试验情况	哈尔滨工业大学社会计算与信息检索研究中心健康智能组	2023年3月创建，5月份更名为本草	3.6K
Med-ChatGLM (与BenTsao同源）	ChatGLM-6B 指令微调	源码地址： https://github.com/SCIR-HI/Med-ChatGLM	与本草类似但公开了训练微调脚本	同上	2023年3月发布	749
HuaTuoGPT(华佗GPT）	百川7B Ziya-LaMA-13B-Pretrain-v1 SFT微调	论文及源码： https://arxiv.org/pdf/2305.15075.pdf https://github.com/FreedomIntelligence/HuatuoGPT	项目开放了训练用的医患数据集，也给出了SFT的示例调整脚本，以及评估示例脚本。项目技术报告是基于BLOOM大模型进行的训练，但项目git库中发布的模型权重或者权重Delta却是基于百川和Ziya-Lalama 项目技术报告对数据集构建、训练及评估都做了相对清楚的描述。试用地址：华佗GPT	深圳大数据研究院香港中文大学	2023年4月发布持续更新中	605
MedicalGPT	bloom llama/llama2 chatglm/chatglm2-6B baichuan 7B, 13B 按照ChatGPT training pipeline训练微调（二次预训练、有监督微调、奖励建模、强化学习训练。）	无技术报告，但github说明较详细 https://github.com/shibing624/MedicalGPT	开放程度相对较高的医疗大模型构建训练数据集及训练过程参数通过Wiki全部开放整个过程也按照ChatGPT training pipeline创建的，包括训练脚本、推理(inference)验证脚本及交互演示脚本等开放，整体链条完整清楚建立了微信探讨群，并持续更新	个人	2023年6月发布持续更新中	1.3k
ChatMed	LlaMA-7b Lora微调	https://github.com/michael-wzhu/ChatMed 项目公开了训练数据及训练过程，并没有其它相关的技术报告	项目开源了基于LlaMA-7b的ChatMed-Consult模型，以及全部训练代码，也给出了测试代码。项目将关联的其它项目、数据集等都进行了公开与链接	华东师范大学计算机科学与技术学院智能知识管理与服务团队	2023/5/05 开源ChatMed-Consult模型	198
ShenNong-TCM-LLM - 神农中医药大模型	LlaMA-7b LoRA微调	https://github.com/michael-wzhu/ShenNong-TCM-LLM	与ChatMed类似该团队联合阿里、复旦大学附属华山医院、东北大学、哈工大及同济大学另外推出了两个大模型评价标准： PromptCBLUE 中文医疗大模型评测标准（首个中文医疗场景的LLM评测基准。 https://github.com/michael-wzhu/PromptCBLUE ShenNong-TCM-Evaluation-BenchMark 意图建立一个标准化、综合性的中医评测框架 https://github.com/ywjawmw/ShenNong-TCM-Evaluation-BenchMark	与ChatMed同源	2023年6月发布	57
MedQA-ChatGLM	ChatGLM LoRA、P-Tuning V2、Freeze、RLHF等微调	技术报告： https://www.wangrs.co/MedQA-ChatGLM/# 源码： https://github.com/WangRongsheng/MedQA-ChatGLM	项目给出了开放数据集、构建方法、微调模型训练方法及推理演示脚本，以及试验环境参数，相对比较全面项目同时也罗列了当时搜集的开源医疗大模型、基座模型及数据集，体现了作者开放博取交流共进的专业素养。 2023年8月底，作者又推出了更为全面开放的CareLlama(2023年8月28日宣告闭源1个月，但公开测试页面仍支持访问）: https://github.com/WangRongsheng/CareLlama	澳门理工大学	2023年5月发布	232
XrayGLM -首个会看胸部X光片的中文多模态医学大模型	借助ChatGPT以及公开的数据集，构造了一个X光影像-诊断报告对的医学多模态数据集 VisualGLM-6B 微调	无技术报告，github库中有关键步骤解释描述。源码： https://github.com/WangRongsheng/XrayGLM	与MedQA-ChatGLM同源，而且开放程度类似，github库中包含了项目重现的全部内容，同时对相关的工作，都给予了致谢说明，体现了真正的开源精神。项目同时列出了所有相关的项目及数据集URL	同上	2023年5月发布	558
BianQue扁鹊 - 中文医疗对话大模型	扁鹊1.0采用的模型基座: ClueAI/ChatYuan-large-v2 扁鹊2.0采用的模型基座: ChatGLM-6B 全量参数的指令微调	无相关论文发布源码地址： https://github.com/scutcyr/BianQue scutcyr/BianQue-2 · Hugging Face scutcyr/BianQue-1.0 · Hugging Face	项目仅给出了已微调的扁鹊模型及如何使用的代码对于所使用的BianQueCorpus数据集的构建脚本、如何进行模型微调训练，并没有给出具体的代码，是一种模型应用层面的开放。是项目团队ProactiveHealthGPT大模型基座的一部分（同见SoulChat)	华南理工大学未来技术学院广东省数字孪生人重点实验室合作单位包括广东省妇幼保健院、广州市妇女儿童医疗中心和中山大学附属第三医院等。	2023年4月发布	240
SoulChat灵心健康大模型	ChatGLM-6B 全量参数的指令微调	无相关技术报告，虽然作者预期会后续发布项目源码https://github.com/scutcyr/SoulChat scutcyr/SoulChat · Hugging Face 项目同时给出了内测网址灵心	项目并没有给出模型训练的全过程、训练所用数据集及脚本，仅给出了微调训练后的模型，以及如何使用模型进行推理测试的脚本。与BianQue一样，是项目团队ProactiveHealthGPT大模型基座的一部分参与了PULSE团队的Elo评测（https://github.com/openmedlab/PULSE#elo%E8%AF%84%E6%B5%8B）	同上	2023年4月发布	139
孙思邈中文医疗大模型(Sunsimiao)	baichuan-7B ChatGLM-7B 微调（参照LLaMA-Efficient-Tuning:）	尚无论文发布公开源码见：孙思邈中文医疗大模型 https://github.com/thomas-yanxin/Sunsimiao https://github.com/X-D-Lab/Sunsimiao	该模型所开源的信息较为有限, github中的模型权重链接甚至存在无效的现象，看起来显得比较仓促。	华东理工大学信息科学与工程学院	2023年6月发布	32
Mindchat漫谈中文心理大模型	baichuan-13B Qwen-7B InternLM-7B 微调	项目尚未发布相关论文。公开源码部分见：https://github.com/X-D-Lab/MindChat MindChat体验地址: MindChat-创空间	项目除了公开微调模型权重、简要测试用脚本和心理学多方面（学习、家庭、工作、朋友、安全）的测试样例效果外，其它已公开资料较少，虽然项目提供了在线试用网址。持续更新中	同上	2023年6月发布	82
QiZhenGPT启真医学大模型	Chinese-LLaMA-Plus-7B CaMA-13B ChatGLM-6B 指令微调	项目尚未发布论文公开源码地址： https://github.com/CMKRG/QiZhenGPT	项目以开放微调后模型及验证脚本为主虽然也设计了对比实验并给出了统计结果，但所涉及的数据集及构建方法等都没具体开放	浙江大学、网新数字健康联合研究中心	2023年5月	424
PULSE中文医疗大模型	bloomz-7b1-mt QLoRa微调	无相关论文相关代码及模型：https://github.com/openmedlab/PULSE OpenMEDLab/PULSE-7bv5 · Hugging Face 关联开源生态应用： https://github.com/openmedlab/XrayPULSE https://github.com/JuneYaooo/medical_kb_chatbot	项目在模型调优训练及所用数据集信息比较有限，提供了微调后的模型下载，对于有进一步使用及定制化的需要，项目组持开放态度。项目在效果评价时，采用了Elo等级分评价方法，与其它通用大模型及中文医疗大模型进行对比实验，并且给出了评价的实现。项目也开源了相关生态应用XRayPULSE等	上海人工智能实验室、上海交通大学-清源研究院、华东理工大学-自然语言处理与大数据挖掘实验室	2023年6月	313
CareLlama关怀羊驼中文医疗大模型 (TBD)	TBD	CareLlama在线体验版：https://huggingface.co/spaces/wangrongsheng/CareLlama 其它待作者再次开放后补充	与 MedQA-ChatGLM 为同一个团队开发，值得期待	澳门理工大学	2023年8月（后又宣布闭源1个月，估计9月份再次开放）	TBD

1）MedicalGPT-zh - 一个基于ChatGLM的在高质量指令数据集微调的中文医疗对话语言模型（2023年7月更名为MING）

项目简介

项目最初开源了基于ChatGLM-6B LoRA 16-bit指令微调的中文医疗通用模型。基于共计28科室的中文医疗共识与临床指南文本，从而生成医疗知识覆盖面更全，回答内容更加精准的高质量指令数据集。以此提高模型在医疗领域的知识与对话能力。

项目由上海交通大学未来媒体网络协同创新中心和上海人工智能实验室智慧医疗中心合作研发。

2023年7月MedicalGPT-zh更名为MING，相关基础模型及微调训练数据等等做了全新的更新。

论文及开源地址

开源地址原为：

https://github.com/MediaBrain-SJTU/MedicalGPT-zh

会自动重定位到

https://github.com/MediaBrain-SJTU/MING

数据集构建

本项目数据主要分为两个部分：情景对话与知识问答

数据类型	描述	数量	占比（%）
情景对话	在具体场景下的医患诊疗对话	52k	28.57
知识问答	医学知识问题的解释性回答	130k	71.43
总计	-	182k	100

情景对话：主要参考BELLE的指令数据集生成方式，将医学指令按照诊疗情景的不同主要分为16种大类，通过100条情景对话种子任务生成的52k条情景对话数据。提供了情景对话种子任务及生成情景对话数据的程序，最终生成的52k情景对话数据医学指令类型及其分布如图所示。

其中提到的BELLE， Be Everyone's Large Language model Engine（开源中文对话大模型），地址为：

https://github.com/LianjiaTech/BELLE

https://github.com/LianjiaTech/BELLE/blob/main/docs/Towards%20Better%20Instruction%20Following%20Language%20Models%20for%20Chinese.pdf、https://github.com/LianjiaTech/BELLE/blob/main/docs/A%20Comparative%20Study%20between%20Full-Parameter%20and%20LoRA-based.pdf

知识问答：医学知识来源于自建的医学数据库。通过提供具体的医疗共识与临床指南文本，先让ChatGPT生成与该段医学知识内容与逻辑关系相关的若干问题，再通过“文本段-问题”对的方式让ChatGPT回答问题，从而使ChatGPT能够生成含有医学指南信息的回答，保证回答的准确性。知识问答与医疗指南、依据医疗指南生成的知识问答样例都有提供, 并提供了知识问答数据生成的程序。其中，医疗共识与临床指南中文本段涵盖28个科室共计32k个文本段。各科室及其分布如图所示。

模型输出样例

模型训练

项目训练代码采用模型并行算法，可以在最少4张3090显卡上完成对ChatGLM LoRA 16-bit的指令微调。

开放程度

项目初始发布时，github上给出了数据集的构建程序、模型训练程序及运行命令行代码，可直接运行。 2023年7月份，相关的程序库都已消失，变成了如下的更为概略的MING模型。

保留该模型的目的，仅仅是从其原有开放资料中，了解借鉴相关的技巧方法，。

2）明医 (MING)——中文医疗问诊大模型

项目简介

这是MediaCPT-zh的最新替代版（2023年7月25日）。该问诊大模型提供了两种功能：

医疗问答：对医疗问题进行解答，对案例进行分析。
智能问诊：多轮问诊后给出诊断结果和建议。

论文及源码

项目仅给出了部分代码库，如下：

https://github.com/MediaBrain-SJTU/MING

并没有论文或者技术报告支撑。

数据集构建

数据集主要由四个部分构成：

数据类型	数据构成	数量	占比(%)
医疗知识问答	基于临床指南和医疗共识的知识问答	168k	48.88
	基于医师资格考试题的知识问答	77k
	真实医患问答	140k
	基于结构化医疗图谱的知识问答	160k
多轮情景诊断与案例分析	基于HealthCareMagic构造的多轮情景问答与诊断	200k	21.52
	基于USMLE案例分析题的格式化多轮问诊	20k
	多轮病人信息推理与诊断	20k
任务指令	医疗指令	150k	26.91
任务指令	通用指令	150k	26.91
安全性数据	敏感性问题	15k	2.69
安全性数据	医疗反事实	15k	2.69
总计	-	1.12M	100.00

git库中并没有相关的数据源说明。

样本生成方式

与MedicalGPT相比，MING的说明中并没有详细的微调训练样本的说明, 给出的代码是采用FastChat平台进行的。

模型训练

该模型采用的是基于bloomz-7B的指令微调，最后生成MING-7B。

模型	基座	HuggingFace
MING-7B	bloomz-7b1-mt	声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/weixin_40725706/article/detail/288695 推荐阅读 article 解决Android Studio中Plugin version和Gradle version不匹配的... AS编译提示：A problem occurred evaluating project ':app'.> Failed... 赞踩 article Linux、CentOS7下报错-bash: TMOUT: readonly variable怎么办... 一、Linux操作系统版本二、背景：在项目中当我们配置好JDK环境变量、Tomcat环境变量，通过source /etc... 赞踩 article ECCV 2022 \| 基于点云累积的动态三维场景分析... 来源丨泡泡机器人SLAM编辑丨一点人工一点智能点击进入—>3D视觉工坊学习交流群标题：Dynamic 3D Scene ... 赞踩 article 【联盛德W806上手笔记】二、GPIO... 目录库函数函数参数宏测试Windows 10 20H2HLK-W806-V1.0-KITWM_SDK_W806_v0.6... 赞踩 article 向量数据库_csdn 向量数据库... 关系型数据库的数据以行和列的形式组织，每个表格代表一个实体或关系，而每一行则代表该实体的一个实例，每一列则代表该实体的一... 赞踩 article （已解决）Vue.js报错“TypeError: Cannot read propertyies o... （已解决）Vue.js报错"TypeError: Cannot read propertyies of undefine... 赞踩 article 零拷贝原理+kafka中的零拷贝... 零拷贝原理+mmp优化零拷贝+sendfile优化零拷贝+kafka中的零拷贝零拷贝原理+kafka中的零拷贝 ... 赞踩 article W806开发板体验_w806单片机为什么不火... 我手里是一个HLK-W806-KIT-V1.0的板子，原理图各种找不到汗，官网也只有HLK-W806-KIT-V1.1，... 赞踩 article 超简单，不用GPU，3步教你轻松在笔记本上部署聊天大模型 LLaMA_不用gpu的大模型... 后来有人为了在传统 CPU 电脑上运行大模型，就开发了比较牛的框架，我们今天要用的，就是其中的一个明星产品：llama.... 赞踩 article 7个从Windows计算机上恢复Word文档的方法_word最近管理文档被移动的文件怎么恢复... 你是否有受到Windows上损坏或丢失的Word文件的困扰？好吧，你并不孤单！文件损坏是 Word 文档的常见问题。此外... 赞踩 article 设计和优化衍射光束整形元件来生成矩形高帽_用于光束均匀化整形的衍射光学元件的设计代码... • 可以通过光路编辑器（Light Path Editor）的工具（Tools）按钮将这个衍射光学工具箱光路图（Diff... 赞踩 article gradle 提示 : Plugin with id 'jetty' not found.... 在一个web项目中，用到了jetty，在用gradle构建项目时发现提示 Plugin with id 'jetty' ... 赞踩 article 对于在类中调用buildconfig出错的问题的解决方案_the option setting 'a... 有时我们需要在类中调用buildconfig但是他总是报错解决方案就是在gradle.properties中写入下面两句... 赞踩 article Kafka2.5.0源码关于 KafkaAdminClient 中 listTopic( ) 的源码... Kafka2.5.0源码关于 KafkaAdminClient 中 listTopic( ) 的源码详解参考链接：@Ov... 赞踩 article Build Type ‘debug‘ contains custom BuildConfig fie... 【代码】Build Type ‘debug‘ contains custom BuildConfig fields, b... 赞踩 article 华为鸿蒙arm,华为亮大招：鸿蒙系统＋5G万物互联＋1亿掌握ARM架构修改... 今年的贵阳数博会上主打“5G智联万物，数字慧通未来”的论坛上，中国工程院院士邬贺铨谈及华为事件的时候称，在CPU方面，华... 赞踩 article 逻辑手册器件解读，需要注意的参数... 逻辑器件的参数，二输入与非门，逻辑手册器件解读，需要注意的参数逻辑器件手册解读可以实现的功能... 赞踩 article 2024年首个iOS AI病毒来了！偷人脸照片，转银行卡余额...... 针对金融App人脸被盗用风险，顶象业务安全感知防御平台基于威胁探针、流计算、机器学习等先进技术，集设备风险分析、运行攻击... 赞踩 article CentOs7中安装python模块psycopg2，报错Error: pg_config exec... CentOs7中安装python模块psycopg2，报错Error: pg_config executable not... 赞踩 article php获得客户端ip地址范例_-bash: up_client_ip: readonly varia... unset($onlineip); if($_SERVER[HTTP_CLIENT_IP]){ $onlineip=$... 赞踩相关标签 android gradle plugin 不匹配操作系统 java shell 人工智能计算机视觉单片机 stm32 c语言嵌入式硬件 w806 数据库 vue.js javascript 前端 kafka 分布式 llama 深度学习 word windows microsoft Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。闽ICP备14008679号

2023年开源中文医疗大模型概览_doctorglm

序言

开源中文医疗大模型信息一览表

1）MedicalGPT-zh - 一个基于ChatGLM的在高质量指令数据集微调的中文医疗对话语言模型 （2023年7月更名为MING）

项目简介

论文及开源地址

数据集构建

模型训练

开放程度

2）明医 (MING)——中文医疗问诊大模型

项目简介

论文及源码

数据集构建

样本生成方式

模型训练

1）MedicalGPT-zh - 一个基于ChatGLM的在高质量指令数据集微调的中文医疗对话语言模型（2023年7月更名为MING）