我家自动化

这个屌丝很懒，什么也没留下！

热门标签

2023年开源中文医疗大模型概览_关于医疗方面的开源大模型和产品有哪些

作者：我家自动化 | 2024-03-03 23:53:28

踩

关于医疗方面的开源大模型和产品有哪些

序言

自基于GPT-3.5的ChatGPT版本2022年年底震撼问世以来，如何利用通用大模型的优势，结合各垂直行业与领域专业知识积累及业务流程规范，打造领域大模型，从而有效支撑各领域日常问答、专业咨询乃至解决方案建议，无疑成为大模型应用落地探索的一大方向和趋势。

在医疗领域，国外以Google为代表持续在医疗大模型方面探索发力，由谷歌Research和DeepMind共同打造的多模态生成模型Med-PaLM M于2023年月发布，该模型懂临床语言、懂影像，也懂基因组学，在美国执业医师资格考试（USMLE）中通过率高达85.4%，从技能上已经达到专业医生的水平，令人振奋。

而国内各研发机构、医疗机构及LLM Geeker也不甘落后，以极大的精力与热情，从2023年起，结合中文环境下的、医疗问诊、中药特色以及日趋更为关键的心理学领域进行了大量的尝试，并且总体体现了开放共享，共襄盛世的百花齐放的格局，无论从大模型基座的选择、大模型微调技术、专业领域数据集构建方法、开放专业训练数据集、微调训练推理经济成本考量、中文医疗大模型评价标准和医疗健康在心理健康领域的衍生，都呈现了各自的特色，可谓精彩纷呈。

值得高兴的是，部分开源医疗大模型项目团队作者，不局限于初步成果，持续探索更新，无论在基座灵活支持、中文医疗数据集、微调训练方法及效果评价不断开放提升方面，都继续发力，如DoctorGLM, MedicalGPT、ChatMed及MedQA等项目，尤其是MedQA项目，在复现过程及后续不断推出的更具开放性先进性的IvyGPT-CareLlma等，无疑都展现了该领域研发探索先锋的Geek/Guru风范。

本文根据现有近20个中文医疗领域开源大模型网络众神们的总结分析，结合作者探索行业发展浅见，编制形成本文，意图对发展中的中文医疗大模型提供多方面概览，呈现采撷各自精彩与独特之处，共同推进LLM应用探索与实践，在组织结构及内上也引用了不少附录中（中文综述）专家的成果，在此一并致谢，其中有不尽之处，也敬请海涵指正。

如同各开源模型指出的，这些大模型都是在研发探索阶段，包括AI Ethics的隐忧等，尚不足以成熟到作实际医用诊疗；但如果这些开放性研发探索，能够从某种程度上，通过中文医疗卫生大模型及其生态应用，加强中文-中药医卫乃至心理咨询方面的大众的专业认知与素养，让具有庞大人口基数的中华14亿大众，身边多个垂手可得的专家，让华佗扁鹊医者仁心的AI Ethics与技艺能够继续洋溢人间，都不啻为一种有益的尝试。

突然脑路清奇想到，按照开源精神及一带一路倡议精神，发端于英文体系，推陈出新意有所为的中文医卫大模型，后续也可能为人口众多但不发达且语种独特的异域特色医卫AI辅助 :-)

开源中文医疗大模型信息一览表

模型名称	模型基座	论文-源码链接	开放情况	贡献单位	初始发布日期	Github Stars (20230822-20230830统计）
MING (原MedicalGPT-zh)	bloomz-7B 指令微调	无公开论文/技术报告源码地址： https://github.com/MediaBrain-SJTU/MedicalGPT-zh https://github.com/MediaBrain-SJTU/MING	未开放训练数据集提供模型下载提供推理验证示例脚本	上海交通大学未来媒体网络协同创新中心和上海人工智能实验室智慧医疗中心	2023/07	392
DoctorGLM	ChatGLM-6B Lora微调	论文及源码 https://github.com/xionghonglin/DoctorGLM https://arxiv.org/abs/2304.01097	提供模型训练的技术细节公开训练数据集提供模型权重下载提供推理验证脚本建立了开发者微信群提供了演示地址：https://doctorglm.idealab-llms.com（有时不可用）	上海交大	2023/06	574
本草BenTaso（原名HuaTuo华驼）	Lalalma Alpaca Bloom 活字 LoRA微调	论文及源码： https://github.com/SCIR-HI/Huatuo-Llama-Med-Chinese https://arxiv.org/pdf/2304.06975.pdf 相关解读：哈工大团队开源医学智能问诊大模型 \| 华佗: 基于中文医学知识的LLaMa指令微调模型 - 知乎 [实战LLM]本草-华驼-用中文医学知识来微调LLaMa模型 - 知乎	给出数据集的构建方法介绍，未公开训练数据集给出多种基座模型后微调后的模型权重提供推理验证脚本及示例数据集给出了模型对比评价标准及试验情况	哈尔滨工业大学社会计算与信息检索研究中心健康智能组	2023年3月创建，5月份更名为本草	3.6K
Med-ChatGLM (与BenTsao同源）	ChatGLM-6B 指令微调	源码地址： https://github.com/SCIR-HI/Med-ChatGLM	与本草类似但公开了训练微调脚本	同上	2023年3月发布	749
HuaTuoGPT(华佗GPT）	百川7B Ziya-LaMA-13B-Pretrain-v1 SFT微调	论文及源码： https://arxiv.org/pdf/2305.15075.pdf https://github.com/FreedomIntelligence/HuatuoGPT	项目开放了训练用的医患数据集，也给出了SFT的示例调整脚本，以及评估示例脚本。项目技术报告是基于BLOOM大模型进行的训练，但项目git库中发布的模型权重或者权重Delta却是基于百川和Ziya-Lalama 项目技术报告对数据集构建、训练及评估都做了相对清楚的描述。试用地址：华佗GPT	深圳大数据研究院香港中文大学	2023年4月发布持续更新中	605
MedicalGPT	bloom llama/llama2 chatglm/chatglm2-6B baichuan 7B, 13B 按照ChatGPT training pipeline训练微调（二次预训练、有监督微调、奖励建模、强化学习训练。）	无技术报告，但github说明较详细 https://github.com/shibing624/MedicalGPT	开放程度相对较高的医疗大模型构建训练数据集及训练过程参数通过Wiki全部开放整个过程也按照ChatGPT training pipeline创建的，包括训练脚本、推理(inference)验证脚本及交互演示脚本等开放，整体链条完整清楚建立了微信探讨群，并持续更新	个人	2023年6月发布持续更新中	1.3k
ChatMed	LlaMA-7b Lora微调	https://github.com/michael-wzhu/ChatMed 项目公开了训练数据及训练过程，并没有其它相关的技术报告	项目开源了基于LlaMA-7b的ChatMed-Consult模型，以及全部训练代码，也给出了测试代码。项目将关联的其它项目、数据集等都进行了公开与链接	华东师范大学计算机科学与技术学院智能知识管理与服务团队	2023/5/05 开源ChatMed-Consult模型	198
ShenNong-TCM-LLM - 神农中医药大模型	LlaMA-7b LoRA微调	https://github.com/michael-wzhu/ShenNong-TCM-LLM	与ChatMed类似该团队联合阿里、复旦大学附属华山医院、东北大学、哈工大及同济大学另外推出了两个大模型评价标准： PromptCBLUE 中文医疗大模型评测标准（首个中文医疗场景的LLM评测基准。 https://github.com/michael-wzhu/PromptCBLUE ShenNong-TCM-Evaluation-BenchMark 意图建立一个标准化、综合性的中医评测框架 https://github.com/ywjawmw/ShenNong-TCM-Evaluation-BenchMark	与ChatMed同源	2023年6月发布	57
MedQA-ChatGLM	ChatGLM LoRA、P-Tuning V2、Freeze、RLHF等微调	技术报告： https://www.wangrs.co/MedQA-ChatGLM/# 源码： https://github.com/WangRongsheng/MedQA-ChatGLM	项目给出了开放数据集、构建方法、微调模型训练方法及推理演示脚本，以及试验环境参数，相对比较全面项目同时也罗列了当时搜集的开源医疗大模型、基座模型及数据集，体现了作者开放博取交流共进的专业素养。 2023年8月底，作者又推出了更为全面开放的CareLlama(2023年8月28日宣告闭源1个月，但公开测试页面仍支持访问）: https://github.com/WangRongsheng/CareLlama	澳门理工大学	2023年5月发布	232
XrayGLM -首个会看胸部X光片的中文多模态医学大模型	借助ChatGPT以及公开的数据集，构造了一个X光影像-诊断报告对的医学多模态数据集 VisualGLM-6B 微调	无技术报告，github库中有关键步骤解释描述。源码： https://github.com/WangRongsheng/XrayGLM	与MedQA-ChatGLM同源，而且开放程度类似，github库中包含了项目重现的全部内容，同时对相关的工作，都给予了致谢说明，体现了真正的开源精神。项目同时列出了所有相关的项目及数据集URL	同上	2023年5月发布	558
BianQue扁鹊 - 中文医疗对话大模型	扁鹊1.0采用的模型基座: ClueAI/ChatYuan-large-v2 扁鹊2.0采用的模型基座: ChatGLM-6B 全量参数的指令微调	无相关论文发布源码地址： https://github.com/scutcyr/BianQue scutcyr/BianQue-2 · Hugging Face scutcyr/BianQue-1.0 · Hugging Face	项目仅给出了已微调的扁鹊模型及如何使用的代码对于所使用的BianQueCorpus数据集的构建脚本、如何进行模型微调训练，并没有给出具体的代码，是一种模型应用层面的开放。是项目团队ProactiveHealthGPT大模型基座的一部分（同见SoulChat)	华南理工大学未来技术学院广东省数字孪生人重点实验室合作单位包括广东省妇幼保健院、广州市妇女儿童医疗中心和中山大学附属第三医院等。	2023年4月发布	240
SoulChat灵心健康大模型	ChatGLM-6B 全量参数的指令微调	无相关技术报告，虽然作者预期会后续发布项目源码https://github.com/scutcyr/SoulChat scutcyr/SoulChat · Hugging Face 项目同时给出了内测网址灵心	项目并没有给出模型训练的全过程、训练所用数据集及脚本，仅给出了微调训练后的模型，以及如何使用模型进行推理测试的脚本。与BianQue一样，是项目团队ProactiveHealthGPT大模型基座的一部分参与了PULSE团队的Elo评测（https://github.com/openmedlab/PULSE#elo%E8%AF%84%E6%B5%8B）	同上	2023年4月发布	139
孙思邈中文医疗大模型(Sunsimiao)	baichuan-7B ChatGLM-7B 微调（参照LLaMA-Efficient-Tuning:）	尚无论文发布公开源码见：孙思邈中文医疗大模型 https://github.com/thomas-yanxin/Sunsimiao https://github.com/X-D-Lab/Sunsimiao	该模型所开源的信息较为有限, github中的模型权重链接甚至存在无效的现象，看起来显得比较仓促。	华东理工大学信息科学与工程学院	2023年6月发布	32
Mindchat漫谈中文心理大模型	baichuan-13B Qwen-7B InternLM-7B 微调	项目尚未发布相关论文。公开源码部分见：https://github.com/X-D-Lab/MindChat MindChat体验地址: MindChat-创空间	项目除了公开微调模型权重、简要测试用脚本和心理学多方面（学习、家庭、工作、朋友、安全）的测试样例效果外，其它已公开资料较少，虽然项目提供了在线试用网址。持续更新中	同上	2023年6月发布	82
QiZhenGPT启真医学大模型	Chinese-LLaMA-Plus-7B CaMA-13B ChatGLM-6B 指令微调	项目尚未发布论文公开源码地址： https://github.com/CMKRG/QiZhenGPT	项目以开放微调后模型及验证脚本为主虽然也设计了对比实验并给出了统计结果，但所涉及的数据集及构建方法等都没具体开放	浙江大学、网新数字健康联合研究中心	2023年5月	424
PULSE中文医疗大模型	bloomz-7b1-mt QLoRa微调	无相关论文相关代码及模型：https://github.com/openmedlab/PULSE OpenMEDLab/PULSE-7bv5 · Hugging Face 关联开源生态应用： https://github.com/openmedlab/XrayPULSE https://github.com/JuneYaooo/medical_kb_chatbot	项目在模型调优训练及所用数据集信息比较有限，提供了微调后的模型下载，对于有进一步使用及定制化的需要，项目组持开放态度。项目在效果评价时，采用了Elo等级分评价方法，与其它通用大模型及中文医疗大模型进行对比实验，并且给出了评价的实现。项目也开源了相关生态应用XRayPULSE等	上海人工智能实验室、上海交通大学-清源研究院、华东理工大学-自然语言处理与大数据挖掘实验室	2023年6月	313
CareLlama关怀羊驼中文医疗大模型 (TBD)	TBD	CareLlama在线体验版：https://huggingface.co/spaces/wangrongsheng/CareLlama 其它待作者再次开放后补充	与 MedQA-ChatGLM 为同一个团队开发，值得期待	澳门理工大学	2023年8月（后又宣布闭源1个月，估计9月份再次开放）	TBD

1）MedicalGPT-zh - 一个基于ChatGLM的在高质量指令数据集微调的中文医疗对话语言模型（2023年7月更名为MING）

项目简介

项目最初开源了基于ChatGLM-6B LoRA 16-bit指令微调的中文医疗通用模型。基于共计28科室的中文医疗共识与临床指南文本，从而生成医疗知识覆盖面更全，回答内容更加精准的高质量指令数据集。以此提高模型在医疗领域的知识与对话能力。

项目由上海交通大学未来媒体网络协同创新中心和上海人工智能实验室智慧医疗中心合作研发。

2023年7月MedicalGPT-zh更名为MING，相关基础模型及微调训练数据等等做了全新的更新。

论文及开源地址

开源地址原为：

https://github.com/MediaBrain-SJTU/MedicalGPT-zh

会自动重定位到

https://github.com/MediaBrain-SJTU/MING

数据集构建

本项目数据主要分为两个部分：情景对话与知识问答

数据类型	描述	数量	占比（%）
情景对话	在具体场景下的医患诊疗对话	52k	28.57
知识问答	医学知识问题的解释性回答	130k	71.43
总计	-	182k	100

情景对话：主要参考BELLE的指令数据集生成方式，将医学指令按照诊疗情景的不同主要分为16种大类，通过100条情景对话种子任务生成的52k条情景对话数据。提供了情景对话种子任务及生成情景对话数据的程序，最终生成的52k情景对话数据医学指令类型及其分布如图所示。

其中提到的BELLE， Be Everyone's Large Language model Engine（开源中文对话大模型），地址为：

https://github.com/LianjiaTech/BELLE

https://github.com/LianjiaTech/BELLE/blob/main/docs/Towards%20Better%20Instruction%20Following%20Language%20Models%20for%20Chinese.pdf、https://github.com/LianjiaTech/BELLE/blob/main/docs/A%20Comparative%20Study%20between%20Full-Parameter%20and%20LoRA-based.pdf

知识问答：医学知识来源于自建的医学数据库。通过提供具体的医疗共识与临床指南文本，先让ChatGPT生成与该段医学知识内容与逻辑关系相关的若干问题，再通过“文本段-问题”对的方式让ChatGPT回答问题，从而使ChatGPT能够生成含有医学指南信息的回答，保证回答的准确性。知识问答与医疗指南、依据医疗指南生成的知识问答样例都有提供, 并提供了知识问答数据生成的程序。其中，医疗共识与临床指南中文本段涵盖28个科室共计32k个文本段。各科室及其分布如图所示。

模型输出样例

模型训练

项目训练代码采用模型并行算法，可以在最少4张3090显卡上完成对ChatGLM LoRA 16-bit的指令微调。

开放程度

项目初始发布时，github上给出了数据集的构建程序、模型训练程序及运行命令行代码，可直接运行。 2023年7月份，相关的程序库都已消失，变成了如下的更为概略的MING模型。

保留该模型的目的，仅仅是从其原有开放资料中，了解借鉴相关的技巧方法，。

2）明医 (MING)——中文医疗问诊大模型

项目简介

这是MediaCPT-zh的最新替代版（2023年7月25日）。该问诊大模型提供了两种功能：

医疗问答：对医疗问题进行解答，对案例进行分析。
智能问诊：多轮问诊后给出诊断结果和建议。

论文及源码

项目仅给出了部分代码库，如下：

https://github.com/MediaBrain-SJTU/MING

并没有论文或者技术报告支撑。

数据集构建

数据集主要由四个部分构成：

数据类型	数据构成	数量	占比(%)
医疗知识问答	基于临床指南和医疗共识的知识问答	168k	48.88
	基于医师资格考试题的知识问答	77k
	真实医患问答	140k
	基于结构化医疗图谱的知识问答	160k
多轮情景诊断与案例分析	基于HealthCareMagic构造的多轮情景问答与诊断	200k	21.52
	基于USMLE案例分析题的格式化多轮问诊	20k
	多轮病人信息推理与诊断	20k
任务指令	医疗指令	150k	26.91
任务指令	通用指令	150k	26.91
安全性数据	敏感性问题	15k	2.69
安全性数据	医疗反事实	15k	2.69
总计	-	1.12M	100.00

git库中并没有相关的数据源说明。

样本生成方式

与MedicalGPT相比，MING的说明中并没有详细的微调训练样本的说明, 给出的代码是采用FastChat平台进行的。

模型训练

该模型采用的是基于bloomz-7B的指令微调，最后生成MING-7B。

模型	基座	HuggingFace
MING-7B	bloomz-7b1-mt	声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/我家自动化/article/detail/185914 推荐阅读 article 总结关于2023年第一季度网络安全工程师职业现状、职业前景和未来发展方向_2023年上半年网络安全就... 网络安全工程师是一个快速发展的职业，未来的前景非常广阔。其中就2023年第一季度的网络安全工程师现状与未来发展总结如下_... 赞踩 article apt-get install openssh-server 安装不成功解决办法_sudo apt-... 1.修改下载源输入：sudo nano/etc/apt/sources.list将所有下载网址替换为：http://mi... 赞踩 article 安全防御{第一次作业（笔记整理）}... 目录网络安全概述1.什么是网络安全2.网络安全的重要性4.网络安全发展历程5.常见的病毒攻击6.常见的网络安全术语7.网... 赞踩 article vuepress搭建个人博客+Github Actions 自动部署（详细）_jamesives/g... Github Actions 自动部署vuepress搭建个人博客配置私钥和公钥创建两个仓库一个存放代码，一个用来显示打... 赞踩 article 防御第六次作业-笔记整理... VPN --- 虚拟专用网 --- 一般指依靠ISP或者其他NSP，也可以是企业自身，提供的一条虚拟网络专线。这个虚拟的... 赞踩 article 分享两年折腾DIY-NAS的经验和小技巧... 前言：篇幅较长！！耐心看完，可能会有收获~现在使用NAS是采用Win Server+虚拟机黑群晖的方案，兼容性强的同时还... 赞踩 article JavaScript学习笔记（9）... Number() 转换为数字， String() 转换为字符串， Boolean() 转换为布尔值;当 JavaScri... 赞踩 article shell_shel命令ps -ef \| grep "wget" \| grep -v grep \| ... shell 编程学习文档命令描述cat在面板打印文件内容，只读文件sed编辑文件sudo -i切换管理员&后台运行，解... 赞踩 article SpringCloud学习笔记九：Spring Cloud Security 安全_spring-c... Spring Cloud Security 安全的作用Spring Cloud Security提供了一系列原函数，用于... 赞踩 article nvidia驱动、cuda、cudnn安装步骤_sudo rm -rf libcudnn.so li... 一、nvidia驱动安装确保linux内核为4.8.xa: 查看内核版本：uname -ab: 查询系统中装了多少内核:... 赞踩 article Gitea Actions使用体验_gitee actions... Gitea Actions有两种使用方法，其中一种是在本地部署一个Gitea实例使用，另一种是直接通过Gitea官方使用... 赞踩 article Git系列教程(四)——git分支管理_git publish... 什么是分支？有了分支，你创建了一个属于你自己的分支，别人看不到，还继续在原来的分支上正常工作，而你在自己的分支上干活，想... 赞踩 article ubuntu终端连接远程服务器时出现的“The authenticity of host can‘t... 可能是远程服务器的一种安全机制，具体原因不明。_the authenticity of host 'master (19... 赞踩 article Tomcat渗透测试_渗透测试扫描目录发现tomcat默认页面... 1.vulhub配置下载vulhub压缩包，解压到Ubuntu系统下。进入到Tomcat put 漏洞对应的CVE漏洞编... 赞踩 article Python 中类的内置方法（魔法函数）_python类的内置方法... Python 中类的内置方法（魔法函数）凡是在类内部定义，以_ _ xx _ _ 结尾的方法，都是类的内置方法，也称之为... 赞踩 article Dell服务器配置RAID... Dell服务器配置RAID TGee0人评论7079人阅读2018-01-15 17:36:25 实训任务：D... 赞踩 article macOS Ventura 引导光盘 ISO 镜像文件下载与使用指南_macos下载iso... 通过下载 macOS Ventura 引导光盘 ISO 镜像文件，并按照上述步骤创建引导光盘，您可以轻松地安装和启动 m... 赞踩 article 学网络安全以后可以做什么？6个就业方向一定要提前知道_网安六个方向... 网络安全就业_网安六个方向网安六个方向前言学会网络攻防技术之... 赞踩 article GitHub Actions 与 Gitee 自动部署_github workflows 自动部署到... GitHub 的自动化流水线，主要功能为- 监听推送分支- 自动构建并部署支 GitHub Pages- 自动推送至 G... 赞踩 article python 搭建web服务器... 使用 httpie 在命令行进行测试1、最基本的：# __coding :utf-8 __import httpie... 赞踩相关标签 web安全安全网络安全网络安全工程师职场和发展 openssh-server 笔记 github vscode https 网络协议 nas javascript 学习 shell spring cloud 微服务 security OAuth2 gitea git ubuntu 服务器 Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。闽ICP备14008679号

2023年开源中文医疗大模型概览_关于医疗方面的开源大模型和产品有哪些

序言

开源中文医疗大模型信息一览表

1）MedicalGPT-zh - 一个基于ChatGLM的在高质量指令数据集微调的中文医疗对话语言模型 （2023年7月更名为MING）

项目简介

论文及开源地址

数据集构建

模型训练

开放程度

2）明医 (MING)——中文医疗问诊大模型

项目简介

论文及源码

数据集构建

样本生成方式

模型训练

1）MedicalGPT-zh - 一个基于ChatGLM的在高质量指令数据集微调的中文医疗对话语言模型（2023年7月更名为MING）