【医学大模型】TECHGPT-2.0：大模型加强医学知识图谱

TECHGPT-2.0：大模型加强医学知识图谱

• • TECHGPT-2.0 框架
  • 总结

 

---

论文：https://arxiv.org/pdf/2401.04507.pdf

代码：https://github.com/neukg/TechGPT-2.0

医学NER

问题这句话中是否有实体？如果有，请列举出来。

依据主要病变部位分为下列数型：脊髓型最常见，为脊髓前角细胞受损所致，表现为分布不对称、不规则的弛缓性肌肉瘫痪，四肢多见，下肢尤甚。

GPT4：

1. 实体：脊髓型
   - 类型：疾病型态
   
2. 实体：脊髓前角细胞
   - 类型：解剖部位
   
3. 实体：弛缓性肌肉瘫痪
   - 类型：症状
   
4. 实体：四肢
   - 类型：解剖部位
   
5. 实体：下肢
   - 类型：解剖部位
1
2
3
4
5
6
7
8
9
10
11
12
13
14

TECHGPT-2.0：

实体名:先天畸形, 实体类型:疾病
实体名:发育障碍, 实体类型:临床表现
实体名:上、下呼吸道梗阻, 实体类型:疾病
实体名:膈疝, 实体类型:疾病
实体名:肺部受压迫, 实体类型:临床表现
实体名:肺, 实体类型:身体
实体名:呼吸衰竭, 实体类型:疾病
实体名:毒蕈, 实体类型:微生物类
实体名:高锰酸钾, 实体类型:药物
实体名:活性炭, 实体类型:药物
实体名:硫酸镁, 实体类型:药物
实体名:导泻, 实体类型:医疗程序
实体名:二巯基丙磺酸钠, 实体类型:药物
实体名:肌内注射, 实体类型:医疗程序
实体名:阿托品, 实体类型:药物
实体名:肌内注射, 实体类型:医疗程序
实体名:阿托品, 实体类型:药物
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

嘿嘿，医学信息抽取比GPT4还有好用。

医学咨询：

问题：年10岁近两天再次出现干呕恶心呕吐腹痛，喝了止泻药但情况没太大变动，应该如何治疗，如何吃晚饭？

TECHGPT-2.0：

您描述的症状主要包括胃部不适症状如恶心、呕吐以及肚子痛，建议立即就医确诊病因并采取合适的治疗方法。以下是一些可能帮助您的方法和建议：
* 首先应该考虑是否是因为最近吃了什么不健康的食物或饮料导致消化不良所引起。如果是这样，可以避免这些食物以促进消化吸收。此外，可以考虑喝一杯温水以刺激肠胃运动，或者使用小苏打来缓解酸碱失衡问题（请咨询医生）。
* 如果以上方案无效或是其他原因引起的疼痛等病症持续存在并且影响日常生活时间较长的话最好去医院检查一下是否存在某种疾病感染，进行相应的处理方式会因具体病情而异。同时需要评估治疗费用负担的能力状况，以免造成经济损失。
* 在生病期间饮食选择上需要注意营养均衡的选择多样化多样的食品组合，避免过量或不当搭配的情况产生不良反应。例如食用易腐烂变质食物要加强注意；辛辣刺激性食物需减少甚至禁食等等。
1
2
3
4

GPT4：

对于10岁儿童近两天出现的干呕、恶心、呕吐和腹痛症状，首先需要注意的是这些症状可能是某些健康问题的表现，如胃肠炎、食物中毒或其他消化系统疾病。即使已尝试使用止泻药但症状未改善，建议采取以下措施：

1. **及时就医：** 鉴于症状持续且药物治疗未能改善情况，应尽快带孩子就医，进行必要的检查和评估，以确定具体原因并得到针对性的治疗建议。

2. **饮食调整：** 在就医前，可以尝试给孩子吃一些容易消化的食物，如稀饭、面条或是蒸土豆等，避免油腻、辛辣和难以消化的食物。同时，确保孩子有充足的水分摄入，可以给予口服补液盐或清水，避免脱水。

3. **观察症状：** 记录孩子的症状变化，包括呕吐频率、腹痛的具体位置和强度，以及是否有发热、腹泻等其他症状，这些信息对医生诊断有帮助。

4. **避免自我治疗：** 如果不清楚病因，避免随意给孩子使用药物，以免掩盖症状，使得疾病诊断更加困难。

5. **晚饭建议：** 如果孩子感到饿，可以尝试给予少量的清淡饮食，如前面提到的稀饭或面条，观察孩子的反应，如果吃后症状加剧，则应停止进食，等待医生评估。

请注意，这些建议不能替代专业医疗建议。如果孩子的症状持续或加重，应立即寻求医生的帮助。
1
2
3
4
5
6
7
8
9
10
11
12
13

医学咨询GPT4考虑的背景信息更多（10岁），方案更具体（记录呕吐频率等）

TECHGPT-2.0 框架

1. 特征1：多模型集成

   • 解法：TechGPT-2.0整合了两个7B规模的模型和一个专门的QLoRA模型权重，以提高处理长文本的能力和整体模型性能。
   • 之所以使用多模型集成解法，是因为不同模型可能在处理特定类型的任务时展现出不同的优势，通过集成可以充分利用各自的优势，提高整体性能。

2. 特征2：在Ascend服务器上训练

   • 解法：TechGPT-2.0在华为的Ascend服务器上训练，使用Mindspore和Mindformer库进行调试。
   • 之所以选择在Ascend服务器上训练，是因为Ascend服务器提供了高性能计算能力，特别适合大规模模型的训练需求，同时Mindspore提供了与Ascend硬件紧密集成的高效编程环境。

3. 特征3：专注于中文互联网知识图谱领域

   • 解法：选择LLAMA2作为TechGPT-2.0项目的基础模型，并专注于中文语境下的知识图谱构建任务。
   • 之所以专注于中文互联网知识图谱领域，是因为中文数据和应用场景具有特定的语言和文化特性，需要定制化的模型来处理这些特定的挑战。

4. 特征4：长文本处理能力

   • 解法：通过QLoRA和位置插值方法，优化模型处理长文本的能力。
   • 之所以采用QLoRA和位置插值方法，是因为长文本处理对于知识图谱构建尤为重要，能够更好地理解和抽取长距离依赖信息，这对于提高模型在复杂文本理解和生成任务上的表现至关重要。

5. 特征5：数据收集和处理的复杂性

   • 解法：进行了分阶段的数据收集和精细化的数据处理，以构建适合TechGPT-2.0训练需求的高质量数据集。
   • 之所以进行复杂的数据收集和处理，是因为高质量、大规模、并且针对性强的数据集对于模型的训练至关重要，可以显著提高模型在特定任务上的性能和泛化能力。

关于微调技术QLoRA、大模型上下文扩展-位置插值方法，都记录在下文：

大模型关键技术：上下文学习、思维链、RLHF、参数微调、并行训练、旋转位置编码、模型加速、大模型注意力机制优化、永久记忆、LangChain、知识图谱、多模态

不同模型（例如Atom和Alpaca）的超参数设置的表格。

超参数可能包括训练周期（epochs）、批量大小（batch_size）、学习率（learning_rate）、预热比例（warmup_ratio）、序列长度（seq_length）、隐藏层大小（hidden_size）、层数（num_layers）、头数（num_heads）、词汇量大小（vocab_size）、和预训练序列长度（pretrain_seq_len）等。

总结

TechGPT-2.0 为了解决以下问题：

1. 知识图谱构建的效率和质量： 通过集成两个7B规模模型和一个QLoRA模型权重，TechGPT-2.0旨在提高模型在构建知识图谱任务上的性能，这包括但不限于提高实体识别（NER）和关系提取（RE）的准确性。

2. 长文本处理的能力： 传统的大型模型在处理长文本时可能会遇到性能瓶颈，尤其是在注意力机制对长距离依赖捕捉的限制上。

   TechGPT-2.0通过引入QLoRA和位置插值方法来优化长文本的处理，从而能更好地处理更长的输入序列。

对比大模型，TechGPT-2.0的优势在于：

• 更好的适应性： TechGPT-2.0的结构和训练方法被优化，以更好地适应特定任务，如知识图谱构建，这通常涉及对特定领域的深入理解。

• 高效的计算资源使用： 通过QLoRA模型权重的使用，TechGPT-2.0可能在模型参数量化和低秩适应方面进行了优化，这有助于减少计算资源的消耗，同时保持或提升模型性能。

• 长文本处理： 位置插值方法允许模型更有效地处理比其原始设计更长的文本序列，这在传统大型模型中是一个挑战。

总体而言，TechGPT-2.0的设计旨在平衡模型规模和性能，确保在处理特定任务时能够实现高效率和高准确度，同时也优化了长文本处理的问题，这些都是在传统大型模型中可能未被充分解决的问题。