中文金融大语言模型（LLM）开源！_finllm

作者：在线问答5 | 2024-08-03 12:54:58

踩

finllm

复旦大学开源！

DISC-FinLLM，中文金融大语言模型（LLM），旨在为用户提供金融场景下专业、智能、全面的金融咨询服务。DISC-FinLLM, a Chinese financial large language model (LLM) designed to provide users with professional, intelligent, and comprehensive financial consulting services in financial scenarios.

源代码：

http://www.gitpp.com/car-ai/disc-finllm

DISC-FinLLM 是一个专门针对金融场景下为用户提供专业、智能、全面的金融咨询服务的金融领域大模型，由复旦大学数据智能与社会计算实验室 (Fudan-DISC) 开发并开源。

我们将在该项目中开源如下资源：

DISC-FinLLM-SFT 训练数据样例
DISC-FinLLM 模型参数
DISC-Fin-Eval Benchmark
DISC-FinLLM-SFT 完整训练数据（ToDo）
DEMO 部署代码（ToDo）

您可以通过访问这个链接来在线体验我们的 DISC-FinLLM。

虽然开源的大语言模型库Llama在技术上非常先进，但是由于没有充足的中文数据，尤其是缺少特殊领域的专业数据，比如法律、金融和医疗等领域，因此在这类特定领域内，Llama的表现可能并不理想。

为了提升Llama在这些领域内的性能，通常需要进行微调。微调的过程一般包括以下步骤：

数据准备：

收集特定领域（如法律、金融、医疗等）的大量中文文本数据。这些数据应涵盖该领域的专业知识、术语和常见场景，以确保模型的泛化能力。
对收集到的数据进行预处理，包括清洗、分词、去除停用词等，以提高数据的质量和有效性。

模型架构调整：

根据特定领域的特点，可以对Llama模型的架构进行适当调整。例如，可以增加针对领域术语的嵌入层，以提高模型对专业术语的理解和识别能力。
调整模型的解码策略，以生成更符合领域规范和语境的文本。

训练与优化：

利用收集到的领域特定数据进行模型的训练。通常采用监督学习的方式，利用标注好的数据进行训练。
在训练过程中，通过调整学习率、批次大小等超参数来优化模型的训练效果。
采用正则化、dropout等技术来防止模型过拟合，提高模型的泛化能力。

模型评估与验证：

在训练完成后，使用验证数据集对微调后的模型进行评估，以确保其性能得到提升。
可以通过人工评估、自动评估指标（如BLEU、ROUGE等）或特定领域的任务完成情况来评估模型的性能。

部署与应用：

将微调后的模型部署到实际应用场景中，如法律文本分析、金融风险评估或医疗辅助诊断等。
持续监控模型的性能，并根据实际需要进行进一步的优化和调整。

通过以上步骤，可以对Llama进行针对特定领域的微调，从而提升其在该领域内的性能和应用效果。

人工智能文生图法国美女

源代码：

http://www.gitpp.com/car-ai/disc-finllm

大模型岗位需求

大模型时代，企业对人才的需求变了，AIGC相关岗位人才难求，薪资持续走高，AI运营薪资平均值约18457元，AI工程师薪资平均值约37336元，大模型算法薪资平均值约39607元。
在这里插入图片描述

掌握大模型技术你还能拥有更多可能性：

• 成为一名全栈大模型工程师，包括Prompt，LangChain，LoRA等技术开发、运营、产品等方向全栈工程；

• 能够拥有模型二次训练和微调能力，带领大家完成智能对话、文生图等热门应用；

• 薪资上浮10%-20%，覆盖更多高薪岗位，这是一个高需求、高待遇的热门方向和领域；

• 更优质的项目可以为未来创新创业提供基石。

可能大家都想学习AI大模型技术，也想通过这项技能真正达到升职加薪，就业或是副业的目的，但是不知道该如何开始学习，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学。为了让大家少走弯路，少碰壁，这里我直接把全套AI技术和大模型入门资料、操作变现玩法都打包整理好，希望能够真正帮助到大家。

-END-

中文金融大语言模型（LLM） 开源！_finllm

大模型岗位需求

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/在线问答5/article/detail/923098

中文金融大语言模型（LLM）开源！_finllm