“超级AI助手：全新提升！中文NLP训练框架，快速上手，海量训练数据，ChatGLM-v2、中文Bloom、Dolly_v2_3b助您实现更智能的应用！”_bloom中文改进

“超级AI助手：全新提升！中文NLP训练框架，快速上手，海量训练数据，ChatGLM-v2、中文Bloom、Dolly_v2_3b助您实现更智能的应用！”

1.简介

1. 目标：基于pytorch、transformers做中文领域的nlp开箱即用的训练框架，提供全套的训练、微调模型（包括大模型、文本转向量、文本生成、多模态等模型）的解决方案；
2. 数据：
   • 从开源社区，整理了海量的训练数据，帮助用户可以快速上手；
   • 同时也开放训练数据模版，可以快速处理垂直领域数据；
   • 结合多线程、内存映射等更高效的数据处理方式，即使需要处理百GB规模的数据，也是轻而易举；
3. 流程：每一个项目有完整的模型训练步骤，如：数据清洗、数据处理、模型构建、模型训练、模型部署、模型图解；
4. 模型：当前已经支持gpt2、clip、gpt-neox、dolly、llama、chatglm-6b、VisionEncoderDecoderModel等多模态大模型；
5. 多卡串联
   ：当前，多数的大模型的尺寸已经远远大于单个消费级显卡的显存，需要将多个显卡串联，才能训练大模型、才能部署大模型。因此对部分模型结构进行修改，实现了训练时、推理时
   的多卡串联功能。

• 模型训练

中文名称	文件夹名称	数据	数据清洗	大模型	模型部署	图解
中文文本分类	chinese_classifier	✅	✅	✅	❌	✅
中文gpt2	chinese_gpt2	✅	✅	✅	✅	❌
中文clip	chinese_clip	✅	✅	✅	❌	✅
图像生成中文文本	VisionEncoderDecoderModel	✅	✅	✅	❌	✅
vit核心源码介绍	vit model	❌	❌	❌	❌	✅
Thu-ChatGlm-6b(v1)	simple_thu_chatglm6b	✅	✅	✅	✅	❌
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Cpp五条/article/detail/179572 推荐阅读 article关于生成式语言大模型的一些工程思考 paddlenlp & chatglm & llama_llam... 生成式语言大模型，随着chatgpt的爆火，市场上涌现出一批高质量的生成式语言大模型的项目。近期百度飞桨自然语言处理项目... 赞 踩 article使用 DeepSpeed 和 Accelerate 进行超快 BLOOM 模型推理... 本文展示了如何使用 1760 亿 (176B) 参数的 BLOOM 模型[1] 生成文本时如何获得超快的词吞吐 (per... 赞 踩 article利用langchain-ChatGLM、langchain-TigerBot实现基于本地知识库的问答... 刷B站的时候，无意中看到吴恩达的一个langchain的教程，然后去github上搜了下，发现别人利用langchain... 赞 踩 articleLLM-SFT，新微调数据集-MWP-Instruct(多步计算 + 一、二元方程)，微调Bloom... 中文大模型微调(LLM-SFT), 支持模型(ChatGLM, LlaMA, Bloom), 支持(LoRA, QLoR... 赞 踩 article【Linux】【chatGLM-6B】如何从huggingface上下载chatGLM-6B模型于c... huggingface、chatGLM、部署_chatglm-6b模型下载chatglm-6b模型下载 ... 赞 踩 article大模型部署实战（三）——ChatGLM-6B_chatglm 默认下载的模型在哪... ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (G... 赞 踩 articlechatglm-6B模型下载... 从huggingface上面下载chatglm-6B模型是比较简捷的方式，下面记录一下下载安装过程。_chatglm-6... 赞 踩 articlechatglm-6B基础环境、模型下载、微调训练详细介绍_chatglm-6b 模型下载... chatglm-6B基础环境、模型下载、微调训练详细介绍_chatglm-6b 模型下载chatglm-6b 模型下载 ... 赞 踩 articleChatGLM-6B模型部署_chatglm-6b安装下载... 1、ICMP是IP协议的附属协议，IP层用它来与其他主机或路由器交换错误的报文信息和重要信息2、IGMP是Interna... 赞 踩 articlechatglm-6b模型在windows的详细安装教程_chatglm-6b windows... 最后，运行web_demo.py 在模型加载完成后，稍微等2分钟，一个网页就打开了，这时就可以使用chatglm-6b啦... 赞 踩 articleChatGLM-6B下载安装_thudm/chatglm-6b下载... 如果是docker中的虚拟机可以把上述的sudo去掉。通过官网指引需要先下载git-lfs。想把模型下载本地微调。_th... 赞 踩 articleChatGLM-6B部署笔记_chatglm-6b mac系统安装部署... 本笔记基于ChatGLM-6B开源网站完成ChatGLM的本地部署。首先电脑已经安装python3.10，anacond... 赞 踩 articleChatGLM-6B的P-Tuning微调详细步骤及结果验证_chatglm 微调过程中损失率,... ChatGLM-6B的P-Tuning微调详细步骤及结果验证_chatglm 微调过程中损失率,chatglm 微调过程... 赞 踩 article源码解析 ChatGLM Efficient Tuning utils/common.py_warn... 判断微调的类型，并根据微调的类型进行不同的处理。例如，如果微调类型为 "full"，则将模型的所有参数转换为 float... 赞 踩 相关标签 llama langchain 微调 SFT LLM 大模型 数学推理指令 linux centos git python 人工智能 机器学习 chatglm-6b hugging face 深度学习 pytorch tcp/ip 网络 网络协议 windows 语言模型 Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。    闽ICP备14008679号