热门标签
热门文章
- 1MindSpore大模型并行需要在对应的yaml里面做哪些配置_mindformer数据并行
- 2202105110111王宇骐_服务端会自动url解码吗
- 3Hadoop中jps有，但是http://hadoop01:50070/出现不了界面怎么解决？hadoop集群启动但不能访问50070？_jps五项正常启动,hadoop01:50070打不开如何解决
- 4NLPIR+Hadoop_nlpir的hadoop
- 5无人机航拍数据集整理_飞机图片数据集
- 6Java进阶学习之路_java进阶之路
- 7使用Ollama和Open WebUI 部署AI聊天机器人_open-webui 自定义模型名称
- 8pynuput模块 控制和监视鼠标键盘操作
- 9openmv图像识别（形状篇）_openmv识别圆形
- 10一步步带你解锁Stable Diffusion：老外都眼馋的 SD 中文提示词插件分享_sd中文提示词插件
当前位置: article > 正文
大型语言模型LLM的核心概念
作者：小舞很执着 | 2024-07-29 14:08:19
赞
踩
大型语言模型LLM的核心概念
本文主要介绍了目前主流的，几个大型语言模型LLM的整个训练过程
通常分为下面的几个阶段
1. 预训练
采用互联网上的大量数据进行训练，这一阶段大模型LLM的主体已定，找出共性并且压缩成一个模型。模型的参数量不是越大越好，遵循合理、适中的原则。增加数据量并保持中到大型的参数规模，则是一个成本与模型效果的平衡之后的合理方案
2. 微调
大型语言模型中，绝大部分的知识都是在预训练中学习的。
这阶段需要喂给精确的、高质量的问答数据给大模型，可以使用相对较少的数据，来继续训练模型，以适应特定问题和场景
对于每个问题，大模型都会给 3 个回答，需要人类手动选择一个最优的回答，给大模型一个反馈，来帮助大模型进一步优化和提升。
3. 模型对齐
使用预期回答模板，套入大模型生成的回答，实现模型和预测的对齐。这有助于符合正当的合法的目的，同时遵守人类最基本的情感、道德、底线、公序良俗以及符合当地的风俗习惯等等
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小舞很执着/article/detail/899077
推荐阅读
相关标签
