热门标签
热门文章
- 1Knife4j添加全局请求头Authorization_knife4j设置全局请求头
- 2使用 dbgate 在 sealos 上完美管理 mysql pgsql 等数据库_sealos搭建高可用mysql数据库
- 3JDK的下载安装教程_jdk怎么下载
- 4利用SpringBoot和Vue实现前后端分离（附源码）_springbootvue前后端分离项目源码
- 5自定义数据类型，各模块共享数据类型（VIVADO&VHDL）_vivado vhdl package
- 6【运维小知识】（一）——centos系统安装（小白入门级）
- 7Linux安装Zookeeper
- 8Golang | Leetcode Golang题解之第295题数据流的中位数
- 9基于ESP32学习MicroPython(三): 流水灯案例_micropython案例
- 10GPT2(Language Models are Unsupervised Multitask Learners)论文阅读_gpt2论文
当前位置: article > 正文
大型语言模型LLM的核心概念
作者：小舞很执着 | 2024-07-29 14:08:19
赞
踩
大型语言模型LLM的核心概念
本文主要介绍了目前主流的，几个大型语言模型LLM的整个训练过程
通常分为下面的几个阶段
1. 预训练
采用互联网上的大量数据进行训练，这一阶段大模型LLM的主体已定，找出共性并且压缩成一个模型。模型的参数量不是越大越好，遵循合理、适中的原则。增加数据量并保持中到大型的参数规模，则是一个成本与模型效果的平衡之后的合理方案
2. 微调
大型语言模型中，绝大部分的知识都是在预训练中学习的。
这阶段需要喂给精确的、高质量的问答数据给大模型，可以使用相对较少的数据，来继续训练模型，以适应特定问题和场景
对于每个问题，大模型都会给 3 个回答，需要人类手动选择一个最优的回答，给大模型一个反馈，来帮助大模型进一步优化和提升。
3. 模型对齐
使用预期回答模板，套入大模型生成的回答，实现模型和预测的对齐。这有助于符合正当的合法的目的，同时遵守人类最基本的情感、道德、底线、公序良俗以及符合当地的风俗习惯等等
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小舞很执着/article/detail/899077
推荐阅读
相关标签
