搜索
查看
编辑修改
首页
UNITY
NODEJS
PYTHON
AI
GIT
PHP
GO
CEF3
JAVA
HTML
CSS
搜索
AllinToyou
这个屌丝很懒,什么也没留下!
关注作者
热门标签
jquery
HTML
CSS
PHP
ASP
PYTHON
GO
AI
C
C++
C#
PHOTOSHOP
UNITY
iOS
android
vue
xml
爬虫
SEO
LINUX
WINDOWS
JAVA
MFC
CEF3
CAD
NODEJS
GIT
Pyppeteer
article
热门文章
1
【目标检测】数据集准备全流程记录_official-ssdd-open
2
大数据毕业设计hadoop+spark+hive知识图谱酒店推荐系统_hadoop国内外研究现状
3
判断是否utf8编码的算法_wx小程序 判断文件是否为utf8
4
Linux 使用 yum安装 ELK服务,yum 安装elasticsearch和Kibana(未写完)
5
24.云原生ArgoCD高级之钩子_argocd postsync
6
FPGA与MATLAB联合仿真FIR滤波器_matlab fpga fir quartus
7
全网国内外20个开源知识管理工具
8
【世界经济论坛】明日职业走向:大语言模型/AIGC引领的工作变革
9
flink kafka 消费以及生产并行度设置_flink消费kafka并行度
10
py2neo 创建关系_py2neo,neo4j:如何在两个现有节点之间创建关系
当前位置:
article
> 正文
预训练和微调_模型训练与模型微调时训练的区别
作者:AllinToyou | 2024-06-03 11:56:54
赞
踩
模型训练与模型微调时训练的区别
所谓预训练,其实就是已经提前训练好的模型。比如,你需要搭建一个网络模型来完成一个特定的图像分类的任务。首先,你需要随机初始化参数,然后开始训练网络,不断调整直到网络的损失越来越小。在训练的过程中,一开始初始化的参数会不断变化。当你觉得结果很满意的时候,你就可以将训练模型的参数保存下来,以便训练好的模型可以在下次执行类似任务时获得较好的结果。这个过程就是 pre-training。
之后,你又接收到一个类似的图像分类的任务。这时候,你可以直接使用之前保存下来的模型的参数来作为这一任务的初始化参数,然后在训练的过程中,依据结果不断进行一些修改。这时候,你使用的就是一个 pre-trained 模型,而过程就是 微调(fine tuning)。
补充一下!还有一种无监督逐层预训练,是Hinton在很早的时候提出的,用于设置深层神经网络的参数的,现在已经基本废弃了,不要与这种预训练搞混了!
预训练还比较好理解,微调其实也比较好理解,往往无法直接把预训练的模型拿过来用,预训练模型和自己的任务还不太相同,那怎么办才能利用这个模型呢?当然是对其中的参数进行调整啊,对于预训练的模型的参数的调整就是
微调
。
如此一来,其实微调的过程就是训练的过程,微调就是训练,只不过微调只需要轻微改动,训练则需要对于随机初始化的参数进行大规模的改动,之所以存在如此区别,是因为微调使用了预训练的模型,参数是比较合适的,只不过需要根据自己的任务目标来进行轻微的改动,故称微调。
声明:
本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:
https://www.wpsshop.cn/w/AllinToyou/article/detail/667117
推荐阅读
article
2024年
Web
前端
最新
Web
View
交互架构
项目
实战(三):
多
进程
Web
View
使用
实践,各种风格...
其实
前端
开发的知识点就那么
多
,
面试
问来问去还是那么点东西。所以
面试
没有其他的诀窍,只看你对这些知识点准备的充分程度。so...
赞
踩
article
Web
前端
框架
:深入探索与
实践
...
Node.js,作为一种强大的后端技术,在
前端
框架
的构建中也发挥着不可或缺的作用。首先,我们需要了解Node.js
前端
框...
赞
踩
article
【
C++
】
list
的
使用
(下)...
本篇博客主要内容:STL库中
list
用法
的
讲解。让我们接着上一篇博文
的
内容继续,进入
list
最后一个模块,操作
list
对...
赞
踩
article
python
自动化
脚本
是
什么
意思
_
Python
自动化
脚本
学习(一)...
Python
基础命令行:在http://www.
python
.org安装
python
3,Mac下输入
python
3进入...
赞
踩
article
android
音视频
开发
视频课程
四面楚歌
的
Android
工程师该
何去何从
...
在脑图中,每个知识点专题都配有相对应
的
实战项目,可以有效
的
帮助大家掌握知识点。总之也是在这里帮助大家学习提升进阶,也节省...
赞
踩
article
HTML
总结...
您可以通过浏览器 trick 向
HTML
添加任何新元素:本例向
HTML
添加了一个名为
HTML
总结 ...
赞
踩
article
androidframework
层面
试题
,
,
看懂这份
Android
面经
大厂
真
不是
问题...
1)在要在onDraw或是onLayout()中去创建对象
,
因为onDraw()方法可能会被频繁调用
,
可以在view的构...
赞
踩
article
小白记录
学习
笔记之--
大
模型
应用
开发
...
以上就是今天的
学习
内容,坐而论道,不如起而行之!坚持吖!_
大
模型
应用
开发
大
模型
应用
开发
...
赞
踩
article
sql
端口
1433
错误的问题...
正在连接127.0.0.1...无法打开到主机的连接。 在
端口
1433
: 连接失败解决方案先防火墙新建规则
端口
1433
...
赞
踩
article
【
ZYNQ
】
ZYNQ
7000
UART
控制器
及
驱动
应用
示例_
zynq
实际
应用
代码...
UART
控制器
及
驱动
示例_
zynq
实际
应用
代码
zynq
实际
应用
代码 ...
赞
踩
article
基于
selenium
工具
刷
b
站
播放
量
(请谨慎使用)_刷
b
站
播放
量
软件...
【代码】基于
selenium
工具
刷
b
站
播放
量
(请谨慎使用)_刷
b
站
播放
量
软件刷
b
站
播放
量
软件 ...
赞
踩
article
培养
软件开发
安全
人才
,
缓解
网安
人才
百万缺口_
网安
加云
课堂...
前言随着2020年的疫情冲击
,
公共与商业服务的数字化规模逐渐扩大。网络
安全
不再承担着业务辅助的角色
,
而成为了公共与企业运...
赞
踩
article
HBase
安装
配置
和管理_
hbase
配置
...
1. 掌握
HBase
安装
配置
方法2. 掌握
HBase
Shel命令使用方法3. 掌握
HBase
Java API的基本用...
赞
踩
article
什么
是
GPL
...
什么
是
GPL
有
什么
用?
GPL
的起源copyright、license 和 copyleftcopyrightlicens...
赞
踩
article
ZYNQ-
XC7Z020
JTAG
连接不上
Vivado
_连接不上
zynq
...
解决 ZYNQ-
XC7Z020
JTAG
连接不上
Vivado
的问题。_连接不上
zynq
连接不上
zynq
...
赞
踩
article
小
熊家务帮
day5
-day7 客户管理模块1 (
小
程序
认证
,
手机
验证码
认证
,
账号
密码
认证
,
修改
密码
,
...
一般情况有用户交互的项目都有
认证
授权功能
,
首先要搞清楚两个概念:
认证
和授权。
认证
: 就是校验用户的身份是否合法
,
常见的认...
赞
踩
article
【
Linux
】超好用的
编译
工具 ——
gcc
/g
++
_
安装
g
++
...
记忆
gcc
选项的小技巧:预处理、
编译
、汇编对应的
gcc
选项分别是 “-E”、“-S”、“-c”,我们把这几个字母连起来也...
赞
踩
article
Android
组件
化
学习
,
《
Android
面试题及解析》分享_安卓
组件
化
的
缺点...
组件
化
带来
的
优势:**加快编译速度:**每个业务
组件
都可以单独运行调试
,
速度提升好几倍。**提高协作效率:**每个
组件
都...
赞
踩
article
Ubuntu
14.04
/
14.10
下
安装
VMware
Workstation
11图文教程...
背景: 阅读新闻 [日期:2015-01-14] 来源:Linux公社 作者:GuiltyMan [字体:...
赞
踩
article
学习
通
学习
--
脚本
_
学习
通
脚本
...
刷客所有科目答案可以网上找。_
学习
通
脚本
学习
通
脚本
刷客就爱学
学习
-首页 (xxbwk.top)...
赞
踩
相关标签
前端
交互
架构
node.js
前端框架
c++
list
开发语言
stl
数据结构
java
c语言
python自动化脚本是什么意思
android
html
音视频
学习
笔记
语言模型
自然语言处理
人工智能
ZYNQ
UART
selenium