赞
踩
最近也在努力的想要学习些机器学习的知识,目前正在了解各个概念及术语,下面就把学习到的概念都列出来。
是人工智能 (AI) 的一个分支,专注于使用数据和算法来模仿人类的学习方式,从而随着时间的推移逐渐提高准确性
Machine Learning 共分为四类,分别是:监督式 、非监督式 、半监督式学习和强化学习。
深度学习算法:
参考资料: CNN
参考资料: RNN
Transformer架构是大型语言模型背后的核心架构。它采用了自注意力机制来捕捉输入序列中的长距离依赖关系,避免了传统循环神经网络(RNN)中存在的梯度消失问题。Transformer包括编码器和解码器两个部分,其中编码器用于将输入序列编码为隐藏表示,而解码器则用于根据编码器的输出生成目标序列。
自注意力机制是Transformer架构的核心之一。它允许模型在处理每个输入位置时都可以关注到其他位置的信息,并且可以动态地调整不同位置的重要性。通过计算每个位置与其他位置的相关性,自注意力机制可以有效地捕捉序列中的语义关系,从而提高模型在自然语言处理任务中的性能。
在预训练模型的基础上,通过在特定任务上进行少量训练以调整模型参数,以适应特定任务的需求。
模型在未见过的数据上表现良好的能力,避免过拟合于训练数据。
将书面文字转换为可听见的语音的技术
算力单位:
每秒处理次数,通常是默认对INT8整数型数据的处理次数(INT8省略不写)
GPU每秒可以执行的深度学习推理操作次数,1TOPS=处理器每秒钟可进行一万亿次(10^12)操作。
每秒处理浮点数次数,加上FL后FLOPS指的是对FP32浮点数的处理次数
每秒处理浮点数的万亿次数
模型参数的处理次数,注意s是小写
MOPS (Million Operation Per Second) 一百万次(10^6) 兆;百万
GOPS (Giga Operations Per Second) 十亿次 (10^9) 千兆;十亿(billion,B)
TOPS (Tera Operations Per Second) 一万亿次 (10^12) 兆兆
换算:
1 TOPS = 10^12 FLOPS
1 GOPS = 10^9 FLOPS
1 MOPS = 10^6 FLOPS
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。