赞
踩
真的想入门大语言模型,只看这一个文章应该是可以入门的。但是修行下去,还是要靠自己的了!
如果你把大语言模型/LLM 当成一门技术来看,那就要看一下这门技术需要什么。
基本要求:
这些东西我们假定你都已经会了,或者熟练使用了。
如果不熟,我建议你自己再学习一下。尤其是数学的几个基本公式,是要学会的。我列一下吧。
你可以看到这些相对经常用到的数学,其实没有多难,只要你再看一下记住就好了。
Numpy 主要是掌握各种数据的使用方法
Pytorch 与 Tensor、 Keras 就是完成各种网络及训练的方法
做为 LLM 的基础模型,你要想入门,那对 Transformer 这个模型要了如指掌才成!
而 Transformer 的基本图像就是下面这样的:
推荐自己手写一个 Transformer 模型,至少要写一个 Attention 的结构。还要看懂下面这个图。你就能体会到一个至简的模型是怎么遵循 Scaling Law的,AGI 可能就在这个简单的重复与变大中了!
但是Transformer 这么简单的东西怎么就这么厉害了呢?整个大模型已经发展两三年了,如果你再不跟上,可能很快就淘汰了。
这些是个基础了。但是对于 LLM 来讲吧,如果你想自己继续研究,那可能要接触的就是下面这些东西了。
这几项基本上是针对效果及成本的要求从低到高的顺序,也是技术上从简单到难的顺序列出来的。
如果你想学习大模型技术,声明:本文内容由网友自发贡献,转载请注明出处:【wpsshop博客】
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。