详解各种LLM系列｜（2）LLaMA 2模型架构、预训练、SFT内容详解 (PART-1)_llama2 full sft repo

作者：小蓝xlanll | 2024-04-08 07:03:03

踩

llama2 full sft repo

一、引言

Llama 2是Meta在LLaMA基础上升级的一系列从 7B到 70B 参数的大语言模型。Llama2 在各个榜单上精度全面超过 LLaMA1，Llama 2 作为开源界表现最好的模型之一，目前被广泛使用。

为了更深入地理解Llama 2的技术特点，特地在此整理了Llama 2模型架构、预训练、SFT的内容详解，对于后续的RLHF和安全性分析，由于篇幅原因，笔者将写另一篇来介绍。

话不多说，直接上干货啦

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小蓝xlanll/article/detail/383713