LLM360: Towards Fully Transparent Open-Source LLMs_知乎 llm360: towards fully transparent open-source l

作者：Cpp五条 | 2024-05-25 03:58:39

踩

知乎 llm360: towards fully transparent open-source llms

本文是LLM系列文章，针对《LLM360: Towards Fully Transparent Open-Source LLMs》的翻译。

LLM360：迈向完全透明的开源LLM

摘要
1 引言
2 相关工作
3 LLM360框架
4 初始型号发布
5 总结
6 结论和未来工作

摘要

最近开源大型语言模型（LLM）的激增，如LLaMA、Falcon和Mistral，为人工智能从业者和研究人员提供了多种选择。然而，大多数LLM只发布了部分工件，如最终的模型权重或推理代码，技术报告越来越多地将其范围限制在高级设计选择和表面统计数据上。这些选择降低了LLM训练的透明度，并迫使团队重新发现训练过程中的许多细节，从而阻碍了该领域的进展。我们介绍了LLM360，这是一项完全开源LLM的倡议，它主张向社区提供所有训练代码和数据、模型检查点和中间结果。LLM360的目标是通过使端到端LLM训练过程透明并可供所有人复制，支持开放和协作的人工智能研究。作为LLM360的第一步，我们发布了两个从头开始预训练的7B参数LLM，AMBER和CRYSTALCODER&#

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Cpp五条/article/detail/620467