赞
踩
利用大量数据进行训练
拥有数十亿甚至数千亿个参数
在各种任务中展现出惊人的性能
InternLM
是一个开源的轻量级训练框架,旨在支持大模型训练而无需大量的依赖。基于 InternLM
训练框架,上海人工智能实验室已经发布了两个开源的预训练模型:InternLM-7B
和 InternLM-20B
。
通过单一的代码库,InternLM
支持在拥有数千个 GPU
的大型集群上进行预训练,并在单个 GPU
上进行微调,同时实现了卓越的性能优化。在 1024
个 GPU
上训练时,InternLM
可以实现近 90%
的加速效率。
InternLM-7B
包含了一个拥有70亿参数的基础模型和一个实际场景量身定制的对话模型。该模型具有以下特点:
利用数万亿的高质量token进行训练,建立了一个强大的知识库。
支持8k token的上下文窗口长度,使得输入序列更长并增强了推理能力。
Lagent
是一个轻量级、开源的基于大语言模型的智能体(agent)框架,支持用户快速地将一个大语言模型转变为多种类型的智能体,并提供了一些典型工具为大语言模型赋能。通过 Lagent
框架可以更好的发挥 InternLM
的全部性能。
Demo作业:
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。