TigerBot: An Open Multilingual Multitask LLM

本文是LLM系列文章，针对《TigerBot: An Open Multilingual Multitask LLM》的翻译。

摘要

我们发布并介绍了TigerBot系列的大型语言模型（LLM），由基础模型和聊天模型组成，大小分别为7、13、700和1800亿个参数。我们从Llama-2和BLOOM开始开发我们的模型，并在数据、训练算法、基础设施和应用工具方面进一步突破界限。与SOTA开源模型（例如Llama-2）相比，我们的模型获得了有意义的性能提升，特别是英语提升了6%，中文提升了20%。TigerBot模型家族在主要的学术和行业基准和排行榜上也取得了领先的表现。我们相信TigerBot只是LLM开源社区闪电般发展的一个缩影。因此，我们很高兴能够通过公开发布我们的模型和报告我们的方法来回报，并进一步强调以民主化的方式构建SOTA LLM以及使LLM在现实世界的应用中发挥作用。

1 引言

2 TigerBot模型

3 应用

4 结论

在这项工作中，我们介绍了TigerBot，这是一个预训练和聊天LLM家族，参数大小为7B到180B。TigerBot凭借其高质量的训练数据和一系列尖端的训练方法和系统实现了SOTA性能。我们还特别强调了实际应用，对一系列工具和现实世界场景进行了详细的实现和观察。我们坚信开放式创新，我们的工作从LLM开源社区中受益匪浅。同样，我们希望我们的工作能够为社区未来的理论和实践研究与发展做出贡献。
LLM的出现标志着几十年人工智能发展史上最激动人心的时刻之一，这主要是因为它具有压倒性的性能，具有极端的通用性，同时易于构建。我们同样感到敬畏。然而，从我们大量的实验和实现来看，我们相信我们仍处于LLM和更广泛的AGI进化的初级阶段。仅举几个例子，在关键任务的可靠解决方案、可持续的基础设施、实际应用程序的颠覆性而非增量用户价值方面都存在挑战。未来的旅程令人兴奋，但同样艰巨。保持冷静和愉快的编码。