中国电信星辰语义大模型-TeleChat：央企首家开源的7B级对话模型_星辰语义大模型官网

引言

在人工智能领域，大模型的发展速度令人瞩目。近日，中国电信人工智能科技有限公司发布了其开源的星辰语义大模型——TeleChat。这不仅是中国电信在AI领域的重要布局，也标志着央企在高科技领域的深入探索。

模型简介

TeleChat，这一由中国电信精心打造的7B级对话模型，利用了1.5万亿Tokens的中英文高质量语料进行训练。此次开源的TeleChat-7B-bot模型，集成了7B模型的int8和int4量化版本，旨在提供更高效的计算性能和更广泛的应用场景。

• Huggingface模型下载：https://huggingface.co/Tele-AI

• AI快站模型免费加速下载：https://aifasthub.com/models/Tele-AI

模型结构与技术创新

TeleChat模型采用Decoder-only的结构，并在以下几个关键方面进行了创新：

• 位置编码：采用Rotary Embedding的方式，提高了位置信息的准确性和模型的训练效率。

• 激活函数：使用SwiGLU替代传统的GELU函数，以降低计算量。

• 层标准化：基于RMSNorm的Pre-Normalization技术，提高了模型的稳定性。