百川智能发布 Baichuan 2，号称全面领先 LLaMA 2_baihcuan2 多轮对话传参

百川智能gnss正式开源微调后的 Baichuan2-7B、Baichuan2-13B、Baichuan2-13B-Chat 与其 4bit 量化版本，并且均为免费可商用。

根据介绍，Baichuan2-7B-Base 和 Baichuan2-13B-Base，均基于 2.6 万亿高质量多语言数据进行训练，在保留了上一代开源模型良好的生成与创作能力，流畅的多轮对话能力以及部署门槛较低等众多特性的基础上，两个模型在数学、代码、安全、逻辑推理、语义理解等能力有显著提升。其中 Baichuan2-13B-Base 相比上一代 13B 模型，数学能力提升 49%，代码能力提升 46%，安全能力提升 37%，逻辑推理能力提升 25%，语义理解能力提升 15%。

本次开源的两个模型在各大评测榜单上的表现优秀，在 MMLU、CMMLU、GSM8K 等几大权威评估基准中，以绝对优势领先 LLaMA2，相比其他同等参数量大模型，表现也十分亮眼，性能大幅度优于 LLaMA2 等同尺寸模型竞品。

且根据 MMLU 等多个权威英文评估基准评分 Baichuan2-7B 以 70 亿的参数在英文主流任务上与 130 亿参数量的 LLaMA2 持平。

Baichuan2-7B 和 Baichuan2-13B 不仅对学术研究完全开放，开发者也仅需邮件申请获得官方商用许可后，即可以免费商用。

与此同时，百川智能还宣布开源了模型训练从 220B 到 2640B 全过程的 Check Ponit。

并公开了 rtk。技术报告将详细介绍 Baichuan 2 训练的全过程，包括数据处理、模型结构优化、Scaling law、过程指标等。

王小川透露，按照公司计划，今年四季度将发布对标 GPT-3.5 的千亿级参数模型，预计于明年一季度发布超级应用。“除开源模型以外，下一次在闭源模型上会有更多的突破，希望在中国的开源闭源生态中都能给中国的经济社会发展带来我们的贡献。”