LLM系列(0)：行业大模型落地服务在全业务场景的应用与探索【大模型智能问答、NL2SQL、文档智能分析智能生成、AI智能体决策等】_llm落地应用

行业大模型落地服务：在全业务场景的应用与探索

1.行业大模型落地挑战及应对

1.1.挑战一：有限的算力资源

在政企客户场景中落地行业大模型方案，可能首先面临的一个挑战是客户的算力资源有限。算力资源作为大模型落地的前提条件，是很多客户关注的重点，也是业务团队前期与客户沟通交流的一个重点。行业大模型场景落地是否一定需要大量的 GPU 算力，以及需要多少的算力才能满足落地需求？

GPU 算力主要消耗在两个地方，一是大模型训练，二是推理。我们先说大模型训练的算力需求。政企场景的行业大模型落地，一定是在通用基模的基础上开展训练的，没有人会从头开始大模型训练，这个区分还是有必要的。从 0 开始训练生成基础大模型，确实需要非常大量的 GPU 算力资源，但这些在基础大模型阶段已经完成了（所以说把高质量基模开源的团队非常了不起）。那么从基础大模型到行业大模型的过程中，到底做了什么训练，期间又增强了什么能力，这些能力是否是行业场景落地所必需的，就非常值得关注。如果这个过程增强的能力不是行业场景所必需的，那这个阶段的训练就没有存在的必要性了，至少是可以适当减少的。而且行业大模型的训练还有可能把基础大模型原来的通用能力给训下降了。

基础大模型到行业大模型的训练过程大致如图 1 所示，包括三个阶段：继续预训练（continual pretraining）、监督微调（Supervised Finetuning，SFT）、强化对齐。继续预训练和监督微调阶段，主要是基于客户行业场景的语料数据进行了行业基础能力的增强，比如对客户业务场景的理解、对行业专业术语的理解、对专业表述方式的学