年度话题：大模型落地的十大难题_大模型技术难题

算力、成本、数据、运营模式、芯片架构……

2023年12月13日，全球科技顶刊《Nature》发布年度十大人物，与以往不同的是，今年的Nature’s 10额外增加了一个非人类，ChatGPT。

2023年12月20日，国家语言资源监测与研究中心、商务印书馆等单位联合主办的“汉语盘点2023”公布的年度国际词，同样是ChatGPT。

ChatGPT让大模型席卷全球，大模型被全球科技领袖定义为一次颠覆式科技革命。

微软CEO Satya Nadella说，“AI是我正在经历的第五次重大变革。”

腾讯CEO马化腾说，“AI是几百年不遇、类似发明电的工业革命一样的机遇。”

英伟达CEO黄仁勋更是大胆预测，“两年之内，英伟达乃至整个行业都会面目全非。”

我们不是先知，无法预见未来，但全球这些最具影响力、最有资源的企业领袖一致警觉和大手笔投入，必然会在短期内形成一个不可逆的产业趋势。

因此，无论能否对社会带来颠覆性改变，或者能够带来多大的改变，大模型都值得每个人分出一部分精力去了解、关注。

12月24日，在中国信通院人工智能论坛上，智源研究院大模型行业应用负责人周华、中国移动研究院AI中心副总经理金镝、华为云产业发展高级专家翟传璞、硅动科技CEO袁俊辉、科大讯飞北京研究院院长助理李家琦、国网智能电网研究院计算及应用研究所副所长石聪聪就大模型落地难题进行了一场对话。

值得注意的是，这些人是大模型时代国内最先觉醒的那批亲历者、实践者、创业者，也是国内大模型研究、应用、创业者中最典型的代表。

周华说，现在的大模型还是一个“文科生”；

袁进辉说，大模型亟需访存密集型专用芯片；

金镝说，从「小模型」到「大模型」思路难转变；

翟传璞说，算力也应该有如云服务一样的租赁模式；

石聪聪说，大模型在行业中还没有一个很成熟的案例；

李家琦讲述了科大讯飞科技文献行业大模型落地过程中从中科院文献中心的“借兵”经历； 

……

他们这一年的亲身经历与所思所想，是中国大模型产业发展最好的沉淀。 

从中，锌产业总结了大模型落地的十大难题，它们分别是： 

算力 不足、 行业数据不足、 应用经验不足、 缺少专用芯片、 数据处理难题 、 数据微调难 题 、思维模式转变难题、成本超高难题、 运营模式改变难题、 算力运营模式创新难题。 

以下是锌产业特别就这场对话中部分关键内容进行的不改变原意的整理，借几位亲历者的亲身经验和真知灼见，一起深入了解当下大模型的魔力边界： 

大模型落地的十个难题

问：这一年，大模型在落地过程中，遇到了哪些问题。

石聪聪：行业大模型在应用上有四方面挑战：

第一，大模型的行业知识不足。

我们对比了现在很多通用大模型，行业知识、语料不足，很难解决行业中遇到的复杂任务，所以通用大模型用于行业，需要做二次预训练。

第二，算力不足。

因为需要做二次预训练，对行业算力需求很迫切。尤其是在如今形势下，我们对国产算力需求尤为迫切，我们现在算力大概有几百P，甚至上千P的缺口。

第三，数据样本不足。

因为我们需要准备大量行业语料（需要几百B，甚至几百T），涉及到各个业务领域，尤其很多数据还涉及用户敏感信息，这些数据的融合、脱敏也有一定难度。

第四，应用经验不足。

传统小模型也能解决很多问题，现在大模型能否一统天下，还需要观察。

近几年，我们还是需要考虑大模型和小模型如何协同应用，这也是需要我们重点关注的问题。 

李家琦：我简单谈一下我们大模型在科技文献领域落地遇到的问题。 

我们当时主要遇到了两方面难题：

第一，数据处理难题。

我们当时从中国科学院文献情报中心拿到了千万级的PDF论文数据，这个量级的论文解析很困难。

如何对这些数据进行高质量清洗，并形成足够多数据对大模型进行二次训练，这个是比较有难度的。

我们当时使用了很多开源PDF解析工具，最后用我们自己的OCR解析软件才解决了这些问题。

第二，数据微调（SFD）难题。

因为数据构造时，例如面向一篇生物论文构造数据时，这篇论文的创新性是什么？肯定需要生物领域的专家才能给出一个较好的判断。

所以我们最后是从中科院文献中心协调了二三十人来帮助我们进行数据标注，这样才完成了数据标注任务。

此外，在大模型研发过程中，我们完全使用了华为昇腾910B。

早期，我们也是刚开始使用国产硬件进行大模型落地开发，在算子适配上遇到了一些问题，后来在华为的帮助下，解决了算子适配问题。 

最终，我们从4月到10月，用了半年时间，完成了大模型在科技文献领域的行业落地。

袁进辉：我们认为大模型推理、部署的成本未来会成为一个主要问题。

我们都相信大模型未来会无处在，要想无处不自在，今天来看成本还是比较贵的，这个已经有很多证据。

国内现在大模型使用量还没有那么高，海外有的应用使用量很高，已经暴露出这个问题。

例如，微软GPT写代码的助手付费用户超过100万时，虽然每个月每位用户会交20美元服务费，但实际上微软还要亏几十美元。这就说明用户付的费用还是cover不了它的成本。

OpenAI前段时间发布GPTs时，用户量突然暴增，OpenAI因此停止注册了一段时间，因为它只有那么几万块GPU在工作，如果再增加用户，就会影响之前用户的使用体验。

这些问题都暴露出来，今天大模型推理成本还是太高了。 

几年前，我们在手机上下载张图片、下载个视频，都要精打细算，要考虑这个月流量有多少。但今天我们在手机、微信上刷视频，其实不会再考虑成本的问题。

大模型要真正做到无处不在的话，一定要像今天我们使用带宽一样“不心疼”。

翟传璞：大模型要发展，无非就是算力、算法、数据几个层面。

从算力层面来看，我们认为应该有多种供给方式。

一种是单独通过算力购买的方式，另外，我们也在思考，我们能否采用一种新的方式——类似云服务租赁来租赁算力方式提供算力。

这样一来，我不仅能满足短时间大规模算力的需求，国产算力迁移和适配能力也可以考虑通过工具——在云服务上提供迁移、优化工具来实现。

从算法和模型层面来看，大模型与行业结合很重要。

华为大模型的重点是在To B领域，To B领域和行业经验结合非常重要。 

例如我们在《Nature》上发表的气象大模型，仅仅靠算法工程师是完不成的，它一定是算法工程师和气象学专家一起努力才能完成。

从数据层面来看，大家都说数据获取、数据标注比较困难，我们是希望把我们内部这种算法使用、标注的能力贡献出来。

另外，我们希望有一些技术能够解决数据流通的问题。

例如现在欧洲喊得比较多的可信数据空间、可信数据交换的能力，能不能应用在AI数据获取和流通环节，将有限数据发挥出更大价值。

金镝：中国移动是从今年年初开始启动大模型研发工作的。

现在我们也推出了139亿参数的语言大模型，推出之后，我们在公司内部和客户中加快推进大模型落地。

在这个过程中，我也有一些自己的体会。 

第一，现在面临较大挑战是，行业如何看待和拥抱大模型。

我们在集团内部，包括见一些行业客户，他们都会问我们，大模型到底能干什么？能带来什么价值？要先从哪些领域开始用？

这些都是很现实的问题。

这其中涉及一种思维方式的转变。包括我经常也会把思维限定在原来信息化和小模型思维体系中。在提解决方案时，想着想着又变成了IT化的竖井模式，变成了原来的「+AI」模式。

现在很多时候，用大模型去替代原来的小模型只是一种改良，没有把大模型真正的价值激发出来。

所以包括我们自己、我们的用户，都要思考到底想用大模型干什么？希望它能带来什么变化？

第二，大模型运营模式需要变化。

我们已经把大模型用在了中国移动客服领域、网络运维领域，用上后发现，它虽然提升了业务体验，但也需要企业改变后端业务运营方式。

例如，大模型里的数据是有时效性的，假如在服务客户时，我们发现了一个需要马上解决的问题，解决这个问题是用打补丁方式，还是基于大模型方式来快速响应，这是摆在我们面前一个现实的问题。 

第三，成本问题。

大家都觉得大模型非常好，但一说到用大模型，需要买多少算力，投多少人做数据治理、训练模型，需要多少人做运维，用户就不敢用了，这是行业客户一个非常现实的问题。

周华：我今年接触了很多行业客户，一般来说，我们和行业客户沟通会先问两个问题：

第一，你的数据怎么样；第二，你有多少算力。

数据层面，大模型应用也就一年，时间并不长，很多行业客户对数据认识并不深刻。 

那这其中有什么问题呢？

主要问题是，我们有大量客户对自身数据能不能用于大模型训练并不清楚，很多时候，大家一说数据，都是数据库里的数据，或者大数据平台中的数据。

其实这些数据是无法用于模型训练的。 

另外，很多客户平时并不会积累行业相关的文本数据，例如领域里的论文、教科书等，但是这些恰恰对行业大模型训练来说非常重要。

客户自身的数据，有些放在数据库里，有些以PDF等文件形式存放在不同地方，要用这些未经整理的数据训练模型，成本往往非常高。

所以，我们往往都会建议客户，首先数据处理要有专人负责，要做大模型首先要把数据做好，甚至在规划大模型过程中，就要做好数据整理。 

在行业层面，我们更推崇多家企业共同推动一个行业模型训练的模式。

行业模型的数据每家都去做的话，成本非常高，也很浪费资源,这项工作很适合通过行业协会来做。

算力层面，我们很多客户没有A100、H100、A800，这些企业手上一般是有消费级显卡，3090、4090，如果要做模型训练肯定存在很多问题。 

我们研究院最近针对这一问题，在做很多研发工作，包括4比特量化、DPU等相关技术。

我们会和客户深入沟通，希望这些客户对低资源的模型训练可以有一定认识，这样训练出的模型能否满足他们的需求要有一定的认识。

这样，在大模型落地过程中就可以节省大量资源。

预见2024：大模型的八个变化

问：2024年，大模型会在哪些新应用场景爆发。

周华：我们做大模型的研发看到了一些趋势，这里我谈两点：

第一，多模态大模型会有很大的突破。

我们看到最近谷歌发布了Gemini，这之前，OpenAI发布了GPT-4V，在开源领域、在学术界，也有大量像LLaMA模型出来，这让业界对多模态大模型产生了研发兴趣。 

我们现在和制造业有很多对接，他们对于工程制图的解析、几何体的解析是有需求的，但我们现在最好的GPT-4都做不好。

在多模态这块，现在的发展还很初步，我觉得2024年，会有很多团队来解决这些问题。

第二，现在的大模型还是一个比较强的“文科生”，未来会在行业场景有突破。

它可以做一些文字处理，也会解决一些专业问题，但专业度并不高，工业制造这种场景有大量对准确性、专业性有很高要求，有很多很深入的事实性问题，现在的大模型依然存在幻觉率。

我们研究院现在在致力于做这些事，希望把我们大模型的逻辑能力、数学、物理能力提升，未来能够在制造业使用。

金镝：我们认为现在人工智能已经在从「+AI」向「AI+」这个方向发展了。

结合我自己的工作体会，我觉得：

第一，在能够充分发挥大模型认知、理解、生成的场景下（如辅助办公），短期内会有很大的变化。

我自己身边就有这样的例子，我们UX设计师现在已经在大量使用大模型做设计了，这极大地提升了他自己的工作效率。

我们研究院在OA系统中，现在也在嵌入一些辅助文档，用大模型给大家提供辅助办公帮助，这个场景在2024年一定会有很大的变化。

第二，我们也会致力于解决行业大模型的幻觉问题。

我们接触的很多客户，例如医疗、政府、运营商，他们要求大模型不能胡说八道，大模型给出的答案一定是百分之百准确的，或有极高准确率。这样才能完成专业工作。

第三，我们看到了端云协同的趋势。

特别是手机端的芯片、PC端的芯片最近一波发布，极大地增强了NPU能力，端侧大模型和云端大模型结合起来后，一定会诞生出很多新型智能终端型产品。

翟传璞：从我看，有两个方面：

第一，大模型会从2023年的单点尝试，向2024年小规模复制落地发展。

例如政务、金融、气象等领域，我们做了台风预测大模型后，现在泰国气象局也在复制落地。

第二，Gartner认为大模型未来场景选择会遵从“4C理论”。

第一个C是技术成熟度，第二个C是场景商用化， 第三个C是紧迫性，第四个C是成本。

我们去考虑未来场景，可以从这四个方面着眼，来判断大模型能在哪些场景率先落地。

袁俊辉：我蛮期待专门针对大模型推理需求芯片的出现。

客观来说，今天市场上所有GPU和芯片，都是在大模型出现之前、为之前负载设计的。

从技术上来看，之前的任务很多是计算密集型，计算为主，所以这些芯片通常会堆很多计算单元。

但在大模型出现之后，大家意识到，大模型推理是一个访存密集的事儿。所以很多芯片在今天都不是特别适用于大模型推理。

但是现在芯片已经改不了了，新架构没出现时，就只能通过软件来打补丁。

可能之后会出现专门针对大模型特性，例如针对访存瓶颈的访存密集型芯片架构出现。

李家琦：我非常同意袁老师的看法，我们其实非常需要专门面向推理的芯片，来降低部署大模型的成本。

在软件层面，目前主要是从模型压缩、量化角度来将计算量大幅降低。 

在产业层面，现在大模型落地有很多推理方面的需求，我觉得未来会诞生一些软件平台，专门提供推理服务。

石聪聪：2023年面向个人用户的话，大模型用的场景还是很多的，包括人机交互、辅助办公。

对于行业用户，我们看到行业大模型在金融、政务、能源、教育领域已经有一些应用。

但是说实话，我们也确实没有看到大模型在行业里有一个非常成熟的案例。

从我们行业来说，我们也在积极拥抱大模型。

明年我们国网公司会拿出很多场景，包括客服、无人机巡检，甚至调度运行，我们都会拿出来探索大模型的应用。

本篇攻略评测来源：slsrj.com