一.从专用模型到通用大模型的发展进程_有人将通用大模型和专用大模型

一.从专用模型到通用大模型的发展进程

专用模型比如人工智能的图像模块语言模块，从特定模型解决特定任务逐渐到通用模型用一种模型解决多种任务，这是一种必然的趋势。

二.书生浦语大模型开源 的历程以及internLM2的介绍

internlm2对比1有何提升？

模型的综合性更加强劲，能适配更复杂的使用场景，使用了新一代数据清洗过滤技术，多维度数据价值评估，高质量语料驱动的数据富集，有针对性的数据补齐。能全方位提升在各能力维度全面进步，在推理、数学、代码等方面的能力提升尤为显著，综合性能达到同量级开源模型的领先水平，在，重点能力评测上 InternLM2-Chat-20B甚至可以达到比肩ChatGPT(GPT-3.5)的水平

InternLM2主要亮点

1. 超长200k上下文token
2. 综合性能全面提升以及推理、数学、代码提升显著
3. 优秀的对话和创作体验
4. 工具调用能力整体升级，可靠支持工具多轮调用，复杂智能体搭建
5. 突出的数理能力和实用的数据分析功能以及具有强大的内生计算能力

三.通过internLM搭建的ai助手可以与用户进行多种情景的对话 

ai助手不仅能与用户进行日常对话和创作，还能进行工具调用以及计算甚至是代码解释与优化和数据分析等等。

四.从模型到应用的流程

五. 书生浦语的全链条开源体系

  书生浦语的全链条体系包括几个步骤：

   数据：采用了书生万卷的具有2tb的数据库，涵盖多方面模态与任务。
   预训练（internLM-Train）：并行训练，接入了Hugging Face等平台的生态，支持各种轻量 化训练。
部署（LMDeploy）：全链路部署，高性能，能够轻量化部署，采用多种推理引擎以及多种API，无缝对接OpenCompass进行性能评测。
   微调（XTuner）：既支持全参数调参，还支持lora，qlora等低成本微调，加快微调速度，节省显存空间。 其中 大语言模型的下游应用中，增量续训和有监督微调是经常会用到的两种方式：
  增量续训：使用场景：让基座模型学习到一些新知识，如某个垂类领域知识训练数据：文章、书籍、代码等

  有监督微调：使用场景：让模型学会理解各种指令进行对话，或者注入少量领域知识训练数据：高质量的对话、问答数据 

InternLM2技术报告

 原文链接：https://arxiv.org/pdf/2403.17297.pdf

 InternLM2是上海人工智能实验室、SenseTime集团、香港中文大学、复旦大学等多方合作开源的一个LLM。通过运用文本、代码、长文本的数据进行预训练，同时运用了SFT进行微调，并使用了新颖的COOL RLHF方法，该方法采用了一种奖励机制去调和多样潜在偏好冲突和执行PPO减轻每个阶段出现的奖励欺骗，阐明了RLHF对社区的影响。

    在评估与分析时，InternLM2在OpenCompass上执行了所有评估。其中包括下游任务表现如全面考察、语言与知识、推理数学编程以及长文本建模等等，在各个方面上，InternLM2都有着显著的提升。
————————————————

                            版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
                        
原文链接：https://blog.csdn.net/Gotwant/article/details/137103435

————————————————

                            版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
                        
原文链接：https://blog.csdn.net/Gotwant/article/details/137103435