官方正式版！哈工大最新93页《ChatGPT调研报告》，系统介绍大模型技术，内测哈工大“活字”对话大模型...

来源：哈尔滨工业大学、自然语言处理研究所（HIT-NLP）

2023年3月6日，哈工大自然语言处理研究所 ( HIT-NLP, since 1979 ) 师生联合撰写出《ChatGPT调研报告》（84页），对“大模型”技术进行了系统的介绍。该报告原定仅供内部师生参考，但过去2个月中在网上也多有流传。5月4日，研究所决定将该报告公开，以期听取同行意见，并随着“大模型”技术的发展，持续对报告进行更新。

此外，哈工大自然语言处理研究所已经研制出哈工大“活字”对话大模型（通用），目前处于研究所内测阶段。同时，研究所积极研发各行业大模型（专用），欢迎拥有算力、数据、场景、资金优势的企事业单位来信洽商合作。

2022 年11 月30 日，OpenAI 推出全新的对话式通用人工智能工具—— ChatGPT。ChatGPT 表现出了非常惊艳的语言理解、生成、知识推理能力， 它可以很好地理解用户意图，做到有效的多轮沟通，并且回答内容完整、重 点清晰、有概括、有逻辑、有条理。ChatGPT 上线后，5 天活跃用户数高达 100 万，2 个月活跃用户数已达1 个亿，成为历史上增长最快的消费者应用 程序。除了被广大用户追捧外，ChatGPT 还受到了各国政府、企业界、学 术界的广泛关注，使人们看到了解决自然语言处理这一认知智能核心问题的 一条可能的路径，并被认为向通用人工智能迈出了坚实的一步，将对搜索引 擎构成巨大的挑战，甚至将取代很多人的工作，更将颠覆很多领域和行业。 

哈工大自然语言处理研究所组织多位老师和同学撰写了本调研报告，从 技术原理、应用场景、未来发展等方面对ChatGPT 进行了尽量详尽的介绍 及总结。

本报告仅供内部参考。

主要编撰人员

第一章由车万翔、杨沐的、张伟男、赵妍妍、冯骁骋、孙承杰、李佳朋编写；第二章由张伟男、隋典伯、高翠芸、朱庆福、李明达、王雪松编写；第三章由刘铭、朱聪慧、汤步洲编写；第四章由徐永东、高翠芸、朱庆福编写；第五章由杨沐昀、张伟男、韩一、庄子或编写；第六章由隋典伯、高翠芸编写；第七章由车万翔、刘铭编写。参与各章审校工作的还有：崔一鸣、徐志明等。

报告整体由车万翔统稿。

目录

第一章 ChatGPT的背景与意义

1.1 自然语言处理的发展历史

1.2 大规模预训练语言模型的技术发展历程 

1.3 ChatGPT技术发展历程

1.3.1 ChatGPT的相关技术

1.3.2 ChatGPT技术发展脉络的总结

1.3.3 ChatGPT的未来技术发展方向

1.4 ChatGPT的优势与劣势

1.4.1 ChatGPT的优势

1.4.2 ChatGPT的劣势

1.5 ChatGPT的应用前景

1.5.1 在人工智能行业的应用前景及影响

1.5.2 在其他行业的应用前景及影响

1.6 ChatGPT 带来的风险与挑战

第二章 ChatGPT相关核心算法

2.1 基于Transformer的预训练语言模型..

2.1.1  编码预训练语言模型（Encoder-only Pre-trained Models)

2.1.2  解码预训练语言模型（Decoder-only Pre-trained Models) 

2.1.3 基于编解码架构的预训练语言模型（Encoder-decoder Pre-trained Models)

2.2 提示学习与指令精调 

2.2.1  提示学习概述

2.2.2 ChatGPT中的指令学习

2.3  思维链（Chain of Thought，COT）

2.4 基于人类反馈的强化学习（Reinforcement Learning with Hu-man Feedback,RLHF)

第三章 大模型训练与部署

3.1 大模型并行计算技术

3.2 并行计算框架

3.3 模型部署

3.3.1 预训练模型部署的困难

3.3.2 部署框架和部署工具

3.3.3 部署技术和优化方法

3.4 预训练模型的压缩

3.4.1 模型压缩方案概述

3.4.2 结构化模型压缩策略

3.4.3 非结构化模型压缩策略

3.4.4 模型压缩小结

第四章 ChatGPT相关数据集

4.1 预训练数据集

4.1.1 文本预训练数据集

4.1.2 代码预训练数据集

4.2 人工标注数据规范及相关数据集.

4.2.1 指令微调工作流程及数据集构建方法

4.2.2 常见的指令微调数据集

4.2.3 构建指令微调数据集的关键问题

第五章 大模型评价方法

5.1 模型评价方式

5.1.1人工评价

5.1.2 自动评价

5.2 模型评价指标

5.2.1 准确性

5.2.2 不确定性

5.2.3 攻击性

5.2.4  毒害性

5.2.5 公平性与偏见性

5.2.6 鲁棒性

5.2.7 高效性

5.3 模型评价方法小结

第六章 现有大模型及对话式通用人工智能系统

6.1  现有大模型对比

6.2  对话式通用人工智能系统调研

6.2.1  对话式通用人工智能系统

6.2.2不同系统之间的比较

第七章  自然语言处理的未来发展方向

7.1  提高ChatGPT的能力

7.2  加深对模型的认识

7.3  实际应用

7.4  从语言到AGI的探索之路

收集不易，我将资料免费分享在我的星球，后续也将会持续更新

欢迎大家加入我的这个”AIGC与GPT“知识星球，价格便宜，目前已有近120人

作为一个大厂算法工程师和机器学习技术博主，我希望这个星球可以：

• 【最全免费资源】免费chatgpt-API，最新AIGC和GPT相关pdf报告和手册。

• 【最专业算法知识】Transformer、RLHF方法、多模态解读及其论文分享。

• 【最新变现姿势】如何结合ChatGPT应用落地，各种可以作为副业的AIGC变现方式，打好这个信息差。

• 【最有趣AICG】ChatGPT+midjourney拍电影，制作壁纸，漫画等等有趣的AICG内 容分享。

一些截图：