文心ERNIE 3.0 Zeus千亿参数大模型，一键生成“学术范儿”论文标题

文章整理自哔哩哔哩科技区UP主“同济子豪兄”（张子豪）的主题分享「文心雕龙，一键生成学术灵感」。

文心ERNIE 3.0 Zeus作为基于知识增强的千亿模型，在各类真实场景的生成准确性、流畅性、相关性上全面领先业界其他大模型，能提供多种参数量级的、具备超强的语言理解能力和文本创作能力。正因为如此，它能够举一反三，赋能各行各业，体现强大的泛化能力与通用性。我将在本次分享中介绍部分开发者基于百度文心ERNIE 3.0 Zeus制作的创意应用，并重点分享我在制作“一键生成学术灵感”系列创意应用的经验与心得。

背景介绍

我的工作主要集中在精读人工智能领域的经典论文，包括算法复现、代码实战、论文精讲等。我所涉及到的论文包含了计算机视觉和自然语言处理领域里的40篇经典论文，每一篇都是硕博士研究生准备论文文献综述、开题报告必读的经典论文。我对每篇论文都做了很详细的批注，对每一条公式、每一个单词、每一个图表、每一条结论都做了保姆级的详细教学，希望能够帮助大家节省宝贵的学习时间精力，降低学习门槛。

此外，我还做了很多人工智能的趣味案例，每个案例都具备完整的数据、算法、代码，且足够有趣，都可以作为一个毕业设计来展示。

在以上工作中，我接触并调用了百度文心ERNIE 3.0 Zeus知识增强大模型的技术能力。常言道“读书破万卷，下笔如有神”，文心ERNIE 3.0 Zeus在语言理解上有着出色表现。现在，大家可以在文心大模型官网API中心在线体验它的各种文本理解与创作功能，如写作文、对对联、写小说等，非常有趣。

除了智商和情商双商在线之外，文心大模型在艺术领域也有独到的审美和品位。文心大模型中的图文双向生成跨模态大模型文心ERNIE-ViLG支持AI诗词作画，只要输入一句古诗，它就可以根据诗词中的意象，绘制出油画、水彩或者国画。此外，在文心官网开放API中心的文心ERNIE-ViLG文生图服务中开通探索无限权限后，用户还可以根据自己的描述来生成各种风格的图片，非常有趣。

左右滑动查看更多

此前，百度举办了一场“AI创意派”竞赛，开发者可以基于文心大模型做出各种各样、赋能各行各业、甚至你想象不到的一些趣味应用，从考古文言文到星座运势，到巡医问药，再到心理咨询。我来为大家举几个优秀的例子。

首先，为大家介绍哈工大李卓君同学团队制作的“文言文命名实体识别、人物关系、大事记”冠军应用。

我们国家的历史非常悠久，古籍浩如烟海，为了对这些古籍、古代文献进行数据挖掘，这个创意应用实现了对文言文中的人名、官职、地名、人物关系和重要历史事件一键解析。在真实的学术研究场景中，假设考古研究者发现了某历史人物的线索，通过该应用，可以快速将这个人物从已有的资料库中搜索出来，并匹配与其相关的人物关系与重要事件，这可以帮助我们挖掘尘封的历史真相，也大大缩短了资料搜集的时间，提高了研究效率。此外，它也是文言文学习的小助手，对文言文这类理解较为困难的文本信息，文心ERNIE 3.0 Zeus也能轻松应对。

为大家介绍的第二个案例是哈尔滨工业大学谢焕宜同学制作的“古风文案小能手”。与AI根据诗词作画不同，该应用是在用户输入图像后，为其生成相呼应的诗句。下图中的这些图片是我通过应用输入的内容，基于AI识别与分析，应用最终可以生成一句韵味无穷的诗：“醉后不知天在水，满船清梦压星河”，颇有浪漫主义的气质。

通过以上案例，我们可以发现文心大模型的跨模态生成能力非常突出，既可以诗词生画，也可以画生诗词。

学术灵感

创意应用介绍

基于文心ERNIE 3.0 Zeus，我自己制作了一系列“一键生成学术灵感”创意应用，访问下方链接即可在线体验。

创意应用体验地址

https://easydl.zzh.coderai.cn/

我所制作的第一个创意应用是通过输入论文的摘要自动生成标题。在该应用中，点击“生成标题”，两秒钟后就可以生成一条非常“学术范儿”，且和真实学术论文极为接近的标题。

我们知道，学术论文与文言文都是非常难读的一类文本信息，特别是人工智能专业的论文，要跨过编程、算法、学术、英语、文献查找等层层门槛。尤其是在中文学术圈里，论文的质量良莠不齐，论文的标题、摘要、作者、单位、关键词、引用关系、知识图谱关系非常复杂。所以，对于中文学术论文而言，做自然语言理解相关分析和处理是很困难的。

但是通过这个创意应用，我们会发现文心ERNIE 3.0 Zeus既能读懂文言文也能读懂中文的学术论文。我们在创意应用中输入“哲学”、“3D打印”、“区块链”、“元宇宙”、“增强现实”等专业术语，其生成的标题和真实学术论文标题极为接近。这说明，文心ERNIE 3.0 Zeus可以泛化到各个学科论文中，并能提取出核心研究对象、研究方法，将其按照学术语言表述习惯生成较为严谨的学术论文标题。

我所制作的第二个创意应用，在输入摘要后不仅可以自动提取关键词，还可以辅助我们找到对标的投稿期刊。这个应用主要解决了摘要生成问题上更难的一类任务——关键词提取。关键词是论文非常重要的一个元素，我们在百度学术上检索一篇论文，一般不是直接搜确定的论文标题，而是搜索相关的关键词，所以关键词往往比论文的标题更重要。关键词代表了论文的核心研究对象、核心研究方法和核心研究领域。文心ERNIE 3.0 Zeus则可以支持从一系列摘要中提取关键信息，并匹配出合适的期刊。

我所制作的第三个创意应用，实现了输入论文关键词后输出相匹配期刊名称及摘要的功能。因制作应用时生成字数有限制，所以不能生成太长的文本，但仍然可以看出，大模型所选择的期刊及其生成的摘要的开头是符合学术研究写作标准的。

我所制作的第四个创意应用，支持输入论文关键词后生成学术idea，如：输入“明朝”、“郑和”、“永乐”、“造船”，就可以生成一篇论文，内容是关于郑和下西洋时代我国的造船工艺。

学术论文是人类知识的载体，承载了人类最优秀的科学知识与文化成果。因此，对学术论文的数据挖掘尽管有一定挑战，但却是非常重要的一项工作。以上这些创意应用都有非常广泛的应用场景，比如：

• 给论文、专利、图书取合适标题；

• 将学术论文凝练成一句话，标明研究核心点；

• 通过对生成“标题”查重，发现洗稿和灌水等学术不端行为；甚至是构建一个文献知识图谱，实现文献大数据挖掘，用AI筛选投稿期刊，寻找学科知名作者等等。

学术灵感创意应用

在飞桨EasyDL上的实现过程

接下来，我将为大家分享使用百度飞桨EasyDL开发上述创意应用的过程。

第一步，我们需要获得论文的数据集。本案例中使用了北京师范大学开源数据集，已获原作者授权使用。我们只需通过构建一张Excel表格，即可将所需数据输入给文心ERNIE 3.0 Zeus。该表格有2列，共9000行，每一行表示一篇论文，第一列是论文摘要，第二列是论文标题。我们通过将表格直接上传到飞桨EasyDL的方式，就能构建出应用所需要的数据集。

第二步，针对不同的任务需求，我们需要进行数据预处理。

• 如果要完成输入摘要生成标题的任务，表格中的数据需要呈现为一列摘要、一列标题的形式。

• 如果要完成输入关键词生成学术idea的任务，则呈现为一列关键词、一列学术idea的形式。

• 如果需要生成前缀，即需要包含“摘要”与“标题”的数据，并做好预处理。

我们只需在飞桨EasyDL里创建上传数据集，而其余数据去重、数据存储、数据上传等问题，飞桨EasyDL后台都会帮我们解决，不需要我们操心。

第三步，点击训练模型，创建文心ERNIE 3.0 Zeus自然语言生成模型。数据上传训练大概需要4-5小时，但GPU算力是免费的。我们可以在晚上休息之前开始训练，睡醒后，手机上就会收到飞桨EasyDL发送的”模型训练成功”通知短信，可以直接进入对模型在线校验和公有云部署阶段，便捷高效。

调用公有云API其实很简单，我们既可以在Web前端调用，比如网页端、微信小程序端，也可以调用自己写的Python脚本。我把飞桨EasyDL官方文档的API调用脚本做了80%精简后，可以实现同样的功能，即输入论文摘要的字符串，向API发起Http请求，解析返回后的结果就可以解析出标题和内容。

此外，我还制作了一个Web前端模板，只需要输入AK（API Key）、SK（Secret key）和API URL，无需服务器，即可在网页中直接调用飞桨EasyDL公有云API。

文心ERNIE 3.0 Zeus的

“心法”

文心ERNIE 3.0 Zeus确实可称得上“黑科技”，它利用大量的文本信息库与海量的算力，训练出了一个超大规模的通用语言模型。

预训练大模型的“大”体现在各个方面，训练数量大、消耗算力大、模型容量大、训练成本大、未来发展的潜力也大。在世界顶尖公司纷纷入场布局的背景下，文心ERNIE 3.0 Zeus作为一个知识增强、百亿参数的中文预训练大模型，在英文预训练大模型占主导的格局中立下了一席之地。

互联网上浩如烟海的中文网页得益于最大的中文搜索引擎百度，基于此，文心ERNIE 3.0 Zeus拥有海量无标注、无监督的中文文本信息库作为训练它的“粮草”。因而，它能够举一反三，赋能各行各业，体现强大的泛化能力与通用性。

作为创意应用开发者，面对已经预训练完成的文心ERNIE 3.0 Zeus，我们无需操心底层技术，只需要收集论文、摘要和标题数据集，让它自行训练，就能自行迁移学习进行泛化微调。我们不需要写代码，也不需要开发模型，更不需要调参练单，因为大模型已经见多识广，可以轻松地泛化到我们的小数据集上。

文心ERNIE 3.0 Zeus依托于内部完整的一套知识图谱，是一个知其然也知其所以然的模型。比如，它知道《夜莺》是安徒生以中国为背景写的一部童话。如果输入“发明加减消元法”的数学家所在的国家有哪些品牌汽车，它就可以在它的知识图谱里把”发明加减消元法”的数学家高斯，他所在的国家德国的汽车品牌解析出来，这其实也是知识图谱的技术，也是搜索引擎的技术。

其实，唐朝的杜甫就已经“预言”了预训练大模型的优势。杜甫说“读书破万卷，下笔如有神”，这句话可以解释成三重含义：

• 第一重含义：文心ERNIE 3.0 Zeus，它学习了大量的文本信息，见多识广，正所谓“熟读唐诗三百首，不会作诗也会吟”。

• 第二重含义：“神”，暗示了神经网络算法。

• 第三重含义：“读书破万卷”，这个“卷”（juan，四声）也可以读成内卷的“卷”（juan，三声），预训练大模型能帮我们解决人工智能的内卷问题，开启全新的人工智能蓝海新时代。

此外，为大家简单介绍千言中文开源数据集，它可以帮你收集各种各样的训练模型“粮草”，这其中就包含了海量的中文自然语言处理数据。

最后，我以文心ERNIE 3.0 Zeus生成的对联做结语，期待未来文心大模型能够发展得更好，赋能更多应用场景。

文心雕龙，四面云山皆入画。笔墨飞鸿，九州春色尽归诗。

作者介绍

张子豪，哔哩哔哩人工智能科普教育UP主“同济子豪兄”，17万粉丝。

从土木工程自学人工智能和计算机视觉。代表作：精读AI经典论文、编程奇妙夜、斯坦福CS231N、CS224W中文精讲、OpenMMLab系列代码教程。

说明

“一键生成学术灵感”创意应用相关详细算法介绍、操作演示、数据和代码下载见视频：

https://www.bilibili.com/video/BV1W44y1g7cB

本文转载自：AI大模型

本文根据往届WAVE SUMMIT深度学习开发者峰会「AI大模型 智领未来」论坛嘉宾分享整理。WAVE SUMMIT⁺2022将于11月30日在深圳举办，欢迎大家扫码提前进入官方社群了解详情。

最新一期的WAVE SUMMIT⁺深度学习开发者峰会将于11月30日在深圳举办，欢迎大家扫码提前进入官方社群了解详情。

【2022WAVE SUMMIT⁺报名入口】

关注【飞桨PaddlePaddle】公众号

获取更多技术内容~