当前位置:   article > 正文

被 GPT 带火的 Prompt 是什么?

promote gpt

点击上方蓝字

关注我们

(本文阅读时间:14分钟)

自然语言理解涵盖范围很广,不过总体可以把自然语言处理分成两大类任务:NLU 自然语言理解和自然语言生成 NLG。

NLU 是所有支持机器理解文本内容的方法模型或任务的总称,即能够进行常见的文本分类、序列标注、信息抽取等任务。简单来说,是指自然语言理解的运用希望机器人能够像人一样,具备正常的语言理解能力。微软的认知服务里面有一个对话语言理解服务 LUIS,就是经典的 NLU 任务。

NLG 主要目的是降低人类和机器之间的沟通鸿沟,将非语言格式的数据转换成人类可以理解的语言格式,换句话说就是可以:文本到语言的生成(text-to-text)、数据到语言的生成(data-to-text)、图像到语言的生成(image-to-text)这么一说你就明白了, NLG 就是 GPT 嘛!的确,GPT 是 NLG 目前最优秀的实现。

微软MVP实验室研究员

0b8c20f87209eec31147a15046773ca0.png

0eed183714a37e87c05eb75da45cc2e7.jpeg

王豫翔,Leo

微软圈内人称王公子。微软10年+MVP,大龄程序员。目前核心工作是使用微软 AI 技术设计可以落地的解决方案,也就是写 PPT。虽然热爱代码,但只有午夜时分才是自由敲代码的时间。喜欢微软技术,不喜欢无脑照抄。 

b7f285483945c4a995dd0c6d1a92dbc6.png

现在讲到 LLM,大家都默认 LLM 就是 GPT,但是在 GPT 火爆之前,LLM 领域的老大一直是 BERT,BERT 对理解文本语义任务极出色的表现,在很长的一段时间内一时无二。同时 BERT 的预训练+微调也成为了整个 NLP 行业最经典的方法论。BERT 牛到啥程度呢?GPT1 比 BERT 早几个月诞生,GPT2 比 BERT 小一年,但 GPT1 和 GPT2 综合能力都败给了 BERT。直到我们今天讨论的主角 Prompt 出现,NLP 竞争战场的天平一下子倒向了 GPT,如果只能为 GPT3 火选一个原因,那这个原因必须是:Prompt。

任何技术出现的背景都是因为要解决当下的困难,Prompt 的出现就是因为要解决语言模型越来越大,BERT 当时的参数是 147M,而 GPT2 直接到了 1.5B,到了 GPT3 已经暴涨到 175B,GPT3 如果用传统的预训练+微调,那对于下游任务的设计肯定会复杂到不可想象,这样的成本等于宣告过大的预训练模型是没有出路的。

Prompt 对 LLM 提出了“预训练,提示,预测”方法,就是“给预训练语言模型一个线索/提示,帮助它可以更好的理解人类的问题。”,所以您可以认为 Prompt 类似于人机接口进行微调,这样等于从另一个角度拉低了 finetuning 的技术门槛,或者这么说不够严谨,我们可以换一个方式来说:Prompt 类似于人机接口进行微调,但 finetuning 目前依然有技术优势,或许有一天 LLM 强大到可以真的用 Prompt 彻底替代 finetuning。

既然 Prompt 是一个人机接口,那么就说明我们需要和 GPT 用文字进行沟通。这时候就体现出你是被 AI 驱动还是你驱动 AI 的最佳体现了。我们在生活中总是会遇到一些人词不达意,我想他们应该好好训练自己的语言和逻辑能力,这样才能更好的使用 Prompt 和 LLM 进行沟通。

优秀的 Prompt 需要清晰、目的性明确、明确的角色演绎、追加新的提示。这篇文章的主要目的是简单的介绍下 Prompt,方便大家更好的用 Prompt 和 ChatGPT 交互,所以我给出了一些案例。

▍名词解释:明确要求对特定名词解释

提问:解释下前缀神经网络

ChatGPT 回答:前缀神经网络(Prefix Neural Network)是一种基于前缀树(Prefix Tree)结构的神经网络模型。它的主要特点是将输入序列转换为前缀树上的路径,然后通过神经网络模型对每个路径进行分类或预测。在前缀神经网络中,每个节点对应着前缀树上的一个路径,而每个路径都代表着输入序列的一个前缀。通过在前缀树上沿着路径进行遍历,可以将输入序列转换为一系列前缀,从而实现对序列的建模和处理。前缀神经网络在自然语言处理、音频处理等序列数据处理领域具有广泛的应用。

▍摘要生成:给出一段文本,然后要求其简单说明

提问:前缀神经网络(Prefix Neural Network)是一种基于前缀树(Prefix Tree)结构的神经网络模型。它的主要特点是将输入序列转换为前缀树上的路径,然后通过神经网络模型对每个路径进行分类或预测。在前缀神经网络中,每个节点对应着前缀树上的一个路径,而每个路径都代表着输入序列的一个前缀。通过在前缀树上沿着路径进行遍历,可以将输入序列转换为一系列前缀,从而实现对序列的建模和处理。前缀神经网络在自然语言处理、音频处理等序列数据处理领域具有广泛的应用。  

简要说明以上内容  

ChatGPT 回答:前缀神经网络是一种基于前缀树结构的神经网络模型,其特点是将输入序列转换为前缀树上的路径进行分类或预测。每个节点对应着前缀树上的一个路径,每个路径代表输入序列的一个前缀。前缀神经网络在序列数据处理领域有广泛应用。

▍信息提取:给定内容,要求提取特点内容

提问:王豫翔,Leo,微软圈内人称王公子。微软10年+MVP,大龄程序员。目前核心工作是使用微软 AI 技术设计可以落地的解决方案,也就是写 PPT。虽然热爱代码,但只有午夜时分才是自由敲代码的时间。喜欢微软技术,不喜欢无脑照抄。     

这段内容提到了谁,他喜欢什么?

ChatGPT 回答:这段内容提到了王豫翔,Leo。他喜欢微软的技术,但不喜欢盲目地照抄。

▍按给的内容进行回答问题:给出内容,然后提问

提问:根据参考内容回答问题。保持答案简明扼要。如果不确定答案,回答“不确定答案” 

参考内容:微软最有价值专家(MVP,Most Valuable Professionals)是指具备一种或多种微软技术专业知识,并且积极参与在线或离线的社群活动,经常与其他专业人士分享知识和专业技能,受人尊敬、信任,而且平易近人的专家。 

MVP 是什么样的专家?

ChatGPT 回答:MVP 是具备一种或多种微软技术专业知识,并且积极参与在线或离线的社群活动,经常与其他专业人士分享知识和专业技能,受人尊敬、信任,而且平易近人的专家。

▍分类:设定分类要求,然后对内容进行推理

提问:判断下文的情绪,分为:中性,积极,不满,失望,愤怒,歉意 

订单号是123456789,我之所以要退货是因为我等得太久了。

ChatGPT 回答:不满

▍推理:给出背景和逻辑,要求推理

提问:S 先生、P 先生、Q 先生他们知道桌子的抽屉里有16张扑克牌:红桃 A、Q、4,黑桃 J、8、4、2、7、3,草花 K、Q、5、4、6和方块 A、5。约翰教授从这16张牌中挑出一张牌来,并把这张牌的点数告诉 P 先生,把这张牌的花色告诉 Q 先生。这时,约翰教授问 P 先生和 Q 先生:你们能从已知的点数或花色中推知这张牌是什么牌吗?

于是,S 先生听到如下的对话:

P 先生:我不知道这张牌。

Q 先生:我知道你不知道这张牌。

P 先生:现在我知道这张牌了。

Q 先生:我也知道了。

请问:这张牌是什么牌?

ChatGPT 回答:这张牌是黑桃4

▍逻辑选择:给出背景和选项,要求推理合理的选项

提问:根据参考内容在 ABCDE 选项中选择最正确的一项。

参考内容:粮食可以在收割前在期货市场进行交易。如果预测谷物产量不足,谷物期货价格就会上升:如果预测谷物丰收,谷物期货价格就会下降。今天早上,气象学家们预测从明天开始谷物产区里会有非常大的降雨。因为充分的潮湿对目前谷物的存活非常重要,所以今天的谷物期货价格会大幅下降。

下面哪个,如果正确,最严重地削弱了以上的观点?

A.在关键的授粉阶段没有接受足够潮湿的谷物不会取得丰收。

B.本季度谷物期货价格的波动比上季度更加剧烈。

C.气象学家们预测的明天的降雨估计很可能会延伸到谷物产区以外。

D.农业专家们今天宣布,一种已经毁坏一些谷物作物的病菌在生长季节结束前会更广泛地传播。

E.许多在谷物期货市场交易的人很少实际拥有他们所交易的谷物。

ChatGPT 回答:D.农业专家们今天宣布,一种已经毁坏一些谷物作物的病菌在生长季节结束前会更广泛地传播。

▍无中生有的提示:给出结果的样例,但不需要对样例的内容保证

提问:围绕2023年重点工作,报告中提到,上海将持续推进重大工程建设,全年完成投资2150亿元。开工建设13号线东延伸、21号线东延伸等轨道交通线,加快建设上海示范区线、崇明线、机场联络线等轨道交通线,推进沪苏湖铁路上海段、沪渝蓉铁路上海段、北横通道东段等重要基础设施建设。

轨道交通13号线东延伸工程自轨道交通13号线既有站张江路站引出,至丹桂路站,规划新增2座车站,分别为高科中路站和金秋路站。

20号线一期东延伸20号线东延伸工程起自一期终点共青森林公园站,线路沿黄浦江——洲海路走行,终于高东镇新园路站,线路全长8.0km,设站4座,换乘站1座,与规划21号线二期换乘。

上海市轨交崇明线是连接上海中心城区和崇明两岛(长兴岛、崇明岛)的市域轨道交通线。线路南起浦东金桥,北至崇明陈家镇,全长约43公里。浦东段设金吉路站、申江路站、高宝路站和凌空北路站,中间有长兴岛站,崇明本岛则设陈家镇站、东滩站和裕安站,线路在申江路站可与12号线换乘,在金吉路站可与9号线换乘,接入全市的轨道交通网络。

轨道交通21号线一期东延伸工程起于浦东枢纽,终于21号线一期工程六陈路站,线路主要沿浦东枢纽—川南奉公路—川六公路—六陈路走行,全长14.0km,均采用地下线敷设方式,全线共设T3航站楼、上海东站、金闻路、施新路4座车站。

15号线南延伸工程起于5号线南延伸望园路站,终于紫竹高新区站,途经奉贤区、闵行区。线路主要沿航南公路—望园路—莲花南路走行, 线路全长约11.5km,均为地下线敷设方式,共设望园路(换乘5号线、南枫线)、川丰路、汇丰北路、紫月路4座车站,设环城北路车辆基地1座。

上面提到了哪些交通线路,这些站点分别有多长,经过哪些站点

比如:一号线:总长度12.2公里,途径:人民广场,陆家嘴,乘风工业区

ChatGPT 回答:

  • 13号线东延伸工程:总长度未提及,经过张江路站、高科中路站、金秋路站、丹桂路站

  • 20号线一期东延伸:总长度8.0公里,经过共青森林公园站、洲海路站、高东镇新园路站,设换乘站1座,与21号线二期换乘

  • 崇明线:总长度约43公里,经过金吉路站、申江路站、长兴岛站、陈家镇站、东滩站、裕安站,与12号线和9号线分别换乘

  • 21号线一期东延伸工程:总长度14.0公里,经过浦东枢纽、川南奉公路、川六公路、六陈路,设T3航站楼、上海东站、金闻路、施新路4座车站

  • 15号线南延伸工程:总长度约11.5公里,经过望园路站、川丰路站、汇丰北路站、紫月路站,设换乘5号线、南枫线的望园路站和环城北路车辆基地1座。

▍写代码:程序员瑟瑟发抖吧

提问:根据需求写出 python 代码 

需求:猜数字游戏的规则如下:每轮游戏,我都会从 1 到 n 随机选择一个数字。请你猜选出的是哪个数字。如果你猜错了,我会告诉你,你猜测的数字比我选出的数字是大了还是小了。你可以通过调用一个预先定义好的接口 int guess(int num) 来获取猜测结果,返回值一共有 3 种可能的情况(-1,1 或 0):-1:我选出的数字比你猜的数字小 pick < num 1:我选出的数字比你猜的数字大 pick > num 0:我选出的数字和你猜的数字一样。恭喜!你猜对了!pick == num

python代码:

ChatGPT回答:

  1. def guessNumber(n):
  2. left, right = 1, n
  3. while left <= right:
  4. mid = (left + right) // 2
  5. res = guess(mid)
  6. if res == 0:
  7. return mid
  8. elif res == -1:
  9. right = mid - 1
  10. else:
  11. left = mid + 1

解释:使用二分查找的思想,每次猜测中间的数字,如果猜测结果为-1,则说明选出的数字比猜测数字小,需要在左半边继续猜测;如果猜测结果为1,则说明选出的数字比猜测数字大,需要在右半边继续猜测;如果猜测结果为0,则说明猜测数字就是选出的数字,返回该数字即可。

f3d1311f1d56fbd111ea2f9cbd0670f0.gif

GPT 3 已经展示 Prompt 取代微调或者降低微调的路线是有较大可能走得通的。GPT 3 和之前的 BERT 选择的微调路线是 LLM 道路上一个重要的岔路选择。虽然未来 LLM 还有很长的路要走,但是 GPT3 让我们看到 LLM 模型在 Prompt 的加持下,NLP 领域将出现全新的世界。

微软最有价值专家(MVP)

62a95ef858bdd16132b34e4d5b305642.png

微软最有价值专家是微软公司授予第三方技术专业人士的一个全球奖项。30年来,世界各地的技术社区领导者,因其在线上和线下的技术社区中分享专业知识和经验而获得此奖项。

MVP是经过严格挑选的专家团队,他们代表着技术最精湛且最具智慧的人,是对社区投入极大的热情并乐于助人的专家。MVP致力于通过演讲、论坛问答、创建网站、撰写博客、分享视频、开源项目、组织会议等方式来帮助他人,并最大程度地帮助微软技术社区用户使用 Microsoft 技术。

更多详情请登录官方网站:
https://mvp.microsoft.com/zh-cn

becf22e837f10e2de1234a9951874e11.jpeg

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/我家小花儿/article/detail/151482?site
推荐阅读
相关标签
  

闽ICP备14008679号