赞
踩
2022年11月,GPT 3.5的发布引起了公众的广泛关注。OpenAI一跃成为最炙手可热的高科技公司。AI技术日新周异。世界迎来了一场新的技术范式变革。
虽然AI从ChatGPT开始引起普遍的关注,但实际上大语言模型(LLM)领域的研究早年已经在拥有最先进的技术的组织内进行。2017年Google发布的Transformer论文Attention is All You Need是大语言模型的基础。
一般的软件是由人类工程师编写,他们为计算机提供明确的、逐步的指令。LLM是建立在一个使用数十亿个语言词汇进行训练的神经网络之上。使用LLM,人类可以使用自然语言与机器进行沟通交流,似乎机器学会了思考,真正智能起来了。
大模型内部表示为一个多维度的向量空间,其实是超多维,比如GPT3采用12,288个维度。这是很难想象的,但是计算机理解多个维度并不困难,在这个空间里每个词元(token/一个token对应一个人类语言的单词片段)都有自己的坐标。以一种人类目前难以完全解释的方式,在已知token的基础上,生成概率最大的下一个token,不断的自回归直到生成所有的token。
说到这里,这是不是再次证明了世界的有序性。任何我们无法解释的现象或者玄学,其实归根到底是数学物理化学问题,只是我们暂时没有找到答案而已。
这篇understandingai网站上的文章比较全面的解释了LLM的原理:
Large language models, explained with a minimum of math and jargon
虽然人们对AGI的实现预期不同,但毫无疑问的认识到这将引起巨大的变革。
对话产品 | 大模型 | 使用 |
---|---|---|
OpenAI ChatGPT | GPT-3.5 GPT-4 | 目前可以直接注册,并免费在ChatGPT平台使用GPT3.5大模型;其他功能需要国外付费方式 |
Microsoft Copilot | GPT | |
Google Bard | Gemini | 需要注册Google账号,目前免费。 |
adding… |
我用GPT3.5来进行代码相关的工作时,LLM的表现是出乎我的意料的。大多数情况下,它非常好的理解了我的提问,并能辅助我编写和调试程序。可以说,对于很多方面的理解,是完全超越人类个体的。而且随着模型的版本不断提升,它的能力也越来越强。
另一方面,LLM的理智和耐心,也让它成为超好的副驾驶。
当然,大模型也有自己的问题。
比如幻觉,即大家所说的一本正经的胡说八道。
再比如,数学计算能力差。
我曾经使用GPT3.5帮我统计一次活动的费用,包括不同人数的家庭,已付钱数;总数按人头平均,计算家庭为单位的欠款和退款。GPT的输出逻辑上完全清楚明白,但是仔细看下,钱数却在某些步骤中算错了。GPT拥有优秀的语义推理,却并不擅长计算。在这种情况下,通用做法是让LLM输出相关的代码,再结合代码去跑出正确的结果。
可以预计的是,AI的技术革新将:
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。