所有人都能懂的chatgpt背后相关的生成式模型_chatgpt生成式

‘我不是搞chatgpt技术的，但我很想了解一点相关的知识’。

抱着这么个想法，我们用通俗的例子去了解下gpt背后概念AIGC的一部分，也就是生成式模型。

例子引用了油管大佬和知乎大佬的ppt讲解与搬运。

 

数据来源：youtube

✦ 

正文

深度学习属于机器学习，机器学习又可以分为两大类：生成式模型（Generative Model）、判别式模型（Discriminative Model）。

 数据来源：youtube

如上图，现在有一堆球，颜色信息为绿色和黄色，球的颜色为y（目标变量），坐标轴上位置为特征X。我们有个疑问，如果在坐标轴的某一位置x新放入一个球，这个球会是什么颜色的？于是就有下面两个角度考虑问题

► 生成式模型

 

数据来源：youtube

生成式模型使用的是联合概率P(X,Y)，若已知x（球的坐标位置信息），通过计算出P(X,Y)我们就可以知道球的颜色。

根据DMD学的条件概率，P(X,Y) = P(Y)*P(X|Y)，其中P(Y)可以根据已知球（样本）的颜色分布算出来。

 

数据来源：youtube

又因为我们有上图绿色球和黄色球的数据，所以我们可以算出来一个经验分布，如下图：

 

数据来源：youtube

这个图告诉我们对于每一个球，我们能够计算所谓的“高度”，近似于P(X|Y=green)的值，即当球的颜色是绿色时，球在坐标轴上的各个位置的概率。同理，也可以算出P(X|Y=yellow)

如下图，新给一个球，把它放在坐标轴某个位置上，让我们预测，这个球是绿色的概率大？还是黄色的概率大？

数据来源：youtube

通过比较联合概率P(X,Y=green)和P(X,Y=yellow)谁更大，比如上图中明显球为绿色的概率大于0，为黄色的概率接近于0。所以可以认为这个球是绿色的。

总结：生成式模型主要通过学习样本，形成多个Y分布，然后计算联合概率P(X,Y)，根据P(X,Y)的值预测新的样本属于哪个类。对于二分类问题，如果P(X,Y1)>P(X,Y2)，则新样本X判定为Y1。

► 判别式模型

再简单说一下判别式模型，如下图，我们简单的把黄绿色球分开放，而我们需要的是算在给定x的时候y取0或者1哪个概率更大。

数据来源：youtube

条件概率分布P(Y|X)可以理解为：在已知某样本的特征为X的条件下，计算该样本类别为类别Y1、Y2、Y3的概率，并选择概率最大的类别为该样本的预测类别。如，已知一个花的花瓣长度(X1)、花瓣宽度(X2)、花瓣颜色(X3)、气味(X4)等特征值，求这多花为鸢尾花、菊花、玫瑰的概率。

数据来源：youtube

也就是说，判别式模型需要我们寻找一个边界，来判断或预测某个东西是属于哪一类的。

► 例子

 

数据来源：youtube

红色圆圈和蓝色圆圈就是基于样本数据生成的分布函数。

 

数据来源：youtube

根据上图，生成式模型会对于白球因为在红色分布的概率大于在蓝色分布而归类于红色。但是根据下图，判别式模型会根据清晰的判断边界而把白色小球归类于蓝色。判别式模型分类的准确性高度依赖于分类边界函数的准确性。

 

数据来源：youtube

► 总结

 

数据来源：知乎

判别式模型通过数据集，尽可能找到犯错最少的位置（也就是“经验误差最小原则”）作为决策边界，然后来做决策。

生成式模型先根据数据集生成正、负类的分布，再得到决策边界。

可以这么比喻，判别模型就是不断刷题，不太去理解，这样也可以很好地应付考试（预测）；而生成模型在刷题同时还会尝试理解其中的知识，只要理解得当，完全可以考出好的成绩

► 生成式模型和AIGC

生成式模型是一种可以通过学习数据分布来生成新数据的机器学习模型，比如GAN（生成式对抗网络），VAE（变分自编码器）等。生成式模型的目标是学习一个联合概率分布，可以用来生成与训练数据相似的数据。

AIGC是"Generative Cognition Approach"的缩写，是一种认知方法论的理论框架，提出了一种基于生成式模型的人工智能建模方法。其核心思想是将人类的认知过程看作是信息的生成过程，并通过模拟这个过程来实现AI。AIGC的目标是开发一种可以像人类一样产生和处理信息的人工系统，以更好地模拟人类的思维方式和认知机制。

✦ 

参考资料

[1]https://www.youtube.com/watch?v=HHNESCbZqUg

[2]https://zhuanlan.zhihu.com/p/266202548

[3]https://www.zhihu.com/question/578890708/answer/2938538775

[4]https://www.zhihu.com/tardis/bd/ans/1661760071?source_id=1001

+记得点赞在看和关注～