如何使用Hugging Face：对Transformer和pipelines的介绍_transformers 和 hugging face的关系

一、transformer介绍

众所周知，transformer模型（如GPT-3、LLaMa和ChatGPT）已经彻底改变了人工智能领域。它们不仅被用于自然语言处理，还被应用于计算机视觉、语音处理和其他任务中。Hugging Face是一个以变换器为核心的Python深度学习库。因此，在我们深入了解其工作原理之前，我们将探讨什么是transformer，以及为什么它们能够支持如此强大的模型。

1.递归神经网络Recurrent Neural Networks (RNNs)

在我们继续之前，有必要简要回顾一下序列模型的基础。对于常规数据而言，前馈神经网络(feedforward neural networks)极为有效，但对于序列型数据（如文本、语音或某些视频资料）来说，理解其上下文信息同样重要。

以这个句子为例：“我们走向了村庄，我哥哥戴着一个黑色的渔夫帽，手里还拿着一个装满水的瓶子。”在建立起这些词汇之间的联系之前，我们无法确定谁在拿瓶子，或是谁在陪伴叙述者，或者他穿着什么。这种联系的建立依赖于循环神经网络（RNNs），它们能够保持当前输入的上下文和历史信息。这里的“输入”可以指一个词或一幕电影画面等，但为了泛化讨论，我会统称之为“数据”。通过构建双向神经网络，我们甚至能够保留未来数据的历史信息。

2.梯度消失Vanishing gradients

传统RNN的一个主要问题是梯度消失。当应用反向传播时，我们使用链式法则将任何层与输出层连接（用于计算偏导数）。随着层数的增加，通常在反向传播过程中梯度会变得很小。

由于链式法则包含导数的乘积，它导致许多相关项的梯度变小或消失。即使你不理解任何微积分，这里的关键点是我们的神经网络学习/训练相当慢，因此我们需要确保有最佳的层数。因此，传统的（通常称为普通的）RNN无法包含太多上下文信息。

正是Sepp Hochreiter识别了这个问题，并提出了一种更好的模型，称为长短期记忆（LSTM）。LSTM由于较少受梯度消失问题的影响，能够包含更多上下文信息，并且与传统RNN相比显示出显著的改进。

3.注意力模型

LSTMs 在90年代中期被发现，对那个时代来说是非凡的成就。后来，它们作为一种更简单、更快速的版本得到了改进，GRU（门控循环单元）被引入。然而，鉴于对更大模型的迫切需求，需要能够承载更多上下文信息的更好的模型。在2014/15年，注意力机制被引入，以解决现有模型的局限性。

注意力模型非常简单直观。它们通过为不同的单词分配不同的权重，来关注文本的相关性。

历史视角：大多数文章将2014年视为transformers的起点，但这个故事实际上可以追溯到更早。早在1960年代，Watson和Nadaraya就提出了一种原始形式的注意力模型。

4.什么是transformers

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/你好赵伟/article/detail/552875