当前位置:   article > 正文

huggingface transformer模型库使用(pytorch)_valueerror: ffmpeg was not found but is required t

valueerror: ffmpeg was not found but is required to load audio files from fi

参考: https://huggingface.co/docs

transformer库 介绍

使用群体:

  • 寻找使用、研究或者继承大规模的Tranformer模型的机器学习研究者和教育者
  • 想微调模型服务于他们产品的动手实践就业人员
  • 想去下载预训练模型,解决特定机器学习任务的工程师

两个主要目标:

  • 尽可能见到迅速上手(只有3个标准类,配置,模型,预处理类。两个API,pipeline使用模型,trainer训练和微调模型,这个库不是用来建立神经网络的模块库,你可以用Pytorch,Python,TensorFlow,Kera模块继承基础类复用模型加载和保存功能)
  • 提供最先进,性能最接近原始模型(每种架构至少一个例子复现原作者产生的结果,代码尽可能接近原作者,所以可能不是pytorchic)

其他目标

  • 尽可能连续公开模型内部(API,标准化)
  • 同一个主观选择的,有前景的工具微调,探讨模型
  • 容易在 PyTorch, TensorFlow 2.0 ,Flax互相转换,可以在一个框架上训练,另一个框架上推理

主要理念

这个库基于3种类型的类建立

  • Model classes
  • Configuration classes
  • Preprocessing classes将原始数据转化为模型可以接收的格式

所有类可以从预训练实例种初始化,本地报错,分享到Hub上.from_pretrained(),save_pretrained(),push_to_hub()

transformers 历史

Transformer是一种用于自然语言处理的神经网络模型,由Google在2017年提出,被认为是自然语言处理领域的一次重大突破。它是一种基于注意力机制的序列到序列模型,可以用于机器翻译、文本摘要、语音识别等任务。

Transformer模型的核心思想是自注意力机制。传统的RNN和LSTM等模型,需要将上下文信息通过循环神经网络逐步传递,存在信息流失和计算效率低下的问题。而Transformer模型采用自注意力机制,可以同时考虑整个序列的上下文信息,不需要依赖于序列的顺序,从而避免了信息流失和复杂的计算。

Transformer模型由编码器和解码器两部分组成,其中编码器用于将输入序列转换为抽象的上下文向量,解码器则将上下文向量转换为目标序列。Transformer模型的每一层都由多头自注意力机制和前馈神经网络组成,使得模型具有充分的表达能力和高效的计算效率。

Transformer模型在机器翻译、文本摘要、语音识别等任务上取得了很好的效果,被广泛应用于自然语言处理领域。

transformer 能力

是NLP,CV,audio,speech processing 任务的库,也包含了非Transformer模型

CV任务可以分成两类,使用卷积去学习图像的层次特征(从低级到高级)

把一张图像分成多块,使用一个transformer组件学习每一块之间的联系。

Audio

音频和语音处理

输入是连续信号,音频不能像文本一样(分割成词)被切割成离散的块,音频通常是在规则间断采样,采样频率越高,就越接近原始音频源。过去的处理方法是抽取特征,现在是直接把全部数据扔进特征encoder去抽取音频表示,简化了预处理步骤。

音频分类
场景分类(办公司,沙滩,体育场)
事件检测(鲸啸,玻璃碎掉,

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/很楠不爱3/article/detail/548733
推荐阅读
相关标签