FastText原理以及pytorch简单实现_fasttext pytorch

作者：爱喝兽奶帝天荒 | 2024-08-12 05:13:43

踩

fasttext pytorch

paper: https://arxiv.org/pdf/1607.01759v3.pdf

code: https://github.com/facebookresearch/fastText

Time：2017.05

1.FastText的原理

fastText 方法包含三部分：模型架构、层次 Softmax 和 N-gram 特征。

fastText 模型输入一个词序列（一段文本或者一句话)，输出这个词序列属于不同类别的概率。
序列中的词和词组组成特征向量，特征向量通过线性变换映射到中间层，中间层再映射到标签。
fastText 在预测标签时使用了非线性激活函数，但在中间层不使用非线性激活函数。
fastText 模型架构和 Word2Vec 中的 CBOW 模型很类似。不同之处在于，fastText 预测标签，而 CBOW 模型预测中间词。
第一部分：fastText 模型架构

fastText的模型架构类似于CBOW，两种模型都是基于Hierarchical Softmax，都是三层架构：输入层、隐藏层、输出层。

第二部分：层次之间的映

声明：本文内容由网友自发贡献，转载请注明出处：【wpsshop博客】