人工智能uu

这个屌丝很懒，什么也没留下！

热门标签

热门文章

当前位置: article > 正文

NLP：LM语言模型的简介(语言模型VS预训练模型)、发展历史(N-Gram→RNN→Transformer)、案例应用(语音识别/机器翻译/自然语言生成)之详细攻略_nlg 发展史

作者：人工智能uu | 2024-07-28 14:04:10

赞

踩

nlg 发展史

NLP：LM语言模型的简介(语言模型VS预训练模型)、发展历史(N-Gram→RNN→Transformer)、案例应用(语音识别/机器翻译/自然语言生成)之详细攻略

目录

1、语言模型的概述：判断一段词语组合是不是符合自然语言的法则或人话/计算下一个单词的概率，可以捕获上下文

(1)、语言模型VS预训练模型

2、语言模型的计算 p(w1,w2,...,wn) ？

3、语言模型的评估

(1)、困惑度PPL

LM的发展历史：N-Gram→RNN→Transformer

1、从传统的【概率统计】语言模型

>> N-Gram(20世纪60年代)

NLP：N-Gram(gram窗口分段再统计)基于概率统计语言模型的简介(包括马尔可夫假设概述)、使用方法、案例应用之详细攻略

2、基于【神经网络】的语言模型

>> FFNN-LM(2003年)：前馈神经网络模型，只能处理定长序列/参数多/训练慢

NLP之NNLM：NNLM神经语言模型算法(词向量法的始祖)的简介、网络结构、案例应用、代码实现之详细攻略

>> RNN-LM(2010)→LSTM-LM(2012)：循环神经网络模型，大数据处理缓慢

3、基于【预训练】的语言模型

LM的案例应用

1、语音识别

NLP之ASR：语音识别技术(Automatic Speech Recognition)的简介、发展历史、案例应用之详细攻略

2、机器翻译

Paper：Transformer模型起源—2017年的Google机器翻译团队—《Transformer：Attention Is All You Need》翻译并解读

3、自然语言生成

AIGC之GPT-4：GPT-4的简介(核心原理/意义/亮点/技术点/缺点/使用建议)、使用方法、案例应用(计算能力/代码能力/看图能力等)之详细攻略

LM的简介

1、语言模型的概述

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/人工智能uu/article/detail/894473

推荐阅读

相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

闽ICP备14008679号