热门标签
热门文章
- 1Elasticsearch之常用DSL语句_elasticsearch dsl 语句
- 2android内存泄露：3、Handler的错误使用导致内存泄露_可能是handler写错了
- 3如何安装Android SDK_安卓sdk怎么安装
- 4React 可视化表单编辑器_react 可视化拖拽表单
- 5【MySQL新手入门系列五】：MySQL的高级特性简介及MySQL的安全简介_mysql除了关安全模式还要干嘛
- 6使用maven创建项目连接mysql_maven连接mysql
- 7基于Python爬虫广西桂林二手房数据可视化系统设计与实现(Django框架) 研究背景与意义、国内外研究现状
- 8flutter安卓模拟器不好使安卓每次打开android studio都下载并且download Importing ‘android“Gradle Project问题_importing android gradle project
- 9解决centos离线安装cmake找不到OpenSSL问题
- 10使用Docker及Docker-compose部署SpringBoot项目_spring-boot-docker-compose
当前位置: article > 正文
Transformer的前世今生 day02（神经网络语言模型
作者：笔触狂放9 | 2024-03-18 08:25:11
赞
踩
Transformer的前世今生 day02（神经网络语言模型
神经网络语言模型
- 使用神经网络的方法，去完成语言模型的两个问题，下图为两层感知机的神经网络语言模型：
以下为预备概念
感知机
- 线性模型可以用下图来表示：输入经过线性层得到输出
- 线性层 / 全连接层 / 稠密层：假设输入有n个，输出有m个，则w、b、y的个数如下：
独热编码
- 目的是让计算机认识单词
- 用矩阵的形式，存储所有单词。且在矩阵中，每一个元素都代表一个单词，这就要求矩阵的行列等于单词数，如下图：
- 独热编码有两个缺点：
- 矩阵的尺寸很容易过大，因为他需要行列等于单词数
- 相似单词之间的独热编码没有任何关联，通常使用余弦相似度来计算文本之间的相似度，但是现实世界中相似单词之间是有关联的
本文内容由网友自发贡献，转载请注明出处：https://www.wpsshop.cn/w/笔触狂放9/article/detail/261675
推荐阅读
相关标签
