热门标签
热门文章
- 1大型网站架构籍推荐_网站 架构 推荐
- 2python批量爬取某站视频_python爬虫批量爬取b站视频
- 3nacos注册服务及集成seata踩坑记录(No available service)
- 4运营商分配给专线的多个固定公网IP怎么用_一根专线4个ip怎么用
- 5[毕业设计]最新、最全、最适合计算机专业的毕业设计推荐+项目源码+演示地址_安卓项目源码 校园跑腿帮app android stu dio项目 附源码,安装包,说明,录屏,截屏
- 6vasp计算-结构优化_vasp计算mos2结构优化
- 764道企业真实Flink题目让你无惧Flink面试（带答案）_flink面试题
- 8问题|Conda虚拟环境创建出错Collecting package metadata (current_repodata.json): failed @Conda_miniconda 执行conda create --name d2l python3.9 -y时出
- 9Linux之zenmap安装和使用_zenmap下载安装
- 10python pytorch-GPU 环境搭建 (CUDA 11.2)_cuda11.2对应的pytorch
当前位置: article > 正文
【深度学习 九】transformer_transformer的encoder输出什么
作者：笔触狂放9 | 2024-04-01 10:17:00
赞
踩
transformer的encoder输出什么
1 transformer的encoder-decoder结构：
结构内部：
2 encoder：
2.1 输入部分
embedding和postitional encoding（位置编码）
为什么需要位置编码：如RNN每一time steps共享一套参数，串行输入输出，而transformer采用可以并行出入几个单词或者一串句子，优点是处理效率高，缺点是无法表示时序关系，所以要对输入的embedding加上postitional encoding。
最终输入的数据：
2.2 注意力机制
2.2.1 基本的注意力机制
推荐阅读
相关标签
