当前位置:   article > 正文

BERT简述_bert decoder

bert decoder

BERT 下 面 详 细 解 释 一 下 BERT 的 特 点 。

首 先 BERT 只 有 encoder 没 有 decoder 。 这 很 容 易 理 解 , 因 为 BERT 是 一 个 通 用 的 预 训 练 模 型 , 可 以 接 各 种 下 游 任 务 , 它 的 输 出 只 是 文 本 表 示 , 所 以 不 能 使 用 固 定 的 decoder 。

第 二 点 , BERT 是 百 层 左 右 的 深 度 神 经 网 络 , 才 能 把 各 种 语 言 学 的 特 征 提 取 出 来 。 BERT 面 世 之 前 ,NLP 领 域 的 神 经 网 络 基 本 上 只 有 几 层 , Transformer 架 构 之 后 才 有 可 能 将 NLP 网 络 推 向 几 十 上 百 层 。 浅 层 是 分 析 语 法 , 词 法 层 级 的 特 征 , 深 层 进 入 语 义 的 范 畴 。

第 三 点 , 非 常 重 要 的 一 点 , BERT 是 一 个 预 训 练 模 型 , 这 意 味 着 做 NLP 项 目 的 起 点 已 经 大 幅 提 升 。 在 2018 年 之 前 , 任 何 一 个 NLP 项 目 的 起 点 都 是 以 Word2Vec 为 代 表 的 词 向 量 。 我 们 拿 到 一 句 话 的 词 向 量 之 后 , 自 己 构 建 句 向 量 , 再 实 现 下 游 任 务 。 构 建 句 向 量 的 过 程 往 往 是 简 单 的 词 向 量 平 均 或 者 加 总 , 难 以 实 现 深 层 语 义 的 提 取 , 导 致 下 游 任 务 效 果 较 差 。

相 信 从 BERT 开 始 , 会 出 现 各 种 细 分 领 域 的 语 言 模 型 , 效 果 也 会 越 来 越 好 。 第 四 个 特 点 , BERT 是 用 self - attenti

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/我家自动化/article/detail/134643
推荐阅读
  

闽ICP备14008679号