赞
踩
GPT:Generative Pre-Training。
概述(NLU包含多个具体的子任务)->现状导致了挑战(未标注数据远远超过了标记数据)->使用GPT的方法(具体包含discriminative fine-tuning)产生了很大的进步->相比于以前的方法,充分利用了task-aware input transformation->具体产生了哪些提升。
工作的概述:NLU Framework = GPT+discriminative fine-tune。通过在长文本上进行预训练获取知识,然后再通过迁移学习来更好的解决子任务。
总分总:在机器学习领域中,通过非监督学习(自监督学习)来提升效果是非常重要的。我们的工作证明了使用Transformer模型+长文本就能发挥出很好的效果。希望能够推动NLU和其他领域的发展。
语言模型的标准目标是将以下似然函数进行最大化(负无穷到0)。
u
=
{
u
1
,
…
,
u
n
}
u=\{u_1, \dots,u_n\}
u={u1,…,un}
L
(
u
)
=
∑
i
l
o
g
P
(
u
i
∣
u
i
−
k
,
…
,
u
i
−
1
;
Θ
)
L(u)=\sum _{i} log\ P(u_i|u_{i-k},\dots,u_{i-1};\Theta)
L(u)=i∑log P(ui∣ui−k,…,ui−1;Θ)
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。