Note - Sequence models - Sequence to sequence models (deeplearning.ai)

课程链接：序列模型 - 网易云课堂 (163.com)

3.1 Basic models

编码网络（输入句子）和解码网络（输出翻译）

图像描述生成 image caption model（image to sequence）

输入图像到编码网络（AlexNet）生成特征向量，将其输入到解码器中，生成图片描述

3.2 Picking the most likely sentence

机器翻译：条件语言模型，在给定输入的条件下，选择最佳的翻译的结果，使得条件概率最大化

3.3 Beam search （集束搜索）

每次考虑n个可能的结果，n为bean width（集束宽），计算当前句子出现的概率

当n=1时，集数搜索变成贪心算法

3.4 Refinement to beam search

取log，概率的乘法变加法

由于不同句子长度不同，进行长度归一化，加一个指数，柔化操作（hack，无理论证明）

归一化的对数似然目标函数

如何选择集束宽，过大：选择增多结果好但计算量大；过小：选择更少结果坏但计算快。1000-3000效果增加不那么明显

3.5 Error analysis on beam search

3.6 Bleu score (optional)

评估一个机器翻译系统

BLEU：bilingual evaluation understudy 双语评估替补，代替人类进行评估

一元词组精确度 所有单词在所有reference中出现的最大值的和/所有单词在output中出现的次数总和（句子长度）

二元词组精确度 所有二元词组在所有reference中出现的最大值的和/所有二元词组在output中出现的次数总和

BP：brevity penalty BP 简短惩罚

3.7 Attention model intuition

3.8 Attention model

3.9 Speech recognition

注意力模型

CTC损失函数

3.10 Trigger word system

触发字检测算法

Alexa、Siri、小度