当前位置:   article > 正文

Small-Footprint Open-Vocabulary Keyword Spotting with Quantized LSTM Networks

small-footprint open-vocabulary keyword spotting

原创: Lebhoryi@rt-thread.com
时间: 2020/04/11


0x00 Paper

0x01 为了解决什么问题

  • 为了用户能够自定义他们自己的关键词而不用retrain整个model

  • 之前的训练的model需要提前知道关键词和固定的关键词训练集

之前的模型的损失方式有三种:

  • 交叉熵
  • CTC
  • a max-pooling loss

0x02 提出了哪些创新点

  1. 量化LSTM的方法

  2. 设计了CTC训练结果的置信度

  3. 提出了一个更快的解码方式,除了pruning,比跳帧还快

  4. 和不同的方式做一个结果比较

    • LVCSR
    • keyword-filler
    • CTC

0x03 文章body

第二节介绍了网络架构和量化训练的方式

第三节介绍了关键词检测机制,置信度和优化器设置

第四节介绍了实验相关

第五节介绍了实验的结果

3.1 第二节 ACOUSTIC MODEL

  • 第一部分:多层LSTM

    • 输入五帧连续的MFCC特征,每三帧比较一次

  • 第二部分:量化

    • 量化的灵感来源:

      • B. Jacob, S. Kligys, B. Chen, M. Zhu, M. Tang, A. Howard, H. Adam,
        and D. Kalenichenko, “Quantization and training of neural networks
        for efficient integer-arithmetic-only inference,” in Proceedings of the
        IEEE Conference on Computer Vision and Pattern Recognition, 2018,
        pp. 2704–2713.
    • 权重在训练之后被量化,量化范围为最大值或者最小值的2的n次幂

    • 激活函数在训练期间被量化,固定的范围

      1. 因为LSTM通常包含了饱和的激活函数,范围在(-1,1),输入也是固定,设为(-4,4)

        Using the same fixed range for all activation
        function inputs and outputs allows to have a single lookup
        table at inference for the sigmoid and the tanh functions,
        making the model faster to execute.

      2. LSTM 包含了很多的额外项,量化参数相同更方便量化操作

      3. 内部状态 $ c_t $无界,没经过一个step自动加1。如果使用最大最小化量化,将会丢失较大的精度

  • 第三部分:CTC loss 和不同超参下的model测评

    • CTC loss 是端到端的,所以不需要对齐数据(对齐啥?此处存疑)

    • 对于长度不一的输入和音素序列,作者是这样处理的

      • CTC 增加一个P, P ′ = P U { 空 集 } P' = P U \{空集\} P=PU{}
      • 定义一个简单的映射B,$ P’^* -> P^* $,移除重复符号和空白
      • 最终的音素序列

3.2 第三节 KEYWORD SPOTTING METHOD

  • 第一部分:设了一个阈值检测关键词
  • 第二部分:两个策略发现更好的关键词序列

    • a greedy approach

      发现就归类,始终保持分数最高的置信度,去除重复的

      缺点:不能保证输出是最好的关键词,比如launch my playlist ,关键词是play和playlist,会被检测为play

    • a full search

      所有的序列都会被考虑到,并选择具有最大累积置信度的不重叠关键字的序列

  • 第三部分:更高的置信度设计

    • CTC 自带的置信度

      缺点:只做了局部的预测

    • 长度归一化

      the length of the segment is to normalize it by the segment length

    • No-blank normalization

      blank的影响较大

    • 似然比

      关键词和模型预测的序列之间的似然比,1为对应,0为不同

    • Normalization and ratio

      没搞清楚,说是长度和空白对模型有影响,好像是将上面的长度归一化和似然比结合了一下,顺便末尾作者提到了No-blank虽然得到了较低的置信度,但是还是几个方法中最可靠的

  • 第四部分:更快的解码

    • Boundaries subsampling

      好像是将三帧一次边界检测改成了两次,仅对后处理有一定的影响

    • Maximum segment length

      限定长度而不是最大长度

    • Pruning

      丢弃平均负似然对数超过2.5的序列

    • 忽略空白帧

  • 第五部分:在线关键词检测

3.3 第四节 EXPERIMENTAL SETUP

  • 数据集:the Librispeech dataset
  • 评价指标:
    • F1 scores 对于关键词
    • ratio 精确匹配到关键词在句中

0x04 other

  • 偏向于语言理解系统 spoken language understanding (SLU) systems

  • keyword-filler 框架

    filler model 的提出是为了解决长度不一样的问题
    同时有一个 background model 用来计算关键词和其他词之间的似然比

  • 特点:

    • 能够自定义关键词
    • 足够小,能在微处理器上跑起来
    • 实时性
    • 高准确率
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/Gausst松鼠会/article/detail/682738
推荐阅读
相关标签
  

闽ICP备14008679号