当前位置:   article > 正文

keras loss loss_weight 作用要点总结

loss_weight

1、损失函数 loss的作用 ,损失权重 loss_weight作用:

loss 函数:主要有 sse msse 等统计学函数,也可以自定义,作用主要是统计预测值和真实值的距离。

loss_weight:用来计算总的loss 的权重。默认为1,多个输出时,可以设置不同输出loss的权重来决定训练过程。

rnnoise 的gru 官方demo 中:

a、主损失为denoise_output 权重设置为10,而辅助损失vad_output 权重设置为了0.2。

b、rnnoise 在采用sigmoid 激活函数的基础上采用了Binary Cross Entropy 作为自定义损失函数的一部分。

 

2、activation 激活函数:主要作用时增加非线性

  • Relu:近似生物神经激活函数。
  • tanh:双曲正切激活函数。
  • sigmoid:S型曲线激活函数。

等等。

3、constraint 约束项:防止过拟合 y = ax+b+wx',对a,b,w约束。

a、kernel_constraint:主权重

b、bias_constraint:偏置权重

c、recurrent_constraint :循环权重(rnn 特有)

 

4、regularizer 正则化:利用正则化公式,对权重进行修正,防止过拟合。

a、kernel_regularizer :主权重

b、bias_regularizer :偏置权重

c、recurrent_regularizer :循环权重(rnn 特有)

 

5、return_sequences:RNN 在输出序列中,返回单个 hidden state值还是返回全部time step 的 hidden state值。 False 返回单个, true 返回全部。

 

6、metrics 评估标准函数,用于测试训练集,测试集的结果输出。

 

7、optimizer:梯度控制,机器学习的重点。

 

8、batch_size:可以理解为批处理参数,它的极限值为训练集样本总数。

9、epoches:所有数据迭代多少次。

 

10、validation_split:预留数据中多少百分比的数据来做训练。

 

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/知新_RL/article/detail/133364
推荐阅读
相关标签
  

闽ICP备14008679号