当前位置:   article > 正文

蒸馏神经网络(Distill the Knowledge in a Neural Network)

distill the knowledge

本文是阅读Hinton 大神在2014年NIPS上一篇论文:蒸馏神经网络的笔记,特此说明。此文读起来很抽象,大篇的论述,鲜有公式和图表。但是鉴于和我的研究方向:神经网络的压缩十分相关,因此决定花气力好好理解一下。 


1、Introduction  

文章开篇用一个比喻来引入网络蒸馏:

    昆虫作为幼虫时擅于从环境中汲取能量,但是成长为成虫后确是擅于其他方面,比如迁徙和繁殖等。

同理神经网络训练阶段从大量数据中获取网络模型,训练阶段可以利用大量的计算资源且不需要实时响应。然而到达使用阶段,神经网络

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/盐析白兔/article/detail/731733
推荐阅读
相关标签
  

闽ICP备14008679号