赞
踩
本文给大家带来的改进机制是实现级联群体注意力机制CascadedGroupAttention,其主要思想为增强输入到注意力头的特征的多样性。与以前的自注意力不同,它为每个头提供不同的输入分割,并跨头级联输出特征。这种方法不仅减少了多头注意力中的计算冗余,而且通过增加网络深度来提升模型容量,亲测在我的25个类别的数据上,大部分的类别均有一定的涨点效果,仅有部分的类别保持不变,同时给该注意力机制含有二次创新的机会。
欢迎大家订阅我的专栏一起学习YOLO!
目录
二、 CascadedGroupAttention的基本原理
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。