热门标签
热门文章
- 1分布式与一致性协议之PBFT算法_pbft算法应用场景有哪些?
- 2python基础测试含答案_python测试基础
- 3准「AI 时代」下，如何衡量程序员的工作效率和生产力？_程序员相关的ai考核指标
- 4RocketMQ —消费重试_rocketmq消费重试
- 5添加数据(sql)_添加sql
- 6【分布式】大模型分布式训练入门与实践 - 04_大模型分布式微调 nccl
- 7如何在 PyCharm 中集成 GitLab？_pycharm上gitlab插件
- 8最新版的配音软件--- tts-vue 软件 下载安装成功过程
- 9Flink流计算常用算子大全_flink算子有哪些
- 10android studio设置jdk版本项目设置和全局设置
当前位置: article > 正文
文献阅读笔记10——ECA注意力机制_eca原理
作者：很楠不爱3 | 2024-05-21 17:47:55
赞
踩
eca原理
0 写在前面
第一部分内容更针对于精度的提升，第二部分就需要找到一些方法针对速度的提升。
1 ECA注意力机制
天津大学在2020CVPR发表的一篇文章
1.1 Abstract+Conclusion
- 目的：提高深度卷积网络的性能，并克服性能和复杂性之间权衡矛盾。
- 挑战：复杂的注意力机制增加了模型的复杂性。
- 提出了一种高效的通道注意力机制（ECA）
- 作用：涉及少量参数，同时带来明显的性能增益
- 灵感来源：SENet
- 原理：避免降维对于学习通道注意力很重要，适当的跨通道交互可以在显著降低复杂性的同时保持性能
- 提出了一种无降维的局部交叉信道交互策略，策略可以通过一维卷积有效实现。
- 提出了一种自适应选择一维卷积核大小的方法，以确定局部交叉通道交互的覆盖范围。
1.2 Contributions
- 避免维度缩减和适当的跨通道互动
- ECA在明显改进的同时，不增加模型复杂度
- 对比现有技术具有更低的模型复杂度
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/很楠不爱3/article/detail/603895
推荐阅读
相关标签
