热门标签
热门文章
- 1NL2SQL实践系列(2)：2024最新模型实战效果(Chat2DB-GLM、书生·浦语2、InternLM2-SQL等)以及工业级案例教学_nl2sql模型评测
- 2FPGA学习笔记（九）——计数器IP核调用与验证_fpgaip核调用
- 3PHP毕业设计答辩企业员工管理系统考勤管理系统[文档+答疑+远程_职工考勤管理系统答辩
- 4AI Agent - 7大认知框架全解析与代码实现
- 5科技助力上亿用户隐私安全保护，合合信息两款产品再获CCIA PIA星级标识
- 6SpringBoot3理解及使用_springboot 3
- 737_MFC自绘UI你离不开GDI绘图_mfc程序ui
- 8查看和导出 .html/.csv/.xls/.zip等类型的文件（前端从后端接受文件流来实现）_前端能把zip格式的文档流下来吗
- 9opencv parallel_for_使用及注意_for(cv::point pnt : lst)
- 10把java文件打包成.jar (jar命令详解)_-jar -xmx1024m -xms256m
当前位置: article > 正文
文献阅读笔记10——ECA注意力机制_eca原理
作者：很楠不爱3 | 2024-05-21 17:47:55
赞
踩
eca原理
0 写在前面
第一部分内容更针对于精度的提升，第二部分就需要找到一些方法针对速度的提升。
1 ECA注意力机制
天津大学在2020CVPR发表的一篇文章
1.1 Abstract+Conclusion
- 目的：提高深度卷积网络的性能，并克服性能和复杂性之间权衡矛盾。
- 挑战：复杂的注意力机制增加了模型的复杂性。
- 提出了一种高效的通道注意力机制（ECA）
- 作用：涉及少量参数，同时带来明显的性能增益
- 灵感来源：SENet
- 原理：避免降维对于学习通道注意力很重要，适当的跨通道交互可以在显著降低复杂性的同时保持性能
- 提出了一种无降维的局部交叉信道交互策略，策略可以通过一维卷积有效实现。
- 提出了一种自适应选择一维卷积核大小的方法，以确定局部交叉通道交互的覆盖范围。
1.2 Contributions
- 避免维度缩减和适当的跨通道互动
- ECA在明显改进的同时，不增加模型复杂度
- 对比现有技术具有更低的模型复杂度
声明：本文内容由网友自发贡献，转载请注明出处：【wpsshop】
推荐阅读
相关标签
