- 1算法沉淀——多源 BFS（leetcode真题剖析）_多源最短路径leetcode
- 2vscode加载web 视图，报错:“Error: Could not register serviceworkers: InvalidstateError: Failed to regist“_加载 web 视图时出错: error: could not register service wo
- 3基于python爬虫的二手房数据分析_python 链家房价预测
- 4python调用zabbixapi接口_使用Python操作Zabbix Api
- 5搜索树基础：二叉搜索树（详解特性用途，图解实现过程）_小码哥 二叉搜索树
- 6python商业爬虫教程_python商业爬虫课程
- 7网络安全：Web 安全 面试题.（CSRF）
- 8成功解决TypeError: 'float' object cannot be interpreted as an integer
- 9通过git下载项目中途卡住，最后报错504错误时。_git clone 504
- 10c++ 非对称加密算法_大学里面挂科最高的科目？非对称加密 加密算法(下)
#今日论文推荐#ICLR 2022 | 基于Transformer的跨域方法——CDTrans
赞
踩
#今日论文推荐#ICLR 2022 | 基于Transformer的跨域方法——CDTrans
本文解读我们 ICLR 2022 上发表的论文《CDTrans: Cross-domain Transformer for Unsupervised Domain Adaptation》。这篇文章提出一种基于 Transformer 的跨域方法：CDTrans。它使用 Transformer 中的 CrossAttention 机制来实现 SourceDomain 和 TargetDomain 特征对齐。具体来说，在传统方法给 TargetDomain 打伪标签的过程中难免存在噪声。由于噪声的存在，需要对齐的 Source 和 Target 的图片对可能不属于同一类，强行对齐会对训练产生很大的负面影响。该方法经过实验发现 Transformer 中的 CrossAttention 可以有效避免噪声给对齐造成的影响。CrossAttention 让模型更多的关注 Source 和 Target 图片对中相似的信息。换句话说，即使图片对不属于同一类，被拉近的也只会是两者相似的部分。因此，CDTrans 具有一定的抗噪能力。最终实验也表明 CDTrans 的效果大幅领先 SOTA 方法。
大多数现有的 UDA 方法都集中在学习域特征表示上，希望能够学习到一个跟类别种类相关的而跟域无关的特征。目前的研究无论是从域层面（粗粒度）还是类别层面（细粒度）上的特征对齐操作，都是使用基于卷积神经网络（CNN）的框架。大体上主流的解决思路有两种，分别是基于分布度量一致性约束的方法和基于对抗学习的方法。具有代表性的技术分别是 MMD [1] 和 DANN [2] 。
论文题目：CDTrans: Cross-domain Transformer for Unsupervised Domain Adaptation
详细解读：https://www.aminer.cn/research_report/63077c927cb68b460f0bc6ee
https://www.aminer.cn/research_report/63077c927cb68b460f0bc6ee
AMiner链接：https://www.aminer.cn/?f=cs
