RT-DETR论文解读与代码

RTdetr ecoder和decoder部分pytorch复现代码链接见文末
1.初始化策略与源码有所差异，使用过程中可以根据自己的需求进行更换！
2.代码经过一条一条的debug，本身没有bug,并且是依据作者源码用pytorch实现，但是在进行数据预处理时，需要保证每张图片标签不为空，否则会报错。如果您需要处理相关情况，需要自己思考策略。源码中作者没有考虑标签为空的情况。
3.本代码没有复现分割部分内容
4.代码中，后处理输出顺序进行了调整，您可以完美嵌入YOLO的代码中，进行map的计算

1.概述

        目前以大名鼎鼎的YOLO为代表的基于CNN的实时监测网络需要NMS进行后处理，导致不能很好的优化网络，并且网络不够健壮，从而导致检测器的推理速度出现延迟。研究者也分析了Anchor-based和Anchor-free的YOLO的性能，发现Anchor并不是影响实时监测的关键要素，而NMS后处理彩色。

        DETR很好的解决了后处理对于模型的限制，却受限于Transformer巨大的计算量，无法发挥实时监测性。

        因此，作者想要重构detr,使其具有实时性。研究者发现，虽然多尺度特征的引入有利于加速训练收敛和提高性能，但它也能显著增加输入编码器的序列的长度。因此，Transformer编码器由于计算成本高而成为模型的计算瓶颈。因此，作者设计了一种高效的混合编码器来代替原来的Transformer编码器。通过解耦多尺度特征的尺度内交互和跨尺度融合，该编码器可以有效地处理不同尺度的特征。此外，之前的工作表明，解码器的对象查询初始化方案对检测性能至关重要（Detr存在训练收敛缓慢和Query难以优化的