YOLOV5/YOLOV8改进：更换Next-vit主干：用于现实工业场景的下一代视觉 Transformer_yolov8改进 transnext

论文地址

由于复杂的注意机制和模型设计，大多数现有的视觉变形器(vit)不能像卷积神经网络(cnn)那样高效地执行任务。在实际的工业部署场景中，例如TensorRT和CoreML。这就提出了一个明显的挑战:视觉神经网络能否设计得像cnn一样快并像vit一样强大吗?在这些工作中，我们提出了在现实工业场景中有效部署的下一代视觉变压器，即next - vit，从延迟/精度权衡的角度来看，它在cnn和vit中都占主导地位。下一个卷Block (NCB)和Next Transformer Block (NTB)分别用于通过部署友好机制捕获本地和全局信息。然后，下一个混合战略(NHS)的目的是堆叠NCB和NTB一个有效的混合范式，它提高性能各种下游任务。大量实验表明，Next-ViT显著优于现有的cnn、vit和CNN-Transformer的混合架构各种视觉任务之间的延迟/准确性权衡。在TensorRT, Next-ViT超过ResNet 5.5 mAP (from40.4 ~ 45.9)， mIoU为7.7%(从38.8%到46.5%)在ADE20K分割下相似延迟。同时，达到了相当的性能，而推理速度则由3.6×。在CoreML上，Next-ViT超过了EfficientFormer4.6 mAP(从42.6到47.2)对COCO检测和3.5%在类似的延迟下，ADE20K分段的mIoU(从45.1%到48.6%)。