深度学习论文: SAM 2: Segment Anything in Images and Videos_sam2论文

深度学习论文: SAM 2: Segment Anything in Images and Videos
SAM 2: Segment Anything in Images and Videos
PDF:https://ai.meta.com/research/publications/sam-2-segment-anything-in-images-and-videos/
PyTorch: https://github.com/shanglianlm0525/PyTorch-Networks

1 概述

SAM 2架构的推出标志着SAM（Segmentation with A Million examples）技术从静态图像领域向动态视频领域的重大跨越。这一升级不仅保留了SAM在图像分割中的高效与准确性，还通过一系列创新设计，使得SAM 2能够灵活应对视频中的复杂场景与动态变化。

在SAM 2中，用户可以通过点击、边界框或掩码等多样化的交互方式，在视频的任一给定帧中精确定义目标对象的范围。随后，一个轻量级的掩码解码器利用当前帧的图像特征与编码后的用户提示，迅速输出该帧的精细分割掩码。这一即时反馈机制极大地提升了用户与模型之间的交互效率与灵活性。

针对视频数据的连续性特点，SAM 2引入了先进的记忆机制，该机制由记忆编码器、