5KCF 基于核化相关滤波器的高速跟踪论文笔记

摘要

现代跟踪器的核心组件：判别分类器  其任务是区分目标和目标周围的环境。

为了应对自然图像的变化，通常使用经过平移和缩放的样本patch进行训练。-------》这样的样本充满冗余，任何重叠的像素都被视为相同。------》因此本文提出了数千个平移patch的数据集分析模型。结果现实数据是循环的，我们能够使用离散傅里叶变换对数据矩阵进行对角化，从而将存储和计算开销减少几个数量级。

对于线性回归-------我们的公式相当于一个相关滤波器

对于核回归--------我们推导了一个新的核化相关滤波器（不同于其他核算法，它与线性核相应部分有完全相同的复杂度）--------》在此基础上，通过线性核，我们还提出了一种线性相关滤波器的快速多通道扩展，称之为双相关滤波器。

1引言

近些年视觉跟踪研究重大突破之一：判别学习方法的广泛采用。

跟踪任务===在线学习问题。----给定一个包含目标的初始图像patch，学习一个能够区分目标的外观和周围环境的分裂期。能够在许多位置对这个分类器进行详细的评估，，以便后续能够检测目标。

对于分类器，很可能专注于目标表征的感兴趣特征，正样本。然而判别方法的核心原则是给目标相关环境，负样本。

一个极大的挑战因素：虽可以从图像中获得几乎无线的负样本，但由于跟踪的时间敏感性，现代跟踪器需要在尽可能合并更多样本和保持较低的计算需求中进行折衷。通常的做法是每帧随机选择几个样本。-------》结果会导致负样本欠采样，（作者认为阻碍跟踪性能的主要因素）

循环矩阵----分析包括数千相对平移的样本的工具，它是在流行的学习算法和经典的信号处理之间提供一个有用的桥梁  意义：能够提出一种基于核化岭回归的跟踪器 而不会遭受核化的诅咒 因为随样本变化复杂度渐进变化

2相关工作

2.1关于跟踪检测

现在最流行的方法----判别性的外观模型 ，它包括受统计机器学习方法的启发的在线训练分类器，一预测图象patch中目标的存在与否。然后该分类器在众多候选patch上测试，找到最可能的目标位置。

tracking-by-detection典型是咧包括基于支持向量机（SVM）的示例，随机森林分类器的     这些所提到的算法都必须适用于在线学习 ，以便对跟踪有用。

受压缩感知技术的启发，提出了一个固定的随机基础投影，以训练一个朴素贝叶斯分类器。目的：直接预测目标的位置

跟踪----一系列对其目标的图像

2.2样本平移和相关滤波

作者的目标：有效的学习和检测图像patch的变化

训练方面 提出使用结构化约束去从每一张新的图像中选择相关样本patches，缺点：代价昂贵，限制了能够使用的特征，并且需要仔细的调整结构化启发式。  另外一种流行且相关的方法虽然主要用于；离线检测器学习，它采用hard negative mining[20]。它包括在图像池上运行初始检测器，并选择任何错误的检测作为重新训练的样本。 尽管两种方法都减少了训练样本的数量，但主要缺点是必须通过运行检测器来详尽考虑候选补丁。

我们研究方向的最初动机是近期成功的跟踪器 — 相关滤波器[9],[10]。事实证明，相关滤波与更加复杂的方法相比具有竞争力，而且仅仅使用了一小部分计算资源实现了几百帧每秒的速度。他们利用了这样一个事实，即两个patch的卷积（稀疏的，它们在不同相对平移时的点积）相当于傅里叶域中的元素乘积（时域卷积 = 频域点积）。 因此，通过在傅里叶域中描述它们的目标，对于几次平移或图像移位，可以指定线性分类器期望的输出。

尝试将核方法应用到相关滤波。-----必须区分两种类型的目标函数：1不考虑功率谱或图像转换的，比如：合成判断函数SDF滤波器。2最小平均相关能量，最优权衡，最小平方误差输出和滤波器。由于空间结构可以有效的被忽略，1更容易被核化，而且SDF已经被提出。由于再图像变化（平移），非线性核和傅里叶域间却反一个清楚的关系，向其他滤波器应用核技巧已经被证明极其苦难，其他推荐需要显著、更高的计算时间并且需要考虑大量图片平移被强制限制的问题。-------》暗示我们需要再变化图像patches和训练算法之间找到更深的连接，以克服直接傅里叶域公式的局限性

2.3后续工作

我们提出的循环移位模型的一个有趣的时域变体已经非常成功的用于视频事件检索[30]------》均以离线训练为目标

3贡献

早期版本CSK-------》第一次证明了岭回归与循环移位样本和经典相关滤波之间的联系，这使得能够使用复杂度的快速傅里叶变化进行快速学习而不是昂贵的矩阵代数计算-------》提出了首个核化相关滤波，但其受到单通道的限制---------》提出了在所欲循环移位中计算内核的封闭式解决方案，即方案存在闭式解，这些方法针对径向基和点积内核，具有相同的计算成本。

1使用更简单的对角化技术，2将原始工作的单通道扩展为多通道，3增加了大量新的分析和直观解释，4初始的实验测试视频序列从12个增加到50个视频序列，5增加了一个新的基于HOG特征而不是原始像素的KCF跟踪器变体。

通过线性核，进一步提出了更低计算复杂度的一个线性多通道滤波器，几乎和非线性核的性能相当------双相关滤波器DCF。

4主要工作

4.1线性回归

专注于岭回归，岭回归存在一个简单的闭式解，且可以实现接近更复杂方法的性能，例如支持向量机（SVM）。

循环矩阵的特征：1，模式是确定的，完全由生成向量X的第一行指定。2，无需考虑生成向量X，所有循环矩阵都通过离散傅里叶变换DFT对角化。

离散傅里叶DFT是线性操作。

分式表示逐元素分割。我们可以使用DFT反变换在空域中轻松恢复w，其具有与DFT相同的开销成本。

岭回归受限于矩阵求逆和积，其成本开销（复杂度）：.

DFT的复杂度是近线性的（）。对于典型的数据尺寸，这个方法可以缩减存储和计算几个数量级。

4.5与相关滤波的关系

相关滤波一直作为信号处理的一部分，在傅里叶解决了无数的目标函数。在近年来以MOSSE滤波器的重现，凭借在跟踪领域展现出来的简单和高速，有着极其显著的性能。

MOSSE的解决方案不同之处：1，MOSSE滤波器源自在傅里叶域中特定公式化的目标函数。2，正则化参数以对点对方式添加，有效避免公式12除数为零。我们在上面展示的推导通过将期待你指定为具有循环移位的岭回归并且实现相同的解决效果，增加里相当大的洞察力。

循环矩阵允许我们能够丰富经典信号处理和党带相关滤波器提出的工具集，以及对新的算法应用傅里叶技巧。

5非线性回归

允许更强的非线性回归函数f（z）的一种方法是使用核技巧。最有吸引力的是优化问题仍然是线性的，尽管是在一组不同的变量（双重空间）中。不利的方面是f的复杂度随着样本量的增大而增大。

7多通道

第六节研究的所有核要么是基于参数的点积要么是范式，可以通过简单的对 每个通道的各个点积进行求和来计算点积。通过DFT的线性，这允许我们对傅里叶域中每个通道的结果求和。

对于快速元素操作，我么可以选择1多个通道（在双通道中，获得DCF，2，多个基本样本（在原始中，获得MOSSE，但不能同时选择两个。

struck可以运行许多不同类型的功能和不断增长的支持向量。TLD特别适用于重新检测（丢失再检测）

具有单通道特征（原始像素）的DCF在理论上和MOSSE相同。但当我们使用HOG特征替代原始像素时，KCF和DCF算法超过TLd和struck，并且留有相对较大的雨量。-------这表明，与其他使用相似特征的跟踪器相比，高性能的最关键因素是从目标坏境中有效的结合了数千个负样本，而这些样本的开销非常小。

1MOSSE跟踪目标对象的区域和跟踪区域一样大小，而KCF的实现跟踪的区域时目标区域的2.5倍。减小跟踪区域使得我们的速度接近7615fps，但会损害性能，特别是对于核变量。

基准数据集中的视频使用属性（不同的类型）来进行注释，这些属性描述了跟踪器再每个序列中将面临的挑战，例如光照变化或遮挡。这些属性对于大型数据集中诊断和表征跟踪器的行为非常有用，而无需分析每个单独的视频。

非刚性变形，遮挡：KCF的HOG变量的鲁棒非常好，因为已知这些特征具有高度辨别性。

目标脱离视野：TLd比大多数其他跟踪器表现更好（专注于再检测和目标丢失恢复。KCF缺乏目标丢失恢复机制/

背景杂波严重影响几乎所有的跟踪器，除了KCF和struck。对于KCf，通过再跟踪目标对象周围隐式包含数千个负样本可以来解释。再在这种情况下，即使我们的跟踪器的原始像素变量具有非常接近最佳的性能，而TLD、CT、ORIA和MIL显示性能下架，我们猜测这是由于他们的负样本影响不足造成的。

9结论和未来工作

证明了对自然图像平移进行分析建模是可行的，表明在某些条件下，结果数据和核矩阵可循环。通过DFT进行对角化提供了创建处理平移的快速算法的一般蓝图，并应用于线性和岭回归。循环数据已成功用于检测和视频事件检索的其他算法。进一步工作的一个有趣方向是放款周期性边界的假设。

翻译参考：https://blog.csdn.net/xiaozuo_zhazha/article/details/90378962