计算机视觉中，究竟有哪些好用的目标跟踪算法（上）

本篇文章9992字，读完约25分钟

雷锋的人工智能科技评论:这篇文章来自于雅琪雨的智虎问题[什么是计算机视觉中的经典目标跟踪算法？]，雷锋。(公开号码:雷锋。《科技评论》已获授权出版。

我相信很多来这里的人，像我刚来这里的时候一样，都想找到一种更好的目标跟踪算法，或者想对目标跟踪领域有更深的了解。虽然这个问题是一个经典的目标跟踪算法，事实上，我们可能不需要那些曾经辉煌的追踪器(目标跟踪算法)，已经在海滩上拍摄，但那些追踪器在过去，将很快成为经典，或最好使用，速度和性能目前。我更关注目标跟踪中相关滤波的方向。接下来，我将介绍我所知道的目标跟踪，特别是相关滤波方法，分享一些我认为比较好的算法，顺便谈谈我的看法。

一个

让我们先做一个熟悉的面孔，大致了解一下目标跟踪在这个方向上的情况。一切应该从2013年开始，那时冬天像往常一样寒冷。如果你问别人最近几年有什么跟踪算法比较牛，大多数人会给你扔吴怡老师的试卷，otb50和otb100(otb50这里指的是otb-2013，otb100这里指的是otb-2015，谢谢你指正):

wu y，lim j，yang m h . online object tracking:a benchmark[c]//cvpr，2013 .

吴勇，林军，杨明海.目标跟踪基准[j].tpami，2015年。

顶级杂志的顶级待遇将转移到顶级杂志，引用量超过1200+200。这种影响不言而喻。它已经是一个必须运行跟踪的数据库。测试代码和序列可下载:视觉跟踪器基准(cvlab . hanyang . AC . kr/Tracker _ Benchmark/)，otb50包括50个序列，所有序列均已手动标记:

在数据库中，论文比较了2012年及之前的29个顶级追踪者，包括oab、ivt、mil、ct、tld、strike等。大家都很熟悉。它们中的大部分都是杰作，将会被从顶部转移到顶部。因为之前没有公认的数据库，论文都是自吹自擂的，大家都不知道哪一个容易使用，所以这个数据库很有意义。它直接推动了跟踪算法的发展，后来扩展到otb100到tpami，有100个序列，这更困难和权威。我们在这里参考otb100的结果，首先是29跟踪器的情况(一些性能和速度更好的算法被标记出来):

接下来，看看结果(更多细节，建议你更清楚地阅读论文):

直接结论:平均而言，strike、scm、asla等算法性能较高，排名前三，重点是csk，首次向世界展示了相关滤波的潜力，第四位的362fps简直是顶天立地。第二快的算法是经典算法ct(64fps)(这一次是压缩感知热的时候，这里可以看到许多稀疏相关算法~它们都是历史)。如果您对早期算法感兴趣，请推荐另一项经典调查:

yilmaz a，javed o，shah m . object tracking:a survey[j].csur，2006。

2012年之前的算法基本上是这样的。自从2012年alexnet问世以来，简历的各个领域都发生了巨大的变化，所以我猜你还是想知道2013年到2017年之间发生了什么。抱歉，我也不知道(让我卖了它)，但我们可以肯定2013年后的报纸肯定会引用otb50。借助谷歌学术版的引用次数功能，我们得到以下结果。

这里有几个排名靠前的方法，(注意引用的数量)，其次是三个相关的过滤方法kcf，cn，dsst和vot竞争，这只是为了演示。如果你感兴趣，你可以自己试试。(这样做的理论基础是:一篇论文，前面的工作可以看到它被引用的文献，而后面的工作可以看到谁引用了它；虽然引用的数量并不意味着什么，但是每个人都会基本上引用好的方法(表示认可)；在那之后，你也可以通过限制时间来查看相关的论文一段时间。例如，你可以找到2016-2017年的最新论文。至于论文的质量，你需要仔细筛选；其他方向的重要论文也可以用这种方式，然后你就会知道哪些是大多头，然后注意跟踪他们的工作。)所以我们可以大致知道目标跟踪领域的最新进展应该是相关滤波，并且我们可以看到相关滤波算法包括samf、lct、hcf、srdcf等。当然，引用的数量也与时间有关，所以建议这里不要每年都有映射(与过滤相关的新论文也可以通过检查引用kcf的论文来找到)。此外，opencv3.2的最新版本除了tld之外还包括几个新的跟踪算法:跟踪API(docs . opencv/3 . 2 . 0/d9/df8/group _ tracking):

Trackerkcf接口实现了kcf和cn，其影响可见一斑。这可以解释许多问题。还有一种基于深度学习的goturn方法。虽然速度快但准确度稍差，太激进了...

二

概述下的目标跟踪。这里提到的目标跟踪是一般的单目标跟踪。第一帧是一个矩形框，在数据库中手工标记。实际上，这主要是检测算法的结果，然后跟踪算法需要在随后的帧中遵循这个框。以下是vot对跟踪算法的要求:

通常情况下，目标跟踪面临几个困难(吴仪的幻灯片):外观变形、光照变化、快速运动和运动模糊、背景相似性干扰；

面外旋转、面内旋转、比例变化、遮挡和视野等。；

正是由于这些情况，跟踪变得困难。目前，常用的数据库包括由谷歌学术(Google Academic)发现的otb和vot竞赛数据库(类似于imagenet)，该数据库已经运行了四年。vot2015和vot2016都包含60个序列，所有序列都是免费下载的。

kristan m，pflugfelder r，leonardis a，et al . the visual object tracking vot 2013 challenge results[c]//iccv，2013 .

kristan m，pflugfelder r，leonardis a，et al . the visual object tracking vot 2014 challenge results[c]//eccv，2014 .

kristan m，matas j，leonardis a，et al . the visual object tracking vot 2015 challenge results[c]//iccv，2015 .

kristan m，ales l，jiri m，et al . the visual object tracking vot 2016 challenge results[c]//eccv，2016 .

otb和vot的区别:otb包含25%的灰度序列，但vot是颜色序列，这也是许多颜色特征算法性能差异的原因；两个图书馆的评价指标不同，具体请参考论文；vot文库的序列分辨率通常较高，这将在后面的分析中提及。对于一个追踪器来说，如果两个库(最好是otb100和vot2016)都跑了，并且结果是好的，那么性能一定很好(你可以调整两个库的参数，我会接受它们，我会承认它们~ ~)。如果只有一个运行，(仅供参考)我同意vot2016，因为序列都有很好的标记，我同意评估指标(毕竟，人是竞争，评估指标已经发送给tpami)。最大的区别是otb从一个随机帧开始，或者一个矩形帧在随机干扰下初始化运行。作者说这更符合检测算法给出的框架；Vot是第一个初始化并运行的帧，每次跟踪失败(预测框和注释框不重叠)，它将在5帧后再次初始化。vot主要是短期的，并且认为跟踪和检测不应该分开，所以检测器将多次初始化跟踪器。至于哪个更好，这取决于你和你的需要。

补充:otb于2013年公开，2013年以后的算法是透明的，所以有参数调整的可能，特别是那些只运行otb的算法，文中的关键参数是直接给出的，精确到小数点后两位。建议你先测量后评价(人的心不老~人越来越多)，但是vot比赛的数据库每年都会更新，而且总是重新标记，评价指标也总是在变化。如果你同意以上观点，许多顶级和快速的算法将在以后被推荐。如果你不同意以上观点，以后没有必要再看了，谢谢！(看着每一篇论文，我觉得这份工作太好太重要了。没有这张纸，地球将会爆炸，宇宙将会重新开始~ ~所以正如每个人都知道通过多年来ilsvrc竞赛的结果来进行深度学习的发展一样，第三方的结果更有说服力，所以我也分析了每种基于竞赛排名+开源+测量性能的方法)

视觉目标跟踪一般分为两类:生成模型法和判别模型法。目前，比较流行的方法是判别法，也叫逐检测跟踪法。为了保持整体性，下面简单介绍一下。

生成类的方法是对当前帧中的目标区域建模，与下一帧中的模型最相似的区域是预测位置，它以卡尔曼滤波、粒子滤波、均值漂移等方法而闻名。例如，从当前帧，我们知道目标区域是80%红色和20%绿色，然后在下一帧，搜索算法就像一只无头苍蝇，寻找最匹配这个颜色比例的区域。推荐的算法是ASMS/ASMS算法(github/VOJIRT/ASMS):

vojir t，noskova j，matas j .鲁棒的尺度自适应均值漂移跟踪[j].模式识别字母，2014。

Asms是vot2015第20个官方推荐的实时算法，vot2016第32个(中级)，平均帧速率为125fps。在经典的均值漂移框架下，它增加了尺度估计、经典的颜色直方图特征、两个先验(尺度不显著变化+可能是最大的)作为常规项目，以及反向尺度一致性检查。作者给出了c++代码。在相关性过滤和深度学习盛行的时代，不容易看到均值漂移在发挥作用，并且具有如此高的性价比(~ ~ ~)。衡量的表现还不错。如果您有生成类方法的软肋，强烈建议您尝试一下。

判别类方法，otb50中的大部分方法都属于这一类，经典的常规图像特征在cv+机器学习中，当前帧将目标区域作为正样本，背景区域作为负样本，机器学习方法训练分类器，下一帧使用训练好的分类器寻找最佳区域(马超在valse中的幻灯片):

与生成类的方法最大的区别是在分类器的训练过程中使用了背景信息，这样分类器就可以专注于区分前景和背景，所以判别类的方法一般比生成类的方法好。例如，在训练中，告诉追踪者目标是80%红色和20%绿色，并告诉他背景是橙色的。特别注意不要出错。这样的分类器会知道更多的信息，其效果肯定会更好。检测跟踪非常类似于检测算法，如经典行人检测中使用的hog+svm和strike中使用的Haar+结构化输出svm，跟踪中需要多尺度遍历搜索进行尺度自适应。唯一的区别是跟踪算法对特征和在线机器学习的速度要求较高，检测范围和规模较小。事实上，这并不奇怪。在大多数情况下，检测和识别算法过于复杂，无法完成每一帧。此时，复杂度较低的跟踪算法非常合适，只需在跟踪失败(漂移)或某个时间间隔后再次检测并初始化跟踪器即可。经典的判别方法推荐具有良好实时性的strike和tld。冲击是2012年前最好的方法，而tld是经典长期投资的代表。尽管效果有点差，但这个想法值得学习:

hare s，golodetz s，saffari a，et al . stricked:带核的结构化输出跟踪[j].ieee tpami，2016。

kalal z，mikolajczyk k，matas j . tracking-learning-detection[j].ieee tpami，2012。

长江后浪推前浪，前浪已在沙滩上拍摄。返波是相关的滤波方法(相关滤波简称cf，或鉴别相关滤波简称dcf，注意后面kcf与dcf方法的区别，包括前面提到的，后面将重点介绍)。和深度学习(deep learning，deep convnet based)的方法，因为深度学习不是很好理解，所以不建议盲目，除了几篇文章奈燕王-家(winsty/)由winsty。还有2015年视觉跟踪多域自愿神经网络(cvlab.postech.ac.kr/research/mdnet/)和2016年视觉跟踪多域自愿神经网络(vot挑战赛vot2016下载/44 _ TCNN.zip)的获胜者，其出色的速度如暹罗光纤通道暹罗光纤通道跟踪器(robots.ox.ac.uk/~luca/siamese-fc)的80帧/秒和GoTourn Davhold/GoTourn(Github/Davhold/GoTourn)的100帧/秒。基于resnet的gpu Siamfc-r在vot2016中表现良好，并对其未来发展持乐观态度。如果您感兴趣，您可以到瓦尔斯聆听作者自己对瓦尔斯-20160930-卢卡·伯提内托-牛津-杰克瓦尔马德-牛津-普的解释。写论文是学生深入学习的特点和巨大潜力。

nam h，han b.learning多域卷积神经网络用于视觉跟踪[c]// cvpr，2016 .

nam h，baek m，han b .在树形结构中建模和传播cnns用于视觉跟踪。arxiv预印本arxiv:1608.07242，2016。

bertinetto l，valmadre j，henriques j f，等.用于目标跟踪的全卷积暹罗网络[c]// eccv，2016 .

held d，thrun s，savarese s . learning to track at 100 fps with deep revolution networks[c]//eccv，2016 .

当你看到几部中国杰作时，不要感到惊讶:米姆、tgpr、clrst、must，这些都可以在vot上看到。最后，深度学习的强大力量还远远没有发挥在目标跟踪的方向上，与相关的过滤方法也没有太大的差距(我不怪你生来慢，但效果应该总是很高，否则，你的存在有什么意义？。革命没有成功，同志们还得努力工作)

最后，我们强烈推荐@王强维护的资源基准_结果:otb库中大量顶级方法的性能比较，各种纸张代码，csk，kcf和dat由伟大的上帝自己在c++和开源中实现，请密切关注，不要迷失，愚人/基准_结果(github/愚人/基准_结果)，以及他的最新论文。

然后推荐haka seh/cf _ benchmark _ results(github/haka seh/cf _ benchmark _ results)，相关的过滤资源由@h hakase维护，有详细的分类和纸码资源。当你经过时不要错过它。这是我见过的最详细的相关过滤资源，非常小心！

三

然后，介绍了几种经典的高速相关滤波跟踪算法csk、kcf/dcf、cn。许多人首先理解cf，和我一样，他们被下面的图片所吸引:

这是kcf/dcf算法在otb50上的实验结果(arvix于2014年4月挂起，otb100当时没有发布)。precision和fps击败了otb50上的最佳打击，并且它们被用于几乎不实时的打击和tld。高速kcf/dcf突然让人难以置信。事实上，kcf/dcf和otb上的csk一样多。请注意，摩丝的超高速为615fps(这是你对严重超速的处罚)。这是目标跟踪领域的第一种相关滤波方法，实际上也是第一次显示出相关滤波的潜力。与kcf同时出现的还有cn，2014年在CVPR引起强烈反响的颜色特征方法实际上是csk的多通道颜色特征改进算法。从mosse(615)到csk(362)到KCF (172 fps)、DCF (292 fps)、CN (152 fps)和CN2 (202 fps)，速度越来越慢，但效果越来越好，而且始终保持高速:

bolme d s，beveridge j r，draper b a，等.使用自适应相关滤波器的视觉目标跟踪[c]// cvpr，2010 .

henriques j f，caseiro r，martins p，et al . exploring the circular structure of tracing-by-detection with nucleus[c]//eccv，2012 .

henriques j f，rui c，martins p，等.采用核相关滤波器的高速跟踪[j].ieee tpami，2015。

danelljan m，shahbaz khan f，felsberg m，et al . adaptive color attributes for real-time visual tracking[c]//cvpr，2014 .

Csk和kcf都是henriques j . f .(牛津大学)乔？O f. henriques先后发表了两篇论文，影响了他后来的许多著作《岭回归》和《循环移位的近似稠密采样》，并给出了整个相关滤波算法的详细推导。也有岭回归加核技巧和多通道猪特征的封闭解。

Martin danelljan Daniel(林雪平大学)用多通道颜色名称(cn)扩展了csk，该算法也称为cncoloring视觉跟踪。

Mosse是单通道灰度特征的相关滤波。csk基于mosse扩展了密集采样(填充)和核技巧，kcf基于csk扩展了多通道渐变的hog特征，cn基于csk扩展了多通道颜色的颜色名称。Hog是一个梯度特征，而cn是一个颜色特征，它们可以相互补充。因此，最近两年，hog+cn已经成为跟踪算法中的标准手工特性。最后，根据kcf/dcf的实验结果，讨论了两个问题:

1.为什么具有单通道灰度特征的kcf和具有多通道hog特征的kcf之间的速度差异非常小？

首先，hog，作者使用了从Piotr的计算机视觉Matlab工具箱，C代码和sse优化的hog的快速算法Fhog。如果对fhog有任何疑问，请参考第12页的“基于识别训练零件模型的物体检测”。

其次，常用的hog特征像元尺寸为4，这意味着对于100*100的图像，hog特征图的尺寸只有25*25，而原始像素的尺寸仍然是100*100。让我们简单地计算一下:27通道hog特征的复杂度是27*625*log(625) = 47180，但是单通道灰度特征的复杂度是10000log(10000)=40000，结果是相似的，这和表是一致的(我不知道这个算法是不是正确的，如果是错误的请指出来，谢谢)。

如果你看看代码，你会发现当扩展后的目标区域很大时，作者首先将提取的图像块下采样2倍，当它达到50*50时，复杂度变成2500log(2500)=8495，这是一个很大的下降。然后你可能会想，如果你下采样多一点，复杂度会更低，但这是以牺牲跟踪精度为代价的。对于另一个例子，如果图像块区域是200*200，首先下采样到100*100，然后提取hog特征，分辨率将下降到25*25，这意味着响应图的分辨率也是25*25，即响应。当精度不高时，您可以稍微牺牲精度来提高帧速率(但您真的不能再下采样了)。

2.kcf和dcf哪个更好？

大多数人认为kcf比dcf更有效，而且所有属性的准确性都比dcf高。然而，如果我们从另一个角度来看dcf，用核技巧来看kcf，平均精度只增加了0.4%，而fps减少了41%。令人惊讶吗？除了图像块中的像素总数之外，kcf的复杂度主要与核技巧有关。因此，如果没有内核技巧，下面的cf方法只是基于dcf，如果添加了内核技巧，它只是基于kcf(剧透，两种基本类型各占一半)。当然，这里的cn也有内核技巧，但是请注意，这是马丁·丹纳扬第一次也是最后一次使用内核技巧。

可能会有这样一个问题，内核技巧怎么能改进这么多？在这里我不得不提到温丝蒂的另一个杰作:

wang n，shi j，yeung d y，等.理解和诊断视觉跟踪系统[c]// iccv，2015 .

总之，不要看各种各样的机器学习方法，它们都是虚拟的，而特征是目标跟踪算法中最重要的(因为我成了这篇文章中win的粉丝，哈哈)。这是最先推荐的三种高速算法:csk、kcf/dcf和cn。

四

Vot2014竞赛Vot 2014基准(vot挑战赛/vot 2014/索引)。今年，有25个精心挑选的序列和38个算法。当时，深度学习的战争还没有烧到追踪，所以cf只能主宰一方。以下是前几名的具体情况:

前三种方法是相关的过滤cf方法，第三种方法已经熟悉kcf。这里的细微差别是增加了多尺度检测和亚像素峰值估计。此外，vot序列的分辨率相对较高(检测更新图像块的分辨率相对较高)，导致kcf的速度仅为24.23(efo转换为66.6fps)。这里，速度指的是efo(等效滤波器操作)，该参数也用于测量vot2015和vot2016中的算法速度。这里只列出一次作为参考(matlab实现的跟踪器实际速度更高):

事实上，前三者的特征略有不同，其核心是扩大多尺度检测。总结如下:

规模变化是跟踪中一个基本且常见的问题。上面提到的三个算法没有规模更新。如果目标缩小，过滤器将会了解很多背景信息。如果目标扩展，过滤器将跟随目标的局部纹理。在这两种情况下，都可能出现意想不到的结果，导致漂移和失败。

来自浙江大学的samf ihpdep/samf(github/ihpdep/samf)以kcf为基础，以hog+cn为特征。在多尺度方法中，平移滤波器用于检测多尺度缩放图像块上的目标，并获取响应最大的平移位置和响应的尺度。

李勇，朱军。一种特征集成的尺度自适应核相关滤波跟踪器[c]// eccv，2014。

和马丁·达内尔扬的视觉跟踪dsst精确标度估计(cvl)。is.liu.se/research/objrec/visual跟踪/scalvistack/index)，专门训练的标度滤波器，如mosse，用于检测标度变化，它启动平移滤波+标度滤波，然后转向pami进行一系列加速:

丹尔詹. m . h？ger g，khan f，等.稳健视觉跟踪的精确尺度估计[c]// bmvc，2014 .

danelljan m，hager g，khan f s，et al . discriminal scale space tracking[j].ieee tpami，2017。

简单比较这两种多尺度方法:

dsst和samf哪个更好？

首先，我要给大家讲一个笑话:马丁·达内尔扬提出dsst后，他的后续论文从未被使用过。

1.虽然samf和dsst都能跟上共同目标尺度的变化，但只有7个samf尺度相对粗糙，而dsst的33个尺度相对精细和准确。

2.dsst首先检测最佳翻译，然后检测最佳规模，这是最佳分布，而samf一起检测翻译规模，这是翻译和规模的同时优化，但局部优化和全局优化往往是不同的；

3.dsst可以被认为是两个具有不同方法和特征的问题，但是它需要训练一个额外的滤波器。每帧尺度检测需要采样33个图像块，分别计算特征，添加窗口，fft，尺度滤波器需要额外的训练；Samf只需要一个滤波器，不需要额外的训练和存储，每次尺度检测只需要提取一次特征和fft，但当图像块较大时，计算量要高于dsst。

因此，规模检测dsst并不总是比samf好。事实上，在vot2015和vot2016中，samf优于dsst。当然，这主要是因为更好的功能，但至少它表明，规模方法是不错的。虽然dsst比samf更具创新性，但samf也是一种优秀的方法。(我记得高中数学老师说过，“人生中有一点点创新是很棒的。”这就是为什么我们看到这么多灌溉论文。创新真的很难。那些不够创新但实用有效、敢于打开源代码并经得起考验的论文同样令人钦佩。(

dsst必须有33个刻度吗？

如果你仔细地运行这个实验，你会发现dsst中的33个尺度标准是非常敏感的，所以减少尺度的数量是很容易的。即使增加相应的步长，比例过滤器也不会跟上比例的变化。关于这一点，我想到的可能的解释是，尺度滤波器是用一维样本训练的，并且没有循环移位，这意味着在一次训练更新中只有33个样本。如果样本数量减少，将导致训练不足，分类器的区分度将严重降低，不像翻译过滤器，它有许多移位的样本(如果没有，欢迎您交换其他意见)。总之，如果你必须使用比例过滤器33和1.02，请不要试图大大减少比例的数量。

这是两种推荐的尺度检测方法，在未来将被称为dsst类多尺度和samf类多尺度。如果你对尺度没有很高的要求，更注重速度，samf只需要三个尺度就可以大致跟上尺度的变化(比如kcf)；在vot2014中)；如果需要精确的刻度跟踪，建议使用dsst，但是速度有点慢，dsst的刻度数不容易减少；如果比例变化不明显，则不推荐使用。

雷锋文章版权所有。严禁擅自转载。详情请参考转载说明。