Exploiting the Circulant Structure of Tracking-by-detection with Kernels——探索核化的tracking-by-detection算法的循环结构

1.论文相关

论文题目:Exploiting the Circulant Structure of Tracking-by-detection with Kernels
作者:J Henriques,o F, R Caseiro, P Martins, J Batista
ECCV,2012

2.论文内容

2.1摘要

  最近在跟踪系统中使用判别式分类器比较火,原因在于它们在目标检测领域取得了成功。这些分类器通过跟踪来收集样本,在线训练分类器。不幸的是,大规模的采样会变成一种计算负担,这会直接影响跟踪的实时性要求。另一方面,如果限制样本的数量的话就会牺牲性能。
  有趣的是,我们观察到,随着我们增加越来越多的样本,我们的问题会变成循环结构。使用循环结构已经建立起的完备的理论,我们使用傅立叶分析,通过傅立叶变换,使得极其快速和检测成为了可能。这个操作在核机器的对偶空间完成的和在线性分类器上一样的快。我们得出了若干使用核函数的训练和检测的封闭解,包括高斯核函数和多项式核函数。最后得到的跟踪器可以和时下最优的算法相比,而且仅仅通过几行代码就可以实现,并且以每秒上百帧的速度运行。我们在文章里提供了matlab代码。

2.2引入

  跟踪是计算机视觉领域一个很基础的问题,应用很广。无模型跟踪包括在线学习和适应目标的表观特征。
  一个非常成功的方法是tracking-by-detection。这直接源于机器学习领域强大的判别性方法的发展和它们在离线检测方面的应用。很多这些算法能够被调整为在线训练形式,这样每次成功的检测都会提供很多关于目标的信息。
  几乎所有这些方法都有一个共同点:稀疏采样策略。在每一帧里,目标邻域内的若干样本被收集出来,一种很典型的做法是每个样本就是一个和目标相同大小的子窗口。很明显,这会存在非常多的冗余,因为大部分样本之间都有大量的重叠。这种潜在的结构通常都是被忽略的(意思是作者本论文正是考虑了这些重叠之间的关系)。相反的,大部分方法都是简单的搜集少量样本,因为不这么做的话,算法成本会让人望而却步。
  训练数据存在着非常大的冗余,这意味着我们很可能不能有效地探索它的结构。我们提出了一种新的理论框架来解决这个问题。我们证明,对一幅图片收集子窗口包含了一种循环结构。我们与傅立叶分析建立了连接,使用快速傅立叶变换FFT(Fast Fourier Transform)可以不需要通过迭代的方法而快速地整合所有子窗口的信息。


image.png

  这种进步使得新算法比普通算法快了好几个数量级。我们还证明,使用核技术在非线性特征上分类可以何在原始图片空间上保持相同的效率。

2.1.1预备工作

  这里简单介绍一下tracking-by-detection方法,和一些其他和我们相关的方法。
  和其他tracking-by-detection方法一样,我们的贡献集中在表观建模上,而不是运动建模或者搜索策略上。很多方法都是使用已经建立起来的学习算法比如Boosting,SVM,随机森林,并把它们改造为在线训练。最近一些工作成果更多地集中在跟踪的特有问题上,比如训练标签的不确定性。一些比较好的方法是使用半监督学习和多示例学习。在往远了一点说,Struck方法,一种结构化输出空间SVM的在线版本。这和我们的方法有点接近,因为这个框架可以搜索到所有可能的子窗口 。然而,事实上,训练样本仍然是有限的。
  探讨子窗口冗余这个思想在之前已经被提到过,但是大部分是在检测的上下文中,而不是训练中。Lampert等人使用分支限界法(branch-and-bound)优化方法寻找分类器响应的最大值,而不需要在所有位置检测。(以下都是相关方法,背景介绍)Alexe et al. propose a method that can efficiently find the most similar subwindows between two images, which is a related problem. Although they are useful and provide interesting insights, it may still be desirable to compute the responses at many locations, for example to allow more robust mode seeking or to evaluate the quality of the response. An alternative is to use linear classification in a first stage, and then non-linear classification on promising locations , but the results can be suboptimal.
  (这段是说用FFT在傅立叶域计算可以很快算出所有子窗口的相应。MOSSE方法就是效果好,速度惊人)Also closely related are adaptive correlation filters, rooted on classical signal processing. Their response can be evaluated quickly at all subwindows using the Fast Fourier Transform (FFT). It's possible to perform training on the Fourier domain as well, minimizing the error of the filter's response at all subwindows of the training images. The crucial detail is that they never actually iterate over the subwindows. The Minimum Output Sum of Squared Error (MOSSE) filter has been shown to be competitive with the methods outlined before, but at a fraction of the complexity, and runs at impressive speeds.
  (这段说相关滤波能不能用核技术。Patnaik和Casasent研究,大部分经典滤波器是不能的,但是他们提出了一个核化的滤波器,这是个理想的方法,能够隐式的在所有子窗口上进行训练)Because they can be interpreted as linear classifiers, there is the question of whether correlation filters can take advantage of the Kernel Trick to classify on richer non-linear feature spaces. Patnaik and Casasent investigate this problem, and show that, given the Fourier representation of an image, many classical filters cannot be kernelized. Instead, they propose a kernelized filter that is trained with a single subwindow (called Kernel SDF). An ideal solution would implicitly train with all subwindows.
  我们认为我们提出的方法可以达到这个目的。我们能够设计与相关滤波一样的核分类器,即能够购使用FFT快速地训练和估测目标。

2.1.2贡献

  1.一个理论框架,研究使用所有样本来训练的通用分类器。我们把这个方法叫做“密集采样”
  2.证明对于unitarily invariant kernels,核矩阵也有循环结构。
  3.封闭,快速,精确的解,对于n*n的图片,复杂度为O(N^2 * logN)
  4.我们基于上面的思想,提出了一个跟踪器,性能好,实现简单,运行速度快。还提供了源代码。


image.png

3.密集采样学习

  

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 205,236评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,867评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,715评论 0 340
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,899评论 1 278
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,895评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,733评论 1 283
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,085评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,722评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,025评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,696评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,816评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,447评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,057评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,009评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,254评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,204评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,561评论 2 343

推荐阅读更多精彩内容