附上一篇关于金字塔理论的详细讲解，想要深入了解金字塔追踪原理的可以研究一下，这篇博文则相对简单易懂些。http://blog.csdn.net/app_12062011/article/details/51880258

首先，我们应该明白什么是角点追踪。
角点追踪，即视频中的特征点随着帧的改变而移动，在不断播放的视频中，查找一个移动的物体轨迹的过程。

接下来，我们可以根据不断的分析而自动代入金字塔的光流检测。
既然我们的目的是追踪动态的角点，那么首先应该有已确定的特征点，这时，可以使用自动设置参数进行特征点的查找，查找后调节一下精度，就可以以备使用了。我们还可以使用鼠标点击的方式来确定特征点，这里需要补充一个函数：
onMouse函数，函数的定义方式为：

static void onMouse( int event, int x, int y, int /*flags*/, void* /*param*/ )

其中，event代表点击事件，x，y则代表点击时鼠标指针的所在位置，引用方式为

namedWindow( "Demo", 1 );
setMouseCallback( "Demo", onMouse, 0 );

表示在某个窗口发生的点击事件，点击事件调用的函数，以及传给回调函数的参数，参数默认值为0。

当我们已经在第一张图片中固定到了特征点，那么接下来要做的就是在接下来的每帧图片中找到 该特征点的位置了。

在寻找特征值的位置的时候，则需要正式引入Lucas-Kanande金字塔的相关知识了。

首先，为了简化追踪的难度，LK光流法提出了以下三条假设：

（1）亮度恒定，就是同一点随着时间的变化，其亮度不会发生改变。该假设用于得到光流法基本方程；
（2）小运动，这个也必须满足，就是时间的变化不会引起位置的剧烈变化，这样灰度才能对位置求偏导。
（3）空间一致，一个场景上邻近的点投影到图像上也是邻近点，且邻近点速度一致。这是Lucas-Kanade光流法特有的假定，因为光流法基本方程约束只有一个，而要求x，y方向的速度，有两个未知变量。我们假定特征点邻域内做相似运动，就可以连立n多个方程求取x，y方向的速度（n为特征点邻域总点数，包括该特征点）。

为了正确追踪到角点，我们可以尝试在原图中角点的附近设置一个邻域，由于是小运动，那么两帧图片中的特征点位置变化也不会太大，我们只需要在邻域中寻找符合原角点的亮度以及周围环境信息的角点，确定其为运动后的角点即可。

Lucas-Kanade是一种广泛使用的光流估计的差分方法，这个方法是由Bruce D. Lucas和Takeo Kanade发明的。它假设光流在像素点的邻域是一个常数，然后使用最小二乘法对邻域中的所有像素点求解基本的光流方程。

但是这是在假设完全成立的时候才正确的，一旦物体运动过快，那么会造成很大的误差，而且如果盲目扩大邻域，算法的时间又是一个很大的问题，所以引出了金字塔分层，针对仿射变换的改进Lucas-Kanade算法。

算法的关键内容在于：当在邻域内寻找对应特征点的时候，首先将原图像进行缩小，缩小后的图像相对的特征点的位移像素点就也会变小，可以先在缩小后的图像中寻找匹配的特征值，寻找出位置之后再进行迭代，直到迭代到原图像上的位置信息。

如图所示，最底层是分辨率最大的原图像，向上依次是采样1/2的低分辨率图像，通常在使用当中金字塔的层数为3-4层即可。因为随着图像的移动，算法可以应对光流大于窗口尺寸的特征点跟踪问题。
金字塔L-K光流通常用来估计图像特征点的光流，以提高图像光流场的计算速度。

因此，使用Lucas-Kanande金字塔的步骤为：
首先，计算金字塔最顶层图像的光流，根据最顶层光流结果计算其次上层的光流初始值，再进一步估算其光流的精确值。最后，用计算的次上层光流结果估计下一层光流的初始值，计算其精确的值后再继续带入下一层计算，直到金字塔的最底层。

公式的推演可以查看：http://blog.csdn.net/zhe123zhe123zhe123/article/details/50397143

具体的实现步骤可以看代码：

#include "opencv2/video/tracking.hpp"
#include "opencv2/imgproc/imgproc.hpp"
#include "opencv2/highgui/highgui.hpp"

#include <iostream>
#include <ctype.h>

using namespace cv;
using namespace std;



//--------------------------------【help( )函数】----------------------------------------------
//      描述：输出帮助信息
//-------------------------------------------------------------------------------------------------
static void help()
{
    //输出欢迎信息和OpenCV版本
    cout << "\n\n\t\t\t   当前使用的OpenCV版本为：" << CV_VERSION 
        <<"\n\n  ----------------------------------------------------------------------------" ;
    cout    << "\n\n\t该Demo演示了 Lukas-Kanade基于光流的lkdemo\n";
    cout << "\n\t程序默认从摄像头读入视频，可以按需改为从视频文件读入图像\n";
    cout << "\n\t操作说明: \n"
        "\t\t通过点击在图像中添加/删除特征点\n" 
        "\t\tESC - 退出程序\n"
        "\t\tr -自动进行追踪\n"
        "\t\tc - 删除所有点\n"
        "\t\tn - 开/光-夜晚模式\n"<< endl;
}

Point2f point;
bool addRemovePt = false;

//--------------------------------【onMouse( )回调函数】------------------------------------
//      描述：鼠标操作回调
//-------------------------------------------------------------------------------------------------
static void onMouse( int event, int x, int y, int /*flags*/, void* /*param*/ )
{
    if( event == CV_EVENT_LBUTTONDOWN )
    {
        point = Point2f((float)x, (float)y);
        addRemovePt = true;
    }
}

//-----------------------------------【main( )函数】--------------------------------------------
//      描述：控制台应用程序的入口函数，我们的程序从这里开始
//-------------------------------------------------------------------------------------------------
int main( int argc, char** argv )
{
    help();

    VideoCapture cap;
    TermCriteria termcrit(CV_TERMCRIT_ITER|CV_TERMCRIT_EPS, 20, 0.03);
    Size subPixWinSize(10,10), winSize(31,31);

    const int MAX_COUNT = 500;
    bool needToInit = false;
    bool nightMode = false;

    cap.open(0);

    if( !cap.isOpened() )
    {
        cout << "Could not initialize capturing...\n";
        return 0;
    }

    namedWindow( "LK Demo", 1 );
    setMouseCallback( "LK Demo", onMouse, 0 );

    Mat gray, prevGray, image;
    
    //数组为2*n，每个元素存放的都是一个点信息
    vector<Point2f> points[2];
        Mat frame;
    cap >> frame;

    for(;;)
    {
        cap >> frame;
        if( frame.empty() )
            break;

        frame.copyTo(image);
        cvtColor(image, gray, COLOR_BGR2GRAY);

        if( nightMode )
            image = Scalar::all(0);

        //如果需要自动寻找角点
        if( needToInit )
        {
            // 自动初始化
            //寻找角点，将角点信息载入到points[1]数组中
            //goodFeaturesToTrack函数的参数为：
            //（原图像，角点存放位置，需要找到的最大角点数目，品质因子，可删除角点范围，感兴趣区域，计算协方差矩阵时的窗口大小，是否使用Harris角点检测，Harris角点检测K值）
            goodFeaturesToTrack(gray, points[1], MAX_COUNT, 0.01, 10, Mat(), 3, 0, 0.04);
            //将能够将角点位置精确到亚像素级精度。
            // 输入的源角点信息points[1]，精度调整后角点信息依旧存放在points[1]中
            cornerSubPix(gray, points[1], subPixWinSize, Size(-1,-1), termcrit);
            addRemovePt = false;
        }
        else if( !points[0].empty() )
        {
            vector<uchar> status;
            vector<float> err;
            if(prevGray.empty())
                gray.copyTo(prevGray);
            //光流金字塔，作用在于根据第一帧图片的特征点所在位置找到另一帧图片的特征点信息
            //参数设置：
            //1.第一帧图像
            //2.第二帧图像（需要在这幅图像上找到特征点改变后的位置）
            //3.第一帧图像中的特征点
            //4.输出在第二帧图像中找到了对应特征点的位置
            //5.输出特征向量，每个特征点是否找到了改变后的位置，如果找到了，每个元素设置为1，没有找到设置为0
            //6.输出出错信息，误差测量的类型在第10个参数中定义，如果没有错误信息，则err为no defined
            //7.在每个金字塔水平搜寻窗口的尺寸。
            //8.最大的金字塔0层数；如果设置为0，不使用金字塔（单级），如果设置为1，使用两层，等等；如果金字塔是通过输入算法将使用多层次的金字塔有但不超过 maxlevel。
            //9.参数指定的迭代搜索算法终止准则
            //10.参数：optflow_use_initial_flow 使用初始估计，   
            //optflow_lk_get_min_eigenvals 使用最小特征值的误差测量估计
            //11.一个矩阵光流方程的特征值如果在窗口中小于该值，则忽略不计
            calcOpticalFlowPyrLK(prevGray, gray, points[0], points[1], status, err, winSize,
                3, termcrit, 0, 0.001);
            size_t i, k;
            for( i = k = 0; i < points[1].size(); i++ )
            {
                if( addRemovePt )
                {
                    //两个像素点之间的距离
                    if( norm(point - points[1][i]) <= 5 )
                    {
                        addRemovePt = false;
                        continue;
                    }
                }

                if( !status[i] )
                    continue;

                points[1][k++] = points[1][i];
                circle( image, points[1][i], 3, Scalar(0,255,0), -1, 8);
            }
            points[1].resize(k);
        }

        if( addRemovePt && points[1].size() < (size_t)MAX_COUNT )
        {
            vector<Point2f> tmp;
            tmp.push_back(point);
            //输入信息temp中，精度调整后角点信息存放在tmp中
            cornerSubPix( gray, tmp, winSize, cvSize(-1,-1), termcrit);
            points[1].push_back(tmp[0]);
            addRemovePt = false;
        }

        needToInit = false;
        imshow("LK Demo", image);

        char c = (char)waitKey(10);
        if( c == 27 )
            break;
        switch( c )
        {
        case 'r':
            //自动寻找角点
            needToInit = true;
            break;
        case 'c':
            points[0].clear();
            points[1].clear();
            break;
        case 'n':
            nightMode = !nightMode;
            break;
        }

        //交换两个vector的所有元素
        std::swap(points[1], points[0]);
        cv::swap(prevGray, gray);
    }

    return 0;
}