OpenCV中直方图反向投影算法实现来自一篇论文《Indexing Via Color Histograms》其作者有两位、是Michael.J.Swain与Dana H. Ballard。论文分为两个部分,前面一部分详细描述了颜色直方图以及通过颜色直方图交叉来实现对象鉴别。可以实现对象背景区分、复杂场景中查找对象、不同光照条件影响等。假设M表示模型直方图数据、I表示图像直方图数据、直方图交叉匹配可以被描述为如下:
其中J表示直方图的范围,即bin的个数。最终得到结果是表示多少个模型颜色像素与图像中的像素相同或者相似,值越大,表示越相似。归一化表示如下:
这种方法对背景像素变换可以保持稳定性、同时对尺度变换也有一定抗干扰作用,但是无法做到尺度不变性特征。基于上述理论,两位作者发现通过该方法可以定位图像中已知物体的位置,它们把这个方法叫做直方图反向投影(Back Projection)。
直方图反向投影可以通过如下步骤完成
正是因为直方图反向投影有这样能力,所以在经典的MeanShift与CAMeanShift跟踪算法中一直是通过直方图反向投影来实现已知对象物体的定位。
三:基于OpenCV算法代码实现
算法实现基于OpenCV的数据结构Mat来实现数据转换与存储,其它的地方基本都是自己写,上次有同学说我的代码都是Java的,这次全部改为C++啦,所以请大家继续关注本公众号!
OpenCV自己实现通过对直方图插值实现LUT查找,不做RGB颜色降维,本人的实现反其道而行之,对图像颜色做降维得到直方图,不再对直方图计算使用LUT插值查找。
void calculate_histogram(Mat &image, Mat &hist) { int width = image.cols; int height = image.rows; int r = 0, g = 0, b = 0; int index = 0; int level = 256 / bins; for (int row = 0; row < height; row++) { uchar* current = image.ptr<uchar>(row); for (int col = 0; col < width; col++) { if (image.channels() == 3) { b = *current++; g = *current++; r = *current++; index = (r / level) + (g / level)*bins + (b / level)*bins*bins; } if (image.channels() == 1) { r = *current++; index = (r / level); } hist.at<int>(index, 0)++; } }}
Mat mHist = Mat::zeros(total, 1, CV_32SC1);Mat iHist = Mat::zeros(total, 1, CV_32SC1);calculate_histogram(model, mHist);calculate_histogram(src, iHist);
Mat rhist = Mat::zeros(total, 1, CV_32FC1);float m = 0, t = 0;for (int i = 0; i < total; i++) { m = mHist.at<int>(i, 0); t = iHist.at<int>(i, 0); rhist.at<float>(i, 0) = m / t;}
// 查找权重概率分布int r = 0, g = 0, b = 0;int level = 256 / bins;int index = 0;Mat w = Mat::zeros(src.size(), CV_32FC1);for (int row = 0; row < src.rows; row++) { uchar* current = src.ptr<uchar>(row); for (int col = 0; col < src.cols; col++) { if (src.channels() == 3) { b = *current++; g = *current++; r = *current++; index = (r / level) + (g / level)*bins + (b / level)*bins*bins; w.at<float>(row, col) = rhist.at<float>(index, 0); } else { r = *current++; index = (r / level); w.at<float>(row, col) = rhist.at<float>(index, 0); } }}
Mat dst;Mat kernel = (Mat_<float>(3, 3) << 1, 1, 1, 1, 1, 1, 1, 1, 1);filter2D(w, dst, -1, kernel);
Mat result;normalize(dst, result, 0, 255, NORM_MINMAX);imshow("BackProjection Demo", result);
模型图像
已知目标图像
反向投影结果