高动态范围成像 / 开普饭

自然景物的辐照范围很广，同样人眼也可以感知到很大的辐照范围下的图像，然而摄像机成像很容易饱和或者曝光不足，所以需要根据拍摄场景来设置合理的快门时间（或者光圈，ISO等参数）。

尽管通过设置快门时间（或者光圈，ISO等参数）可以得到一幅比较理想的图像，但仍然可能存在曝光不足或曝光过度的现象。

高动态范围成像（High Dynamic Range）通过

1）拍摄一组不同曝光下的图像序列，根据已知曝光时间来估计相机的辐射响应函数，

2）然后将所有像素点映射为辐照值，即得到高动态范围图像。

但是由于显示设备都是以256阶强度显示图像，所以需要对高动态范围图像进行色调映射以适应显示设备，色调映射后的图像应该比不同曝光图像序列中任意图像所观察的动态范围大。

1 图像对齐

在拍摄的一组不同曝光图像序列中，不同图像间不可避免存在一些位移，如果位移仅有相机抖动引起，可以使用全局平移参数进行描述。由于拍摄内容高度一致，所以可以使用一种简单方法估计平移，具体如下：

1）求每帧图像的中值阈值图（Median Threshold Bitmap），由于曝光改变并不改变像素值大小关系，所以每帧图像的中值阈值图应该具有相同的模式，但可能存在一些位移；

2）以图像序列中间帧作为参考，使用图像金字塔逐次求解每一帧求关于中间帧的全局平移参数；

opencv 提供了类 AlignMTB 实现了这种情况下的图像对其，其计算全局平移主要代码如下：

// 创建图像金字塔std::vector<Mat> pyr0;std::vector<Mat> pyr1;buildPyr(img0, pyr0, maxlevel);buildPyr(img1, pyr1, maxlevel);

// 初始平移为0Point shift(0, 0);

// 自顶而下计算平移量for(int level = maxlevel; level >= 0; level--) {    shift *= 2;    Mat tb1, tb2, eb1, eb2;    computeBitmaps(pyr0[level], tb1, eb1);    computeBitmaps(pyr1[level], tb2, eb2);    int min_err = (int)pyr0[level].total();    Point new_shift(shift);    for(int i = -1; i <= 1; i  ) {        for(int j = -1; j <= 1; j  ) {             Point test_shift = shift   Point(i, j);             Mat shifted_tb2, shifted_eb2, diff;             shiftMat(tb2, shifted_tb2, test_shift);             shiftMat(eb2, shifted_eb2, test_shift);             bitwise_xor(tb1, shifted_tb2, diff);             bitwise_and(diff, eb1, diff);             bitwise_and(diff, shifted_eb2, diff);             int err = countNonZero(diff);  // 非零元越少表示重合程度越高             if(err < min_err) {                 new_shift = test_shift;                 min_err = err;               }            }        }     shift = new_shift;  }

如果图像位移由于拍摄场景内部的某些运动引起，则需要描述局部平移，这可以使用稠密光流等方式实现。在光流计算中，一般要求两帧间图像亮度变化较小，一种解决方案是在直方图均衡化后的图像序列上计算光流。

结合全局平移与局部光流，可以对图像进行精确对齐。在HDR应用中，图像序列均在极短时间内获取，一般情况只需要计算全局平移即可。

2 求相机辐照响应函数

当成像物体辐照强度不同时，经过相机后会产生不同的像素值，该系统可以用下图描述