亲宝软件园·资讯

展开

OpenCV高动态范围成像

Detection 人气:0

高动态范围成像

一、引言

如今,大多数数字图像和成像设备每通道使用 8 位整数表示灰度,因此将设备的动态范围限制在两个数量级(实际上是 256 级),而人眼可以适应变化十个数量级的照明条件。当我们拍摄真实世界场景的照片时,明亮区域可能曝光过度,而黑暗区域可能曝光不足,因此我们无法使用单次曝光捕捉所有细节。 HDR 成像适用于每通道使用超过 8 位(通常为 32 位浮点值)的图像,允许更宽的动态范围。获取 HDR 图像的方法有很多种,但最常见的一种是使用以不同曝光值拍摄的场景照片。要结合这些曝光,了解相机的响应函数以及估计它的算法很有用。混合 HDR 图像后,必须将其转换回 8 位才能在普通显示器上查看。这个过程称为色调映射。当场景或相机的对象在镜头之间移动时,会出现额外的复杂性,因为应该配准和对齐具有不同曝光的图像。在本教程中,我们将展示如何从曝光序列中生成和显示 HDR 图像。在我们的例子中,图像已经对齐并且没有移动对象。我们还展示了一种称为曝光融合的替代方法,它可以产生低动态范围的图像。 HDR 管道的每个步骤都可以使用不同的算法来实现,因此请查看参考手册以了解所有这些。

二、曝光序列

download.png

三、代码演示

from%20__future__%20import%20print_function from%20__future__%20import%20division import%20cv2%20as%20cv import%20numpy%20as%20np import%20argparse import%20os
def%20cv_show(name,%20img): %20%20%20%20cv.imshow(name,%20img) %20%20%20%20cv.waitKey(0) %20%20%20%20cv.destroyAllWindows() def%20compare(imgs): %20%20#%20%20for%20i%20in%20range(len(imgs)): %20#%20%20%20%20%20%20%20imgs[i][:,-3:-1,:]%20=%20[255,255,255] %20%20%20%20res%20=%20np.hstack(imgs) %20%20%20%20cv_show('Compare',%20res) def%20loadExposureSeq(path): %20%20%20%20images%20=%20[] %20%20%20%20times%20=%20[] %20%20%20%20with%20open(os.path.join(path,%20'list.txt'))%20as%20f: %20%20%20%20%20%20%20%20content%20=%20f.readlines() %20%20%20%20for%20line%20in%20content: %20%20%20%20%20%20%20%20tokens%20=%20line.split() %20%20%20%20%20%20%20%20images.append(cv.imread(os.path.join(path,%20tokens[0]))) %20%20%20%20%20%20%20%20#%20便于之后的逆CRF操作 %20%20%20%20%20%20%20%20times.append(1%20/%20float(tokens[1])) %20%20%20%20return%20images,%20np.asarray(times,%20dtype=np.float32) #%20jupyter%20难以手动输入参数,故使用绝对路径 #parser%20=%20argparse.ArgumentParser(description='Code%20for%20High%20Dynamic%20Range%20Imaging%20tutorial.') #%20parser.add_argument('--input',%20type=str,%20help='Path%20to%20the%20directory%20that%20contains%20images%20and%20exposure%20times.') #%20args%20=%20parser.parse_args() #%20if%20not%20args.input: #%20%20%20%20%20parser.print_help() #%20%20%20%20%20exit(0) #%20images,%20times%20=%20loadExposureSeq(args.input) images,%20times%20=%20loadExposureSeq('exposures/') calibrate%20=%20cv.createCalibrateDebevec() response%20=%20calibrate.process(images,%20times) merge_debevec%20=%20cv.createMergeDebevec() hdr%20=%20merge_debevec.process(images,%20times,%20response) tonemap%20=%20cv.createTonemap(2.2) ldr%20=%20tonemap.process(hdr) merge_mertens%20=%20cv.createMergeMertens() fusion%20=%20merge_mertens.process(images) cv.imwrite('fusion.png', fusion * 255) cv.imwrite('ldr.png', ldr * 255) cv.imwrite('hdr.hdr', hdr)
True

四、解释

1. 加载图像和曝光时间

images, times = loadExposureSeq('exposures/')
# 查看数据集中曝光图像个数
len(images)
16

首先我们从用户自定义文件夹中(此处我采用了教程提供的数据集并将其放置到了同目录下便于载入)载入输入图像以及其曝光时间。文件夹中需要包含图像和list.txt文本文件,其中包含了文件名称和反曝光时间

提供的图像数据集的列表如下:

memorial00.png 0.03125

memorial01.png 0.0625

...

memorial15.png 1024

2. 估计相机响应

calibrate = cv.createCalibrateDebevec()
response = calibrate.process(images, times)
  • 用法如下:

cv.createCalibrateDebevec( [, samples[, lambda_[, random]]] ) -> retval

  • 参数含义:
  • samples :number of pixel locations to use
  • lambda :smoothness term weight. Greater values produce smoother results, but can alter the response.
  • random :if true sample pixel locations are chosen at random, otherwise they form a rectangular grid.

很多 HDR 构建算法都需要了解相机响应函数(CRF)。 我们使用一种校准算法来估计所有 256 个像素值的逆 CRF

3. 形成HDR图像

merge_debevec = cv.createMergeDebevec()
# 利用逆CRF形成HDR图像
hdr = merge_debevec.process(images, times, response)
  • 用法如下:

cv.createMergeMertens( [, contrast_weight[, saturation_weight[, exposure_weight]]] ) -> retval

  • 参数含义:
  • contrast_weight :contrast measure weight. See MergeMertens.
  • saturation_weight: saturation measure weight
  • exposure_weight :well-exposedness measure weight

我们使用 Debevec 的加权方案,使用上一项中计算的响应来构建 HDR 图像。

4. 对 HDR 图像进行色调映射

tonemap = cv.createTonemap(2.2)
ldr = tonemap.process(hdr)
cv_show('Result', ldr)
  • 用法如下: cv.createTonemap( [, gamma] ) -> retval
  • 参数含义:
  • gamma :positive value for gamma correction. Gamma value of 1.0 implies no correction, gamma equal to 2.2f is suitable for most displays. Generally gamma > 1 brightens the image and gamma < 1 darkens it.

由于我们想在普通 LDR 显示器上看到我们的结果,我们必须将 HDR 图像映射到 8 位范围,保留大部分细节。 这是色调映射方法的主要目标。 我们使用带有双边滤波的色调映射器,并将 2.2 设置为 gamma 校正的值。

5. 实现曝光融合

merge_mertens = cv.createMergeMertens()
fusion = merge_mertens.process(images)

如果我们不需要 HDR 图像,还有另一种方法可以合并我们的曝光。 这个过程称为曝光融合,并产生不需要伽马校正的 LDR 图像。 它也不使用照片的曝光值。

compare([ldr,fusion])

download.png

左边是对HDR图像直接进行色调映射的结果,只会保留大部分细节,右边图像是使用所有输入图像序列进行图像曝光融合的结果

请注意,HDR%20图像不能以一种常见的图像格式存储,因此我们将其保存为%20Radiance%20图像%20(.hdr)。%20此外,所有%20HDR%20成像函数都返回%20[0,%201]%20范围内的结果,因此我们应该将结果乘以%20255。您可以尝试其他色调映射算法:cv::TonemapDrago、cv::TonemapMantiuk%20和%20cv::TonemapReinhard%20您还可以调整%20您自己的照片的%20HDR%20校准和色调映射方法参数。

#%20修改gamma使整幅图像变亮 tonemap%20=%20cv.createTonemap(10) ldr%20=%20tonemap.process(hdr) cv_show('Result',%20ldr)

五、补充资源

  • Paul E Debevec and Jitendra Malik. Recovering high dynamic range radiance maps from photographs. In ACM SIGGRAPH 2008 classes, page 31. ACM, 2008. [57]
  • Mark A Robertson, Sean Borman, and Robert L Stevenson. Dynamic range improvement through multiple exposures. In Image Processing, 1999. ICIP 99. Proceedings. 1999 International Conference on, volume 3, pages 159–163. IEEE, 1999. [207]
  • Tom Mertens, Jan Kautz, and Frank Van Reeth. Exposure fusion. In Computer Graphics and Applications, 2007. PG'07. 15th Pacific Conference on, pages 382–390. IEEE, 2007. [170]-range_imaging
  • Recovering High Dynamic Range Radiance Maps from Photographs (webpage) www.pauldebevec.com/Research/HD…

加载全部内容

相关教程
猜你喜欢
用户评论