- +1
自适应亮度调节的图像增强技术
低照度场景中所拍摄的图像通常具有亮度低、噪声强、色彩差、细节信息缺失等特点,为了从低照度图像中提取背景模型以及进行目标检测等工作,必须通过算法对其进行增强处理。而图像增强需要综合考虑图像的亮度、对比度、清晰度、色彩饱和度等多方面因素,如果仅注重对亮度进行增强,则容易出现图像对比度过强、细节模糊、颜色失真等不理想的视觉效果。
目前,比较有效的图像增强方法有直方图均衡、Retinex算法、去雾算法、伽马校正等,但单一使用这些方法进行增强会出现对比度较差、颜色失真、模糊、光晕伪影等问题。并且,低照度图像中往往含有较强噪声,这对后续的增强等过程处理是非常不利的,因此在增强前进行降噪十分必要。
而大多数图像降噪都是针对单帧图像进行,这样处理效果往往受单帧图像处理方法的限制。
基于此,南京邮电大学喻春雨副教授团队采用多帧图像的处理方式进行图像降噪、增强,首先对同一场景采集多帧图像,然后选用快速有效的盲源分离(名词解释>>>)方法对多帧图像进行降噪、增强处理。拍摄过程中,天气、光照、曝光等因素会导致多帧图像的亮度有波动,为了确保多帧图像处理工作的顺利进行,需要对采集后的多帧图像进行亮度校正。在亮度增强过程中,为避免出现亮度过增强问题,在处理中结合皮尔生长曲线调节高亮度区域,这样使增强处理后的图像亮度范围更合理、视觉效果更好。
该成果以“低照度彩色图像的自适应亮度增强”为题发表在《光学精密工程》(EI、核心期刊)。
本文提出了一种基于自适应亮度调节的低照度彩色图像增强方法,在YUV色彩空间下进行帧平均(Frame Averaging, FA)结合盲源分离(Blind Source Separation,BSS)的多帧图像降噪、信息提取,以及基于皮尔生长曲线的自适应亮度伽马校正。
其中,进行盲源分离和帧平均运算可以有效去除图像噪声并恢复原拍摄场景的细节信息;采用自适应参数的亮度伽马校正可以确保盲源分离算法的稳定性;采用基于皮尔生长曲线进行亮度矫正可以有效避免图像局部亮度过增强,从而整体达到均衡光照、恢复色彩和细节信息目的。整个算法设计流程如图1。
图1 算法流程图
YUV(名词解释>>>)是一种颜色编码方法。常使用在各个视频处理组件中。
皮尔生长曲线(名词解释>>>)皮尔曲线是1938年比利时数学家哈尔斯特(P.F verhulst)首先提出的一种特殊曲线。后来,近代生物学家皮尔(R.Pearl)和L·J·Reed两人把此曲线应用于研究人口生长规律。所以这种特殊的曲线称之为皮尔增长曲线,简称皮尔曲线。
为避免多帧图像亮度波动导致盲源分离运算不稳定,本文引入了自适应参数的伽马矫正,这样的处理使多帧图像的亮度稳定在一个较窄的动态范围,相比较固定参数的伽马矫正,图像像素值更稳定,适合后续的盲源分离降噪处理。采集的单帧图像输入图像前后亮度波动对比如图2:
图2 不同伽马校正后的图像亮度稳定性比较
为提升多帧处理方法的时效性,本文还采用了基于尺寸缩放的图像质量评价排序方法来挑选出盲源分离输出信号中的最优图像信号,采用合理的缩小图代替原图进行图像质量评价可以节省运算量,保证降噪的时效性。
针对低照度图像的噪声较强问题,本文将同属多帧处理的帧平均和盲源分离算法(名词解释>>>)的权值调整二阶盲辨识(简称:WASOBI)有效结合,在完美滤除图像噪声的同时,还可以大幅提升了图像清晰度。
此外,较多方法存在的图像局部亮度过亮或过增强的问题,而如果把图像的灰度级由低到高累加起来看其分布规律(如图3),可以看出充足照度场景图像在低亮度区域和高亮度区域的像素数增长是缓慢的,恰好与皮尔生长曲线相似,而高亮度场景图像的高亮度区域的像素数增长仍然很快。由此,本文引入了基于皮尔生长曲线的亮度调节,解决了伽马矫正中的幂底数接近1,即亮度值高的图像区域得不到有效增强的问题。
图3 基于皮尔生长曲线的亮度校正
本文通过实验验证了方法的可行性:
首先对低照度场景连续拍摄多帧图像,并对其进行自适应伽马亮度校正;
然后将多帧亮度校正后图像转换到YUV色彩空间进行两种处理,一种是提取Y通道分量分组进行基于权值调整二阶盲辨识的盲源分离降噪,一种是进行帧平均后提取Y通道分量与多个盲源分离降噪的Y通道分量依次进行结构匹配,并选出匹配最佳Y通道分量;
再将最佳Y通道分量进行基于皮尔生长曲线的亮度调整后与经帧平均处理的U、V通道分量重新组合;最后将重组图像转换回RGB空间,即可得到视觉效果显著提升的彩色图像。
图4 部分经本文图像增强方法的处理前、后的效果对比图
论文信息:
陈刚,刘言,杨贺超等.低照度彩色图像的自适应亮度增强[J].光学精密工程,2021,29(08):1999-2007. DOI:10.37188/OPE.20212908.1999
论文地址:
http://ope.lightpublishing.cn/thesisDetails#10.37188/OPE.20212908.1999
作者简介:
陈刚,南京邮电大学,电子与光学工程学院、微电子学院,硕士研究生,研究方向是光电成像与图像处理。
喻春雨,南京邮电大学,电子与光学工程学院、微电子学院,副教授,2006年于南京理工大学获光学工程博士学位,2006~2008年在北京大学信息科学技术学院从事博士后工作,2014~2015年在宾夕法尼亚大学医学院访学。
监制 | 袁境泽,臧春秀、赵阳
编辑 | 赵唯
欢迎课题组投稿——新闻稿
文章转载/商务合作/课题组投稿,微信:447882024
带您每天读1篇文献!加入>Light读书会
本文为澎湃号作者或机构在澎湃新闻上传并发布,仅代表该作者或机构观点,不代表澎湃新闻的观点或立场,澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问http://renzheng.thepaper.cn。
- 报料热线: 021-962866
- 报料邮箱: news@thepaper.cn
互联网新闻信息服务许可证:31120170006
增值电信业务经营许可证:沪B2-2017116
© 2014-2024 上海东方报业有限公司