一种Raw域图像的降噪方法及其装置、相机和终端
kaiyun平台官网登录 开云网站接收输入的多帧Raw图像，所述多帧Raw图像为相同曝光下抓取的多帧Bayer原始域Raw
从所述多帧Raw图像中，挑选一帧Raw图像作为参考帧，其他的帧Raw图像作为待对齐
采用基于快速傅里叶变换的对齐算法，对所述多帧Raw图像进行多帧对齐处理，得到所
采用基于卡尔曼滤波的融合方法，对所述多帧Raw图像进行多帧融合处理，得到降噪后
2.如权利要求1所述的降噪方法，其特征在于，在所述接收输入的多帧Raw图像之前，还
3.如权利要求2所述的降噪方法，其特征在于，所述根据拍摄场景，确认相同曝光下需
预先设置不同BV段的欠曝区灰度阈值、欠曝区占比阈值、过曝区灰度阈值和过曝区占
接收检测得到的拍摄场景的环境亮度BV值，并判断所述环境亮度BV值所属的BV段；
根据所述环境亮度BV值所属BV段的欠曝区灰度阈值和过曝区灰度阈值，计算所述环境
亮度BV值分别在R、G、B三个通道中的欠曝区占比和过曝区占比，并筛选出R、G、B三个通道中
根据所述环境亮度BV值所属BV段的欠曝区占比阈值和过曝光占比阈值、以及所述最大
欠曝区占比值和最大过曝区占比值，确定相同曝光下需要抓取Bayer原始域Raw图像的帧
4.如权利要求1所述的降噪方法，其特征在于，所述从所述多帧Raw图像中，挑选一帧
5.如权利要求4所述的降噪方法，其特征在于，所述从所述多帧Raw图像中，挑选一帧
从所述多帧Raw图像中的前3帧中挑选出锐度最大的帧Raw图像，作为所述参考帧。
6.如权利要求1所述的降噪方法，其特征在于，所述采用基于快速傅里叶变换的对齐算
法，对所述多帧Raw图像进行多帧对齐处理，得到所有的所述待对齐帧与所述参考帧中对齐
将所述多帧Raw图像中的每帧Raw图像进行K次金字塔下采样，得到K+1层不同尺寸的金
针对参考帧的每个块，在当前待对齐帧的最粗层金字塔图像的预设范围内搜索，以找
到匹配的位置，并将搜索结果依次传递到下一层金字塔图像，直到在最细层金字塔图像中
根据参考帧和每个待对齐帧，按照下式计算参考帧中每个块在对齐时的距离测量值D
其中，T(x，y)为参考帧中坐标为(x，y)的一个块，I为待对齐帧的搜索区域，p为用于对
7.如权利要求6所述的降噪方法，其特征在于，所述计算得到的距离测量值最小化后的
其中，第一项表示T元素的平方和；第二项box(I°I，n)表示I使用大小为nxn的非归
8.如权利要求7所述的降噪方法，其特征在于，所述确定整数位移使位移误差最
9.如权利要求1所述的降噪方法，其特征在于，所述采用基于卡尔曼滤波的融合方法，
依次从所述多帧Raw图像中选一帧Raw图像作为当前帧Raw图像，对当前帧Raw图像和当
前帧Raw图像的前一帧Raw图像中每个帧的块，利用卡尔曼滤波进行处理；其中，所述多帧
Raw图像中的第一帧Raw图像的前一帧Raw图像为所述多帧Raw图像中的最后一帧Raw图像：
将所述参考帧与其他的待对齐帧按照预设权重融合，得到所述降噪后的输出图像。
接收模块，用于接收输入的多帧Raw图像，所述多帧Raw图像为相同曝光下抓取的多帧
筛选模块，用于从所述多帧Raw图像中，挑选一帧Raw图像作为参考帧，其他的帧Raw图
对齐模块，用于采用基于快速傅里叶变换的对齐算法，对所述多帧Raw图像进行多帧对
融合模块，用于采用基于卡尔曼滤波的融合方法，对所述多帧Raw图像进行多帧融合处
与所述图像采集模块通信连接的如权利要求10所述的Raw域图像的降噪装置。
本发明涉及图像处理技术领域，尤其涉及一种Raw域图像的降噪方法及其装置、相
夜间拍摄时，场景本身光线不足。为了获得足够的光线，常用的一种方式是使用模拟增益和
数字增益，这导致噪声进一步放大；常用的另一种方式是延长曝光时间，这样会由于相机抖
动或拍摄对象运动导致运动模糊。同样，高动态范围的日间拍摄也可能受到光线不足的影
响，尤其是利用减少曝光来抑制高光时，阴影区(暗区)收集不到足够的光线，此时利用局部
色调映射来提亮暗区再次放大了噪声。获取足够光线的方法还包括大光圈镜头、闪光灯等，
但是每一种方法都是一种权衡。手机相机受厚度限制，光圈不能无限增大，只能在有限范围
内尽可能增大；闪光灯是最不受欢迎的一种选择，虽然瞬间增加了光线，但闪光的方式令人
不快。一方面光线不足导致了弱光下拍摄产生较多噪声；另一方面，由于手机相机的成像元
件(通常为CMOS)不可避免地受到热噪声等的影响，使得弱光下拍摄的图像通常有大量噪
噪声与细节两者兼顾的解决方法便是多帧降噪，即在相同曝光下的连续获取多帧，对这些
帧进行一定处理(如多帧对齐)后融合(加权平均即滤波)成一帧图像，此方法可以融合一帧
的空域去噪和多帧的时域去噪，能够尽可能保留更多的图像细节，且达到有效去噪的目的。
当前多帧降噪方法已成为手机相机主流的降噪方法。在yuv域做处理的都比较多，应用比较
广泛，但计算量大、耗时长一直是多帧降噪的痛点问题，同时对噪声与细节的平衡、运动模
本发明提供了一种Raw域图像的降噪方法及其装置、相机和终端，去噪效果更好。
第一方面，本发明提供了一种Raw域图像的降噪方法，该Raw域图像的降噪方法包
括：接收输入的多帧Raw图像，多帧Raw图像为相同曝光下抓取的多帧Bayer原始域Raw图像；
从多帧Raw图像中，挑选一帧Raw图像作为参考帧，其他的帧Raw图像作为待对齐帧；采用基
于快速傅里叶变换的对齐算法，对多帧Raw图像进行多帧对齐处理，得到所有的待对齐帧与
参考帧中对齐的块的位置信息；采用基于卡尔曼滤波的融合方法，对多帧Raw图像进行多帧
在上述的方案中，通过对相同曝光下抓取的多帧Bayer原始域Raw图像直接进行处
理，即输入的多帧Bayer原始域Raw图像不再使用经过硬件图像信号处理器上颜色校正、
Gamma、去马赛克等处理后的RGB帧或YUV帧，而是使用Bayer原始帧进行对齐和融合处理，可
获得更多的像素比特数，且将多帧Bayer原始域Raw图像融合成一帧后，作为降噪后的输出
图像，后续可以再进行硬件ISP处理，流程更高效。而且，本申请中采用基于快速傅里叶变换
的对齐算法对多帧Raw图像进行多帧对齐处理，能够更稳定，减小计算量的同时还改善对齐
导致的边缘伪像等。且本申请还采用基于卡尔曼滤波的融合方法，对多帧Raw图像进行多帧
融合处理，能够有效减小运动鬼影，更好地去除运动物体噪声，且对运动模糊清晰化，去噪
效果更好，时域去噪效果也更好，使得去噪更高效，鲁棒性更强。另外，本申请的降噪方法利
用一个改进的上升余弦窗口，明显减小计算量，占用存储空间小，能够明显减小算法耗时。
在一个具体的实施方式中，在接收输入的多帧Raw图像之前，该Raw域图像的降噪
方法还包括：根据拍摄场景，确认相同曝光下需要抓取Bayer原始域Raw图像的帧数。通过在
处理前首先进行拍摄场景检测，确定抓取Raw图像的帧数，防止帧数过少而影响降噪效果，
在一个具体的实施方式中，根据拍摄场景，确认相同曝光下需要抓取Bayer原始域
Raw图像的帧数，包括：预先划分不同的BV段；预先设置不同BV段的欠曝区灰度阈值、欠曝区
占比阈值、过曝区灰度阈值和过曝区占比阈值；接收检测得到的拍摄场景的环境亮度BV值，
并判断环境亮度BV值所属的BV段；根据环境亮度BV值所属BV段的欠曝区灰度阈值和过曝区
灰度阈值，计算环境亮度BV值分别在R、G、B三个通道中的欠曝区占比和过曝区占比，并筛选
出R、G、B三个通道中的最大欠曝区占比值和最大过曝区占比值；根据环境亮度BV值所属BV
段的欠曝区占比阈值和过曝光占比阈值、以及最大欠曝区占比值和最大过曝区占比值，确
定相同曝光下需要抓取Bayer原始域Raw图像的帧数。在拍摄场景检测部分，对拍摄场景划
分不仅考虑了亮度值，同时考虑了动态范围，提高所确定抓取Raw图像的帧数的准确度，从
在一个具体的实施方式中，从多帧Raw图像中，挑选一帧Raw图像作为参考帧，包
括：从多帧Raw图像中，挑选出锐度最大的帧Raw图像作为参考帧，能够避免拍摄手抖和场景
在一个具体的实施方式中，从多帧Raw图像中，挑选一帧Raw图像作为参考帧还包
括：从多帧Raw图像中的前3帧中挑选出锐度最大的帧Raw图像，作为参考帧，能够减小快门
在一个具体的实施方式中，采用基于快速傅里叶变换的对齐算法，对多帧Raw图像
进行多帧对齐处理，得到所有的待对齐帧与参考帧中对齐的块的位置信息，包括：
将多帧Raw图像中的每帧Raw图像进行K次金字塔下采样，得到K+1层不同尺寸的金
以找到匹配的位置，并将搜索结果依次传递到下一层金字塔图像，直到在最细层金字塔图
其中，T(x,y)为参考帧中坐标为(x,y)的一个块，I为待对齐帧的搜索区域，p为用
考帧中对齐的块的位置信息。将欠采样带来的问题放到后续的对齐步骤，解决起来更加容
[0022] 其中，第一项 表示T元素的平方和；第二项box(I°I,n)表示I使用大小为nxn的
[0024] 在一个具体的实施方式中，确定整数位移 使位移误差最小化，包括：
[0025] 拟合如下的二元多项式到 求出多项式的最小值，完成每个块的亚像素估
[0028] 用一个加权最小二乘来拟合 使位移误差最小化，便于完成运动部位的亚像
在一个具体的实施方式中，采用基于卡尔曼滤波的融合方法，对多帧Raw图像进行
多帧融合处理，得到降噪后的输出图像，包括：依次从多帧Raw图像中选一帧Raw图像作为当
前帧Raw图像，对当前帧Raw图像和当前帧Raw图像的前一帧Raw图像中每个帧的块，利用卡
尔曼滤波进行处理，其中，多帧Raw图像中的第一帧Raw图像的前一帧Raw图像为多帧Raw图
像中的最后一帧Raw图像；将参考帧与其他的待对齐帧按照预设权重融合，得到降噪后的输
第二方面，本发明还提供了一种Raw域图像的降噪装置，该Raw域图像的降噪装置
包括：接收模块、筛选模块、对齐模块和融合模块。其中，接收模块用于接收输入的多帧Raw
图像，多帧Raw图像为相同曝光下抓取的多帧Bayer原始域Raw图像。筛选模块用于从多帧
Raw图像中，挑选一帧Raw图像作为参考帧，其他的帧Raw图像作为待对齐帧。对齐模块用于
采用基于快速傅里叶变换的对齐算法，对多帧Raw图像进行多帧对齐处理，得到所有的待对
齐帧与参考帧中对齐的块的位置信息。融合模块用于采用基于卡尔曼滤波的融合方法，对
在上述的方案中，通过对相同曝光下抓取的多帧Bayer原始域Raw图像直接进行处
理，即输入的多帧Bayer原始域Raw图像不再使用经过硬件图像信号处理器上颜色校正、
Gamma、去马赛克等处理后的RGB帧或YUV帧，而是使用Bayer原始帧进行对齐和融合处理，可
获得更多的像素比特数，且将多帧Bayer原始域Raw图像融合成一帧后，作为降噪后的输出
图像，后续可以再进行硬件ISP处理，流程更高效。而且，本申请中采用基于快速傅里叶变换
的对齐算法对多帧Raw图像进行多帧对齐处理，能够更稳定，减小计算量的同时还改善对齐
导致的边缘伪像等。且本申请还采用基于卡尔曼滤波的融合方法，对多帧Raw图像进行多帧
融合处理，能够有效减小运动鬼影，更好地去除运动物体噪声，且对运动模糊清晰化，去噪
效果更好，时域去噪效果也更好，使得去噪更高效，鲁棒性更强。另外，本申请的降噪方法利
用一个改进的上升余弦窗口，明显减小计算量，占用存储空间小，能够明显减小算法耗时。
在一个具体的实施方式中，该Raw域图像的降噪装置还包括确定模块，确定模块用
于在接收输入的多帧Raw图像之前，根据拍摄场景，确认相同曝光下需要抓取Bayer原始域
Raw图像的帧数。通过在处理前首先进行拍摄场景检测，确定抓取Raw图像的帧数，防止帧数
Bayer原始域Raw图像的帧数时，采用如下的方式：预先划分不同的BV段；预先设置不同BV段
的欠曝区灰度阈值、欠曝区占比阈值、过曝区灰度阈值和过曝区占比阈值；接收检测得到的
拍摄场景的环境亮度BV值，并判断环境亮度BV值所属的BV段；根据环境亮度BV值所属BV段
的欠曝区灰度阈值和过曝区灰度阈值，计算环境亮度BV值分别在R、G、B三个通道中的欠曝
区占比和过曝区占比，并筛选出R、G、B三个通道中的最大欠曝区占比值和最大过曝区占比
值；根据环境亮度BV值所属BV段的欠曝区占比阈值和过曝光占比阈值、以及最大欠曝区占
比值和最大过曝区占比值，确定相同曝光下需要抓取Bayer原始域Raw图像的帧数。在拍摄
场景检测部分，对拍摄场景划分不仅考虑了亮度值，同时考虑了动态范围，提高所确定抓取
在一个具体的实施方式中，筛选模块从多帧Raw图像中，挑选出锐度最大的帧Raw
在一个具体的实施方式中，筛选模块从多帧Raw图像中的前3帧中挑选出锐度最大
多帧Raw图像进行多帧对齐处理，得到所有的待对齐帧与参考帧中对齐的块的位置信息时，
将多帧Raw图像中的每帧Raw图像进行K次金字塔下采样，得到K+1层不同尺寸的金
以找到匹配的位置，并将搜索结果依次传递到下一层金字塔图像，直到在最细层金字塔图
其中，T(c,y)为参考帧中坐标为(x,y)的一个块，I为待对齐帧的搜索区域，p为用
考帧中对齐的块的位置信息。将欠采样带来的问题放到后续的对齐步骤，解决起来更加容
[0047] 其中，第一项 表示T元素的平方和；第二项box(I°I,n)表示I使用大小为nxn的
[0049] 在一个具体的实施方式中，对齐模块在确定整数位移 使位移误差最小化
[0050] 先拟合如下的二元多项式到 求出多项式的最小值，完成每个块的亚像素估
[0053] 再用一个加权最小二乘来拟合 使位移误差最小化，便于完成运动部位的亚
在一个具体的实施方式中，融合模块采用基于卡尔曼滤波的融合方法，对多帧Raw
图像进行多帧融合处理，得到降噪后的输出图像是，采用如下的步骤：依次从多帧Raw图像
中选一帧Raw图像作为当前帧Raw图像，对当前帧Raw图像和当前帧Raw图像的前一帧Raw图
像中每个帧的块，利用卡尔曼滤波进行处理，其中，多帧Raw图像中的第一帧Raw图像的前一
帧Raw图像为多帧Raw图像中的最后一帧Raw图像；将参考帧与其他的待对齐帧按照预设权
重融合，得到降噪后的输出图像。能够有效去除时域噪点，并尽可能多的保留图像细节。
第三方面，本发明还提供了一种相机，该相机包括：图像采集模块、与图像采集模
中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅
仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术
人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了方便理解本发明实施例提供的Raw域图像的降噪方法，下面首先说明一下本
发明实施例提供的Raw域图像的降噪方法的应用场景，该Raw域图像的降噪方法应用于诸如
但不限于手机、笔记本电脑等终端的相机中，用于对拍摄的图像进行降噪处理。下面结合附
Step10：接收输入的多帧Raw图像，多帧Raw图像为相同曝光下抓取的多帧Bayer原
Step20：从多帧Raw图像中，挑选一帧Raw图像作为参考帧，其他的帧Raw图像作为