基于逆ISP的RAW域雾气数据仿真方法
本申请涉及一种基于逆ISP的RAW域雾气数据仿真方法，其中，方法包括：输入RGB图像，经过逆ISP过程得到对应的RAW图像；基于RAW图像和深度图，通过预设大气退化模型在RAW图像上进行加雾，以进行目标物和大气散射光的线性响应，得到线性响应结果；基于线性响应结果，加入传感器噪声后得到RAW域的雾气仿真模型，并通过统一散粒噪声和读出噪声得到高斯分布，以进行噪声合成；将雾气RAW图像进行ISP处理，以得到真实雾气RGB图像。由此，解决了相关技术直接在RGB数据上进行雾气合成，与真实的雾气场景成像过程
(19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 116912127 A (43)申请公布日 2023.10.20 (21)申请号 8.6 (22)申请日 2023.07.26 (71)申请人 清华大学 地址 100084 北京市海淀区清华园1号 (72)发明人 季向阳谢艺明王枭宇杨祉煜 王仁睿连晓聪 (74)专利代理机构 北京清亦华知识产权代理事 务所(普通合伙) 11201 专利代理师 黄德海 (51)Int.Cl. G06T 5/00 (2006.01) 权利要求书2页 说明书10页 附图3页 (54)发明名称 基于逆ISP的RAW域雾气数据仿线)摘要 本申请涉及一种基于逆ISP的RAW域雾气数 据仿真方法，其中，方法包括：输入RGB图像，经过 逆ISP过程得到对应的RAW图像；基于RAW图像和 深度图 ，通过预设大气退化模型在RAW图像上进 行加雾 ，以进行目标物和大气散射光的线性响 应，得到线性响应结果；基于线性响应结果，加入 传感器噪声后得到RAW域的雾气仿真模型，并通 过统一散粒噪声和读出噪声得到高斯分布，以进 行噪声合成；将雾气RAW图像进行ISP处理，以得 到真实雾气RGB图像。由此，解决了相关技术直接 在RGB数据上进行雾气合成，与真实的雾气场景 成像过程不符，未考虑到传感器噪声随其表面接 A 收辐照度的变化及图像处理过程中对传感器信 7 号的非线/2页 1.一种基于逆ISP的RAW域雾气数据仿真方法，其特征在于，包括以下步骤： 输入RGB图像，经过逆ISP过程得到对应的RAW图像； 基于所述RAW图像和深度图，通过预设大气退化模型在所述RAW图像上进行加雾，以进 行目标物和大气散射光的线性响应，得到所述线性响应结果； 基于所述线性响应结果，加入传感器噪声后得到RAW域的雾气仿真模型，并通过统一散 粒噪声和读出噪声得到高斯分布，以进行噪声合成，得到雾气RAW图像；以及 将所述雾气RAW图像进行ISP处理，以得到线所述的方法，其特征在于，所述逆ISP过程的色调映射和逆色调映射 的公式为： 2 3 T(x)＝3x ‑2x ， 其中，x为进行色调映射前的图像像素值，y为进行逆色调映射前的图像像素值； 所述逆ISP过程的Gamma变换和逆Gamma变换的公式为： ‑8 Γ(x)＝max(x，∈＝10 )1/2.2， ‑1 ‑8 2.2 Γ (y)＝max(y，∈＝10 ) ， 其中，x为进行Gamma变换前的图像像素值，y为进行逆Gamma变化前的图像像素值。 3.根据权利要求2所述的方法，其特征在于，所述进行目标物和大气散射光的线性响应 的计算公式为： I(x)＝J(x)e‑β·d(x)+A[1‑e‑β·d(x)]， 其中，x为所述图像中像素点的位置，J(x)为清晰图像中像素点x处的像素值，d(x)为深 度图中像素点x处的深度值，A为大气光，β为大气衰减系数，e‑β·d(x)为场景的透射图。 4.根据权利要求3所述的方法，其特征在于，所述RAW域的雾气仿真模型的计算公式为： I(x)＝J(x)e‑β·d(x)+A[1‑e‑β·d(x)]+n， 其中，x为所述图像中像素点的位置，J(x)为所述清晰图像中像素点x处的像素值，d(x) 为所述深度图中像素点x处的深度值，A为所述大气光，β为所述大气衰减系数，e‑β·d(x)为所 述场景的透射图，n为传感器噪声项。 5.根据权利要求1所述的方法，其特征在于，所述雾气RAW图像的高斯分布的公式为： 2 q～N(μ＝m，σ＝kaiyun官网中国 开云网址λ +λ m)， read shot 其中，λ 和λ 分别为所述传感器的模拟增益g 和数字增益g 决定的参数，m为无噪图 read shot a d 像像素强度。 6.一种基于逆ISP的RAW域雾气数据仿真装置，其特征在于，包括： 输入模块，用于输入RGB图像，经过逆ISP过程得到对应的RAW图像； 获取模块，用于基于所述RAW图像和深度图，通过预设大气退化模型在所述RAW图像上 进行加雾，以进行目标物和大气散射光的线性响应，得到所述线性响应结果； 仿真模块，用于基于所述线性响应结果，加入传感器噪声后得到RAW域的雾气仿真模 型，并通过统一散粒噪声和读出噪声得到高斯分布，以进行噪声合成，得到雾气RAW图像；以 及 处理模块，用于将所述雾气RAW图像进行ISP处理，以得到线.根据权利要求6所述的装置，其特征在于，所述逆ISP过程的色调映射和逆色调映射 的公式为： 2 3 T(x)＝3x ‑2x ， 其中，x为进行色调映射前的图像像素值，y为进行逆色调映射前的图像像素值； 所述逆ISP过程的Gamma变换和逆Gamma变换的公式为： ‑8 Γ(x)＝max(x，∈＝10 )1/2.2， ‑1 ‑8 2.2 Γ (y)＝max(y，∈＝10 ) ， 其中，x为进行Gamma变换前的图像像素值，y为进行逆Gamma变化前的图像像素值。 8.根据权利要求7所述的装置，其特征在于，所述进行目标物和大气散射光的线性响应 的计算公式为： I(x)＝J(x)e‑β·d(x)+A[1‑e‑β·d(x)]， 其中，x为所述图像中像素点的位置，J(x)表示清晰图像中像素点x处的像素值，d(x)表 示深度图中像素点x处的深度值，A为大气光，β为大气衰减系数，e‑β·d(x)为场景的透射图。 9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所 述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1‑5任一项所 述的基于逆ISP的RAW域雾气数据仿线.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器 执行，以用于实现如权利要求1‑5任一项所述的基于逆ISP的RAW域雾气数据仿线页 基于逆ISP的RAW域雾气数据仿线] 本申请涉及光学成像领域和图像处理技术领域，特别涉及一种基于逆ISP的RAW域 雾气数据仿线] 雾气是户外拍摄时常见的天气之一，1924年Koschmieder提出了一个传统的用于 解释雾气的物理模型，如图1所示。其中到达相机传感器的光线分为两部分，一部分为经过 雾气衰减的物体反射光，一部分为大气散射光，这两部分的比例由相机传感器和物体之间 散射介质的光学厚度所控制。由于雾气的散射作用，拍摄图像的对比度下降、目标物细节丢 失，对后续的机器视觉算法带来了较多挑战。 [0003] 相关技术中，基于监督学习的去雾算法通常需要匹配清晰图像和雾气图像进行模 型训练，并且现有的仿真雾气数据集是利用清晰的RGBD数据并基于Koschmieder大气退化 模型进行雾气数据的仿线] 然而，相关技术中，由于光照变化、物体运动等因素，实际拍摄同一场景的清晰和 雾气数据对几乎是难以实现的，并且直接在RGB数据上进行雾气合成的方法与真实的雾气 场景成像过程是不符的，未考虑到传感器噪声随其表面接收辐照度的变化及图像处理过程 中对传感器信号的非线性变换，难以真实模拟雾气场景的成像结果，亟待改善。 发明内容 [0005] 本申请提供一种基于逆ISP的RAW域雾气数据仿真方法，以解决相关技术中，由于 光照变化、物体运动等因素，实际拍摄同一场景的清晰和雾气数据对几乎难以实现，并且直 接在RGB数据上进行雾气合成的方法与真实的雾气场景成像过程不符，未考虑到传感器噪 声随其表面接收辐照度的变化及图像处理过程中对传感器信号的非线性变换，无法模拟雾 气成像过程中噪声影响等问题。 [0006] 本申请第一方面实施例提供一种基于逆ISP的RAW域雾气数据仿真方法，包括以下 步骤：输入RGB图像，经过逆ISP过程得到对应的RAW图像；基于所述RAW图像和深度图，通过 预设大气退化模型在所述RAW图像上进行加雾，以进行目标物和大气散射光的线性响应，得 到所述线性响应结果；基于所述线性响应结果，加入传感器噪声后得到RAW域的雾气仿真模 型，并通过统一散粒噪声和读出噪声得到高斯分布，以进行噪声合成，得到雾气RAW图像；以 及将所述雾气RAW图像进行ISP处理，以得到真实雾气RGB图像。 [0007] 可选地，在本申请的一个实施例中，所述逆ISP过程的色调映射和逆色调映射的公 式为： [0008] 2 3 T(x)＝3x ‑2x ， [0009] [0010] 其中，x为进行色调映射前的图像像素值，y为进行逆色调映射前的图像像素值； [0011] 所述逆ISP过程的Gamma变换和逆Gamma变换的公式为： 4 4 CN 116912127 A 说明书 2/10页 [0012] ‑8 1/2.2 Γ(x)＝max(x,∈＝10 ) ， [0013] ‑1 ‑8 2.2 Γ (y)＝max(y,∈＝10 ) ， [0014] 其中，x为进行Gamma变换前的图像像素值，y为进行逆Gamma变化前的图像像素值。 [0015] 可选地，在本申请的一个实施例中，所述进行目标物和大气散射光的线性响应的 计算公式为： [0016] I(x)＝J(x)e‑β·d(x)+A[1‑e‑β·d(x)]， [0017] 其中，x为所述图像中像素点的位置，J(x)为清晰图像中像素点x处的像素值，d(x) 为深度图中像素点x处的深度值，A为大气光，β为大气衰减系数，e‑β·d(x)为场景的透射图。 [0018] 可选地，在本申请的一个实施例中，所述RAW域的雾气仿真模型的计算公式为： [0019] I(x)＝J(x)e‑β·d(x)+A[1‑e‑β·d(x)]+n， [0020] 其中，x为所述图像中像素点的位置，J(x)为所述清晰图像中像素点x处的像素值， d(x)为所述深度图中像素点x处的深度值，A为所述大气光，β为所述大气衰减系数，e‑β·d(x) 为所述场景的透射图，n为传感器噪声项。 [0021] 可选地，在本申请的一个实施例中，所述雾气RAW图像的高斯分布的公式为： [0022] 2 q～N(μ＝m,σ＝λ +λ m)， read shot [0023] 其中，λ 和λ 分别为所述传感器的模拟增益g 和数字增益g 决定的参数，m为 read shot a d 无噪图像像素强度。 [0024] 本申请第二方面实施例提供一种基于逆ISP的RAW域雾气数据仿真方法，包括：输 入模块，用于输入RGB图像，经过逆ISP过程得到对应的RAW图像；获取模块，用于基于所述 RAW图像和深度图，通过预设大气退化模型在所述RAW图像上进行加雾，以进行目标物和大 气散射光的线性响应，得到所述线性响应结果；仿真模块，用于基于所述线性响应结果，加 入传感器噪声后得到RAW域的雾气仿真模型，并通过统一散粒噪声和读出噪声得到高斯分 布，以进行噪声合成，得到雾气RAW图像；以及处理模块，用于将所述雾气RAW图像进行ISP处 理，以得到真实雾气RGB图像。 [0025] 可选地，在本申请的一个实施例中，所述逆ISP过程的色调映射和逆色调映射的公 式为： [0026] 2 3 T(x)＝3x ‑2x ， [0027] [0028] 其中，x为进行色调映射前的图像像素值，y为进行逆色调映射前的图像像素值； [0029] 所述逆ISP过程的Gamma变换和逆Gamma变换的公式为： [0030] ‑8 1/2.2 Γ(x)＝max(x,∈＝10 ) ， [0031] ‑1 ‑8 2.2 Γ (y)＝max(y,∈＝10 ) ， [0032] 其中，x为进行Gamma变换前的图像像素值，y为进行逆Gamma变化前的图像像素值。 [0033] 可选地，在本申请的一个实施例中，所述进行目标物和大气散射光的线性响应的 计算公式为： [0034] I(x)＝J(x)e‑β·d(x)+A[1‑e‑β·d(x)]， [0035] 其中，x为所述图像中像素点的位置，J(x)为清晰图像中像素点x处的像素值，d(x) 为深度图中像素点x处的深度值，A为大气光，β为大气衰减系数，e‑β·d(x)为场景的透射图。 5 5 CN 116912127 A 说明书 3/10页 [0036] 可选地，在本申请的一个实施例中，所述RAW域的雾气仿真模型的计算公式为： [0037] I(x)＝(x)e‑β·d(x)+A[1‑e‑β·d(x)]+n， [0038] 其中，x为所述图像中像素点的位置，J(x)为所述清晰图像中像素点x处的像素值， d(x)为所述深度图中像素点x处的深度值，A为所述大气光，β为所述大气衰减系数，e‑β·d(x) 为所述场景的透射图，n为传感器噪声项。 [0039] 可选地，在本申请的一个实施例中，所述雾气RAW图像的高斯分布的公式为： [0040] 2 q～N(μ＝m,σ＝λ +λ m)， read shot [0041] 其中，λ 和λ 分别为所述传感器的模拟增益g 和数字增益g 决定的参数，m为 read shot a d 无噪图像像素强度。 [0042] 本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存 储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述 实施例所述的基于逆ISP的RAW域雾气数据仿线] 本申请第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质 存储计算机程序，该程序被处理器执行时实现如上的基于逆ISP的RAW域雾气数据仿线] 本申请实施例可以输入场景的RGB数据及深度图，输出雾气RAW数据或雾气RGB数 据，考虑到成像过程中传感器接收的辐照度对传感器噪声的影响，因而与实际拍摄雾气场 景的成像过程更接近，并且可以根据数据的后续应用选择输出雾气RAW图像或者雾气RGB图 像，为后续的应用提供了更多的数据选择。由此，解决了相关技术中，由于光照变化、物体运 动等因素，实际拍摄同一场景的清晰和雾气数据对几乎难以实现，并且直接在RGB数据上进 行雾气合成的方法与真实的雾气场景成像过程不符，未考虑到传感器噪声随其表面接收辐 照度的变化及图像处理过程中对传感器信号的非线性变换，无法模拟雾气成像过程中噪声 影响等问题。 [0045] 本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变 得明显，或通过本申请的实践了解到。 附图说明 [0046] 本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得 明显和容易理解，其中： [0047] 图1为相关技术中的Koschmieder大气退化模型示意图； [0048] 图2为根据本申请实施例提供的一种基于逆ISP的RAW域雾气数据仿线为根据本申请一个实施例的基于逆ISP的RAW域雾气数据仿真方法的逆ISP流 程图； [0050] 图4为根据本申请一个实施例的基于逆ISP的RAW域雾气数据仿真方法的基于逆 ISP雾气仿线为根据本申请一个实施例的基于逆ISP的RAW域雾气数据仿真方法的噪声分布 超参数的采样过程示意图； [0052] 图6为根据本申请一个实施例的基于逆ISP的RAW域雾气数据仿线页 仿真的可视化RAW结果示意图； [0053] 图7为根据本申请实施例提供的一种基于逆ISP的RAW域雾气数据仿真装置的结构 示意图； [0054] 图8为根据本申请实施例提供的电子设备的结构示意图。 具体实施方式 [0055] 下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终 相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附 图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。 [0056] 下面参考附图描述本申请实施例的基于逆ISP的RAW域雾气数据仿真方法。针对上 述背景技术中提到的相关技术中，由于光照变化、物体运动等因素，实际拍摄同一场景的清 晰和雾气数据对几乎难以实现，并且直接在RGB数据上进行雾气合成的方法与真实的雾气 场景成像过程不符，没有考虑到传感器噪声随其表面接收辐照度的变化及图像处理过程中 对传感器信号的非线性变换，难以真实模拟雾气场景的成像结果的问题，本申请提供了一 种基于逆ISP的RAW域雾气数据仿真方法，在该方法中，可以输入场景的RGB数据及深度图， 输出雾气RAW数据或雾气RGB数据，考虑到成像过程中传感器接收的辐照度对传感器噪声的 影响，因而与实际拍摄雾气场景的成像过程更接近，并且可以根据数据的后续应用选择输 出雾气RAW图像或者雾气RGB图像，为后续的应用提供了更多的数据选择。由此，解决了相关 技术中，由于光照变化、物体运动等因素，实际拍摄同一场景的清晰和雾气数据对几乎难以 实现，并且直接在RGB数据上进行雾气合成的方法与真实的雾气场景成像过程不符，没有考 虑到传感器噪声随其表面接收辐照度的变化及图像处理过程中对传感器信号的非线性变 换，难以真实模拟雾气场景的成像结果等问题。 [0057] 具体而言，图2为本申请实施例所提供的一种基于逆ISP的RAW域雾气数据仿真方 法的流程示意图。 [0058] 如图2所示，该基于逆ISP的RAW域雾气数据仿真方法包括以下步骤： [0059] 在步骤S201中，输入RGB图像，经过逆ISP过程得到对应的RAW图像。 [0060] 可以理解的是，本申请实施例输入的RGB图像为无雾下场景的RGB图像，输入数据 可以由RGBD相机获取，使用开源的NYU2数据集。本申请实施例可以假定原始RGB图像尺寸为 h×w×3，经过逆ISP后得到的RAW图像尺寸为h×w×1，像素按拜尔阵的格式排列。为了将各 颜色通道分开，本申请实施例可以对RAW图像进行颜色通道的提取，表示为通道序为RGGB、 大小为 的四通道图像。 [0061] 在实际执行过程中，本申请实施例可以输入一张RGB图像，依次经过逆色调映射、 逆Gamma变换、sRGB到Device RGB颜色空间转换、逆白平衡、逆数字增益过程的逆ISP(Image Signal Processor，图像信号处理)过程，从而得到传感器输出的对应的RAW图像，如图3所 示，进而考虑到成像过程中传感器接收的辐照度对传感器噪声的影响，保证与实际拍摄雾 气场景的成像过程更接近，并且可以根据数据的后续应用选择输出雾气RAW图像或者雾气 RGB图像，为后续的应用提供了更多的数据选择。 [0062] 需要说明的是，通常，相机传感器的颜色滤波片和sRGB颜色空间所需的光谱是不 7 7 CN 116912127 A 说明书 5/10页 匹配的，因此相机会使用颜色矫正矩阵将相机空间的RGB颜色测量值转换到标准sRGB值。因 此，在逆ISP过程中就需要使用颜色矫正矩阵的逆矩阵实现从sRGB颜色空间转换到相机的 RGB空间。 [0063] 将Device RGB颜色空间的图像再经过逆白平衡、逆数字增益过程可以得到最终的 传感器输出的RAW图像。假设白平衡参数为[g ,1.0,g ]，对应逆白平衡参数即为[1/ red blue g ,1.0,1/g ]。类似的，假设数字增益参数为g ，对应逆数字增益参数即为1/g 。 red blue rgb rgb [0064] 可选地，在本申请的一个实施例中，逆ISP过程的色调映射和逆色调映射的公式 为： [0065] 2 3 T(x)＝3x ‑2x ， [0066] [0067] 其中，x为进行色调映射前的图像像素值，y为进行逆色调映射前的图像像素值； [0068] 逆ISP过程的Gamma变换和逆Gamma变换的公式为： [0069] ‑8 1/2.2 Γ(x)＝max(x,∈＝10 ) ， [0070] ‑1 ‑8 2.2 Γ (y)＝max(y,∈＝10 ) ， [0071] 其中，x为进行Gamma变换前的图像像素值，y为进行逆Gamma变化前的图像像素值。 [0072] 具体而言，本申请实施例可以假设色调映射是通过平滑曲线来完成的，如下式所 示： [0073] 2 3 T(x)＝3x ‑2x ， [0074] 色调映射的逆过程可以取原曲线的反曲线来实现，如下式所示： [0075] [0076] 本申请实施例可以采用标准Gamma变换曲线 Γ(x)＝max(x,∈＝10 ) ， [0078] 逆Gamma变换可以表示为： [0079] ‑1 ‑8 2.2 Γ (y)＝max(y,∈＝10 ) 。 [0080] 本申请实施例可以通过逆ISP过程的色调映射公式、逆色调映射公式、Gamma变换 公式和逆Gamma变换公式，提高获取RAW图像的精准度。 [0081] 在步骤S102中，基于RAW图像和深度图，通过预设大气退化模型在RAW图像上进行 加雾，以进行目标物和大气散射光的线性响应，得到线] 在实际执行过程中，通过逆ISP过程，得到RGB图像对应的RAW图像后，本申请实施 例可以基于RAW图像和深度图，通过预设大气退化模型在RAW图像上进行加雾，通过加雾公 式进行目标物和大气散射光的线性响应，得到线性响应结果，从而有利于输出雾气RAW图 像，为后续的应用提供了更多的数据选择。 [0083] 可选地，在本申请的一个实施例中，进行目标物和大气散射光的线性响应的计算 公式为： [0084] I(x)＝J(x)e‑β·d(x)+A[1‑e‑β·d(x)]， [0085] 其中，x为图像中像素点的位置，J(x)为清晰图像中像素点x处的像素值，d(x)为深 度图中像素点x处的深度值，A为大气光，β为大气衰减系数，e‑β·d(x)为场景的透射图。 [0086] 可以理解的是，本申请实施例输入的深度图可以结合衰减系数β得到对应的透射 8 8 CN 116912127 A 说明书 6/10页 图。 [0087] 作为一种可能实现的方式，本申请实施例可以假定原有RGB图像是使用高质量拍 摄设备拍摄获取进而是近似无噪的，因此经过逆ISP过程后的图像也是近似无噪的。使用如 下所示的大气退化模型在清晰RAW图上加雾，如图4所示。下述公式表示的是传感器对于场 景中目标物以及大气散射光的线性响应，式中e‑β·d(x)被称为场景的透射图。 [0088] I(x)＝J(x)e‑β·d(x)+A[1‑e‑β·d(x)]， [0089] 其中，可以通过改变大气衰减系数β的取值来获取不同雾气浓度的雾气图像，β的 取值与能见度的关系为visibility＝2.996/β，因此由雾气天气下能见度小于1000米的规 ‑3 ‑1 定设置大气衰减系数的范围为大于2.996×10 m 。 [0090] 在步骤S203中，基于线性响应结果，加入传感器噪声后得到RAW域的雾气仿真模 型，并通过统一散粒噪声和读出噪声得到高斯分布，以进行噪声合成，得到雾气RAW图像。 [0091] 在实际执行过程中，本申请实施例可以在传感器对于场景中目标物和大气散射光 的线性响应的基础上，加入传感器噪声后得到RAW域的雾气仿真模型，并通过统一散粒噪声 和读出噪声得到高斯分布，以进行噪声合成，得到雾气RAW图像，从而可以根据数据的后续 应用选择输出雾气RAW图像。 [0092] 可选地，在本申请的一个实施例中，RAW域的雾气仿真模型的计算公式为： [0093] I(x)＝J(x)e‑β·d(x)+A[1‑e‑β·d(x)]+n， [0094] 其中，x为图像中像素点的位置，J(x)为清晰图像中像素点x处的像素值，d(x)为深 度图中像素点x处的深度值，A为大气光，β为大气衰减系数，e‑β·d(x)为场景的透射图，n为传 感器噪声项。 [0095] 在实际执行过程中，本申请实施例可以通过计算公式： [0096] I(x)＝J(x)e‑β·d(x)+A[1‑e‑β·d(x)]+n， [0097] 提高RAW域的雾气仿真模型计算的准确性，保证可以真实模拟雾气场景的成像结 果。 [0098] 由于本申请假定场景为白天光照充足的场景，因此相机噪声可以只考虑散粒噪声 和读出噪声两部分，其中散粒噪声服从泊松分布，读出噪声服从高斯分布，可以近似将散粒 噪声和读出噪声统一用一个单异方差的高斯分布来估计。 [0099] 可选地，在本申请的一个实施例中，雾气RAW图像的高斯分布的公式为： [0100] 2 q～N(μ＝m,σ＝ + m)， read shot [0101] 其中，λ 和λ 分别为传感器的模拟增益g 和数字增益g 决定的参数，m为无噪 read shot a d 图像像素强度。 [0102] 在实际执行过程中，本申请实施例中实际观测的加噪像素强度q和无噪图像像素 强度m之间的关系可以用如下所示的高斯分布来描述，其中参数λ 和λ 由传感器的模拟 read shot 增益g 和数字增益g 所决定，对于固定的传感器读出方差 有 和 a d [0103] λ ＝g 。 shot d a [0104] 2 q～N(μ＝m,σ＝ + m)， read shot [0105] 本申请实施例中，为了仿真真实相机中λ 和λ 的分布情况，可以采用 read shot Darmstadt Noise Dataset数据集中λ 和λ 的分布，如图5所示。 read shot [0106] 在步骤S204中，将雾气RAW图像进行ISP处理，以得到线] 作为一种可能实现的方式，本申请实施例可以将雾气RAW图像进行ISP处理，得到 考虑传感器噪声影响的真实雾气RGB图像，如图6所示，从而真实模拟雾气场景的成像结果， 为后续的应用提供了更多的数据选择。 [0108] 根据本申请实施例提出的基于逆ISP的RAW域雾气数据仿真方法，可以输入场景的 RGB数据及深度图，输出雾气RAW数据或雾气RGB数据，考虑到成像过程中传感器接收的辐照 度对传感器噪声的影响，因而与实际拍摄雾气场景的成像过程更接近，并且可以根据数据 的后续应用选择输出雾气RAW图像或者雾气RGB图像，为后续的应用提供了更多的数据选 择。由此，解决了相关技术中，由于光照变化、物体运动等因素，实际拍摄同一场景的清晰和 雾气数据对几乎难以实现，并且直接在RGB数据上进行雾气合成的方法与真实的雾气场景 成像过程不符，未考虑到传感器噪声随其表面接收辐照度的变化及图像处理过程中对传感 器信号的非线性变换，难以真实模拟雾气场景的成像结果的问题。 [0109] 其次参照附图描述根据本申请实施例提出的基于逆ISP的RAW域雾气数据仿线是本申请实施例的基于逆ISP的RAW域雾气数据仿真装置的结构示意图。 [0111] 如图7所示，该基于逆ISP的RAW域雾气数据仿线、仿线，用于输入RGB图像，经过逆ISP过程得到对应的RAW图像。 [0113] 获取模块200，用于基于RAW图像和深度图，通过预设大气退化模型在RAW图像上进 行加雾，以进行目标物和大气散射光的线性响应，得到线] 仿线，用于基于线性响应结果，加入传感器噪声后得到RAW域的雾气仿真 模型，并通过统一散粒噪声和读出噪声得到高斯分布，以进行噪声合成，得到雾气RAW图像。 [0115] 处理模块400，用于将雾气RAW图像进行ISP处理，以得到真实雾气RGB图像。 [0116] 可选地，在本申请的一个实施例中，逆ISP过程的色调映射和逆色调映射的公式 为： [0117] 2 3 T(x)＝3x ‑2x ， [0118] [0119] 其中，x为进行色调映射前的图像像素值，y为进行逆色调映射前的图像像素值； [0120] 逆ISP过程的Gamma变换和逆Gamma变换的公式为： [0121] ‑8 1/2.2 Γ(x)＝max(x,∈＝10 ) ， [0122] ‑1 ‑8 2.2 Γ (y)＝max(y,∈＝10 ) ， [0123] 其中，x为进行Gamma变换前的图像像素值，y为进行逆Gamma变化前的图像像素值。 [0124] 可选地，在本申请的一个实施例中，进行目标物和大气散射光的线性响应的计算 公式为： [0125] I(x)＝J(x)e‑β·d(x)+A[1‑e‑β·d(x)]， [0126] 其中，x为图像中像素点的位置，J(x)为清晰图像中像素点x处的像素值，d(x)为深 度图中像素点x处的深度值，A为大气光，β为大气衰减系数，e‑β·d(x)为场景的透射图。 [0127] 可选地，在本申请的一个实施例中，RAW域的雾气仿真模型的计算公式为： [0128] I(x)＝(x)e‑β·d(x)+A[1‑e‑β·d(x)]+n， 10 10 CN 116912127 A 说明书 8/10页 [0129] 其中，x为图像中像素点的位置，J(x)为清晰图像中像素点x处的像素值，d(x)为深 度图中像素点x处的深度值，A为大气光，β为大气衰减系数，e‑β·d(x)为场景的透射图，n为传 感器噪声项。 [0130] 可选地，在本申请的一个实施例中，雾气RAW图像的高斯分布的公式为： [0131] 2 q～N(μ＝m,σ＝λ +λ m)， read shot [0132] 其中，λ 和λ 分别为传感器的模拟增益g 和数字增益g 决定的参数，m为无噪 read shot a d 图像像素强度。 [0133] 需要说明的是，前述对基于逆ISP的RAW域雾气数据仿真方法实施例的解释说明也 适用于该实施例的基于逆ISP的RAW域雾气数据仿真装置，此处不再赘述。 [0134] 根据本申请实施例提出的基于逆ISP的RAW域雾气数据仿真装置，可以输入场景的 RGB数据及深度图，输出雾气RAW数据或雾气RGB数据，考虑到成像过程中传感器接收的辐照 度对传感器噪声的影响，因而与实际拍摄雾气场景的成像过程更接近，并且可以根据数据 的后续应用选择输出雾气RAW图像或者雾气RGB图像，为后续的应用提供了更多的数据选 择。由此，解决了相关技术中，由于光照变化、物体运动等因素，实际拍摄同一场景的清晰和 雾气数据对几乎难以实现，并且直接在RGB数据上进行雾气合成的方法与真实的雾气场景 成像过程不符，没有考虑到传感器噪声随其表面接收辐照度的变化及图像处理过程中对传 感器信号的非线性变换，难以真实模拟雾气场景的成像结果的问题。 [0135] 图8为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括： [0136] 存储器801、处理器802及存储在存储器801上并可在处理器802上运行的计算机程 序。 [0137] 处理器802执行程序时实现上述实施例中提供的基于逆ISP的RAW域雾气数据仿线] 进一步地，电子设备还包括： [0139] 通信接口803，用于存储器801和处理器802之间的通信。 [0140] 存储器801，用于存放可在处理器802上运行的计算机程序。 [0141] 存储器801可能包含高速RAM存储器，也可能还包括非易失性存储器(non‑ volatile memory)，例如至少一个磁盘存储器。 [0142] 如果存储器801、处理器802和通信接口803独立实现，则通信接口803、存储器801 和处理器802可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构 (Industry Standard Architecture，简称为ISA)总线、外部设备互连(Peripheral Component，简称为PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线] 可选地，在具体实现上，如果存储器801、处理器802及通信接口803，集成在一块芯 片上实现，则存储器801、处理器802及通信接口803可以通过内部接口完成相互间的通信。 [0144] 处理器802可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者 是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配 置成实施本申请实施例的一个或多个集成电路。 [0145] 本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序 11 11 CN 116912127 A 说明书 9/10页 被处理器执行时实现如上的基于逆ISP的RAW域雾气数据仿线] 在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示 例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特 点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不 必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任 一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技 术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结 合和组合。 [0147] 此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性 或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者 隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个 等，除非另有明确具体的限定。 [0148] 流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括 一个或N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分， 并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序， 包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的 实施例所属技术领域的技术人员所理解。 [0149] 在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用 于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供 指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执 行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设 备而使用。就本说明书而言，计算机可读介质可以是任何可以包含、存储、通信、传播或传 输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装 置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或N个布线的电连 接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)， 可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器 (CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介 质，因为可以通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适 方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。 [0150] 应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述 实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件 或固件来实现。如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术 中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散 逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程 门阵列(FPGA)等。 [0151] 本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步 骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介 质中，该程序在执行时，包括方法实施例的步骤之一或其组合。 [0152] 此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以 12 12 CN 116912127 A 说明书 10/10页 是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模 块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如 果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机 可读取存储介质中。 [0153] 上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描 述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限 制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变 型。 13 13 CN 116912127 A 说明书附图 1/3页 图1 图2 图3 14 14 CN 116912127 A 说明书附图 2/3页 图4 图5 图6 15 15 CN 116912127 A 说明书附图 3/3页 图7 图8 16 16
2、成为VIP后，本文档将扣除1次权益。后，不支持退款、换文档。如有疑问加。
3、成为VIP后，您将拥有八大权益，权益包括：VIP文档权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
4、VIP文档为合作方或网友上传，每1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
《T/ZQIE 006-2023金利五金高品质家居用缓冲型杯状暗铰链》.
T/ZQIE 006-2023金利五金高品质家居用缓冲型杯状暗铰链.
《DB32/T 3976-2021液化气体自动灌装衡器通用技术规范》.
DB32/T 3976-2021液化气体自动灌装衡器通用技术规范.
《CQJ/T E02-2021重庆市高速公路施工标准化指南》.
T/ZSCQO 001.1-2023首席质量官第1部分：推行组织质量管理体系要求.
《T/ZSCQO 001.1-2023首席质量官第1部分：推行组织质量管理体系要求》.
（高清版）DB51∕T 3137-2023 柑橘园间作豆类栽培技术规程.
【高考物理】【物理二轮】【紧抓课本】【回归教程】2025高考物理回归课本与教程---以图说法---图说物理教材（紧抓课本）.
原创力文档创建于2008年，本站为文档C2C交易模式，即用户上传的文档直接分享给其他用户（可、阅读），本站只是中间服务平台，本站所有文档所得的收益归上传人所有。原创力文档是网络服务平台方，若您的权利被侵害，请发链接和相关诉求至 电线) ，上传者