论文：Limitations of Data-Driven Spectral Reconstruction An Optics-Aware Analysis 这篇文章是 2025 年的一篇文章，其中的作者之一是阿普杜拉国王大学的 Wolfgang 老师，主要探讨数据驱动下的多光谱重建的局限性。以光学感知视角系统剖析了从 RGB 图像进行数据驱动的光谱重建（RGB2HS） 方法的核心局限性，通过三组…
论文：Limitations of Data-Driven Spectral Reconstruction An Optics-Aware Analysis
这篇文章是 2025 年的一篇文章，其中的作者之一是阿普杜拉国王大学的 Wolfgang 老师，主要探讨数据驱动下的多光谱重建的局限性。以光学感知视角系统剖析了从 RGB 图像进行数据驱动的光谱重建（RGB2HS） 方法的核心局限性，通过三组针对性实验揭示了该领域数值表现优异但实际性能拉胯的根本原因，并提出了结合光学编码与同色异谱增强的改进思路，为快照高光谱成像的未来发展指明了方向。
高光谱成像通过记录物质的光谱特征，赋予机器视觉系统独特的材料识别能力。近年来，数据驱动的光谱重建研究致力于利用成本效益高的 RGB 相机捕获的图像提取光谱信息，而非依赖专用硬件。已发表的相关研究报告显示，该重建任务的数值评分极高，但实际场景性能却显著落后。
本文通过三组针对性实验，系统分析了此类方法的性能表现：首先，通过减少训练数据量、用未见过但经轻微修改的数据验证训练模型以及跨数据集验证，评估了现有数据集相关的实际过拟合局限性；其次，揭示了 RGB 到光谱重建方法在处理同色异谱或近同色异谱场景时的根本性局限——由于现有数据集的不足，这一问题此前在很大程度上未被关注。我们通过同色异谱黑体理论生成同色异谱数据来验证训练模型，并利用多种形式的同色异谱数据重新训练网络，实现了这一发现。该方法还可用于数据增强，以部分缓解数据集存在的问题，尽管 RGB 到光谱的逆问题本质上仍为不适定问题；最后，我们分析了通过利用偶然光学像差或刻意光学设计提供的某种光学编码来修改问题设定，从而实现更好性能的潜力。实验表明，此类方法在特定情况下确实能带来性能提升，但整体表现仍受限于与纯 RGB 到光谱场景相同的数据集问题。因此，我们得出结论：快照高光谱成像的未来进展将在很大程度上依赖于高质量数据集的构建，进而利用这些数据集设计有效的光学编码策略。相关代码可在 https://github.com/vccimaging/OpticsAwareHSI-Analysis 获取。
关键词：高光谱成像；基于 RGB 的光谱重建；同色异谱现象；过拟合；像差
该章节围绕高光谱成像及光谱重建相关研究方向，系统梳理了四大核心领域的现有成果，明确了本文研究与现有工作的关联及差异，为后续分析奠定基础：
传统高光谱相机依赖滤光轮、机械扫描等硬件获取三维高光谱数据立方体，硬件复杂度高。为实现快照式采集，学界提出两类核心方案：
作为硬件简化的极致方向，该领域借助深度学习从低成本 RGB 图像重建光谱数据，已催生三次 NTIRE 挑战赛及多种网络架构，本文重点评估了 17 种开源模型，核心进展包括：
早期 CNN 架构：以 HSCNN + 为代表，采用密集残差块和密集连接结构，是该领域首批成功应用 CNN 的模型；
超分辨率网络迁移：如 EDSR，通过简化传统残差网络模块，从单图超分任务扩展至光谱重建；
多尺度 / 多阶段网络：如 MIRNet、MPRNet，分别通过多尺度残差块学习上下文信息、多阶段逐步优化，提升重建效果；
Transformer 及混合架构：如 MST/MST++ 采用光谱 - wise 多头自注意力机制，HySAT 结合光谱相似性与特异性建模，HRPN 融入多源先验（含 RGB 语义先验），GMSR 基于 Mamba 架构设计轻量模型；
双域 / 模型引导网络：如 HDNet 结合空间 - 光谱注意力与频域学习，SSRNet 利用图像形成模型和传感器光谱响应函数引导训练。
该方向因 RGB 相机的普及性成为研究热点，但现有方法的泛化性与核心局限是本文重点关注对象。
此类方法通过融合低空间分辨率 - 高光谱分辨率图像与高空间分辨率 - 低光谱分辨率图像，获取高时空谱分辨率结果，需双输入数据。近年深度学习成为主流，CNN 与 Transformer 是常用骨干网络，评估数据多为高光谱数据集及遥感图像。与本文聚焦的 '单 RGB 输入光谱重建' 不同，该方向数据输入特性与核心问题存在差异，且数据集局限带来的影响相对不突出。
深度学习模型易受数据偏差和过拟合影响，导致泛化能力不足。检测过拟合的有效手段包括生成对抗样本，而数据增强是缓解数据量不足与过拟合的关键技术。现有图像增强多集中于几何变换和亮度调整，在高光谱领域仅针对空间维度优化，未充分考虑光谱维度的物理特性。
同色异谱指不同光谱在三色视觉系统（人眼或 RGB 相机）中呈现相同颜色，是光谱成像的核心挑战之一，已在色彩科学、光谱渲染、高光谱成像等领域被研究。但在数据驱动光谱重建中，因同色异谱现象在日常环境中罕见，现有数据集缺乏足够样本，导致其影响被忽视。
现有相关工作多通过间接方式建模，如选择最优相机响应函数、利用多种标准光源增强数据集、在双光照条件下恢复光谱等；而本文创新点在于采用同色异谱黑理论直接生成同色异谱数据，更高效地弥补现有数据集的样本缺失问题。
我们将高光谱图像表示为矩阵 X∈RMN×KX \in \mathbb{R}^{MN \times K}X∈RMN×K，其中 M、NM、NM、N 为像素数量，KKK 为光谱波段数。需说明的是，此处建模的是光谱辐射亮度（含照明光谱），而非光谱反射率。我们将二维空间维度堆叠为矩阵 XXX 的行向量。相机的光谱响应函数（SRF）可表示为矩阵 Q∈RK×3Q \in \mathbb{R}^{K \times 3}Q∈RK×3，因此光谱到颜色的投影过程可得到彩色图像：
Y=XQ(1) Y = XQ \tag{1}Y=XQ(1)
其中 $ Y \in \mathbb{R}^{MN \times 3}$。这一模型与2022年NTIRE挑战赛中采用的颜色形成模型一致，其逆问题是从 YYY 中恢复高光谱图像 XXX。在以往的NTIRE挑战赛中，图像模拟流程未纳入光学像差的影响。然而，RGB相机的光学系统不可避免地会给光谱图像带来随波长变化的模糊效应，这一效应可通过点扩散函数（PSF）建模。该光学过程可描述为：在每个光谱波段执行线性矩阵-向量乘积运算，再对光谱维度求和。经过光学系统后的光谱图像为 W=diag(AX)W = \text{diag}(AX)W=diag(AX)，其中 A∈RKMN×MNA \in \mathbb{R}^{KMN \times MN}A∈RKMN×MN 是垂直堆叠光谱PSF矩阵形成的块矩阵，diag(⋅)\text{diag}(·)diag(⋅) 用于提取对角块。最终的RGB图像可表示为：
Z=diag(AX)Q(2) Z = \text{diag}(AX)Q \tag{2} Z=diag(AX)Q(2)
其中 Z∈RMN×3Z \in \mathbb{R}^{MN \times 3}Z∈RMN×3。纳入光学图像形成模型后，逆问题转化为从 ZZZ 中恢复 XXX。显然，矩阵 AAA 所包含的光学特性会将光谱信息扩散到RGB通道中，为光谱重建提供辅助信道信息。完整推导过程详见附录。图 2 展示了本文分析中采用的两种光谱图像形成模型。上方：在NTIRE光谱恢复挑战赛中，RGB图像被视为高维高光谱数据立方体向三维彩色图像的线性投影。同色异谱现象的存在导致不同光谱对应相同的RGB图像，基于该模型训练的神经网络无法区分这些光谱；下方：一种可能的缓解方案是在图像形成模型中纳入透镜的光学像差，光谱信息被编码到含像差的RGB图像中，使神经网络能够区分同色异谱。两种情况下，右侧均展示了RGB图像的差异（为便于观察已增强强度）。
与规模庞大的彩色（RGB）图像数据集（如ImageNet、DIV2K）相比，高光谱数据集的规模小得多——这主要受限于高质量高光谱相机的可获得性，以及在实验室外采集动态目标场景的难度。目前最大的数据集是2022年NTIRE挑战赛使用的ARAD1K。此外，为扩展实验范围，我们还纳入了CAVE、ICVL和KAUST数据集，这些数据集的光谱范围一致（400 nm至700 nm），具体信息汇总于表1。尽管存在哈佛、KAIST、东京工业大学等其他数据集，但它们的光谱波段范围略有不同（420 nm至720 nm），难以直接进行跨数据集的结果对比与验证，因此本研究的分析仅限于表1所列数据集。
表1 四种现有高光谱数据集的基本信息
| 数据集 | 光谱范围（nm） | 分辨率（x, y, λ） | 样本数量 | 采集设备 | 场景类型 |
|---|---|---|---|---|---|
| CAVE [96] | 400:10:700 | 512 × 512 × 31 | 32 | 单色传感器 + 可调谐滤光片 | 实验室设置 |
| ICVL [4] | 400:10:700 | 1392 × 1300 × 31 | 201 | 高光谱相机（Specim PS Kappa DX4） | 户外 |
| KAUST [53] | 400:10:700 | 512 × 512 × 31 | 409 | 高光谱相机（Specim IQ） | 户外 |
| ARAD1K [7] | 400:10:700 | 482 × 512 × 31 | 1000 | 高光谱相机（Specim IQ） | 户外 |
数据采集的难度不仅影响数据集的规模，还制约了其多样性。特别是同色异谱这类在日常环境中相对罕见，但对高光谱成像诸多实际应用至关重要的现象，在现有数据集中的代表性严重不足。尽管CAVE数据集包含部分真实与伪造物体的配对样本（如图1所示）以体现同色异谱现象，但此类数据的总量仍极少。第四章将分析数据多样性的普遍问题，第五章将具体探讨同色异谱现象的影响。
由于现有数据集中缺乏足够的同色异谱样本，其在光谱重建中的影响在以往研究中未被关注。一方面，我们需要通过对抗样本来揭示这一未被探索的问题；另一方面，我们也希望探究同色异谱数据如何补充现有数据集。因此，我们在实验中提出了一种新的数据增强形式——同色异谱增强：以现有光谱图像为基础，生成新的、光谱不同但在特定RGB光谱响应函数下映射到相同RGB图像的光谱图像。第五章中，我们首先将同色异谱增强作为对抗样本，揭示同色异谱现象对性能差异的潜在影响；第六章将展示，结合像差感知训练策略，同色异谱增强有助于缓解上述问题。
数据增强已被证实能有效缓解深度学习中的数据短缺问题。彩色图像增强技术主要集中于几何变换和亮度调整，尽管这些技术已应用于以往的高光谱重建方法，但仅能对高光谱图像的空间维度进行增强。据我们所知，尚未有研究在光谱重建问题中采用超越RGB颜色、基于同色异谱物理现象的同色异谱增强方法。该方法可大幅丰富现有数据集的光谱内容，从而缓解数据多样性不足的问题。
有趣的是，在色彩科学和光谱渲染领域，已有研究通过多种方法从现有光谱生成同色异谱，以实现场景的精准建模，例如同色异谱黑理论和光谱升采样技术。本研究中，为支持分析，我们采用同色异谱黑理论生成同色异谱样本，同时需说明的是，其他同色异谱生成方法也可实现相同目的。光谱 SSS 可投影到两个正交子空间：一个对应基同色异谱 S∗S^*S∗，另一个对应同色异谱黑 BBB，即原始光谱可分解为 S=S∗+BS = S^* + BS=S∗+B。基同色异谱是公式（1）的一个特解，而同色异谱黑始终产生零三刺激值（即不影响颜色外观）。所有可能的同色异谱构成同色异谱集合。维塞基（Wyszecki）首次提出了计算同色异谱黑的分解技术，通过向基同色异谱添加同色异谱黑的线性组合，可生成新的同色异谱。从线性代数角度看，同色异谱黑位于相机光谱响应函数的零空间（或核空间），根据标量乘法性质，零空间中向量的任意标量倍数仍属于该零空间。受同色异谱黑理论及其数学性质的启发，我们提出了一种简单有效的同色异谱生成方法：通过缩放同色异谱黑分量，得到新的同色异谱 S′S'S′：
S′=S∗+αB(3) S' = S^* + \alpha B \tag{3} S′=S∗+αB(3)
其中 S∗=Q(QTQ)−1QTSS^* = Q(Q^TQ)^{-1}Q^TSS∗=Q(QTQ)−1QTS，B=S−S∗B = S - S^*B=S−S∗。由于添加同色异谱黑不会改变 RGB 颜色，因此可通过调整系数 α\alphaα 生成不同的同色异谱。为避免出现负光谱辐射亮度，我们对生成光谱中的负值进行裁剪，并重新计算受影响像素的RGB颜色。
设高光谱图像为 Xk,i,jX_{k,i,j}Xk,i,j，其估计值为 X^k,i,j\hat{X}_{k,i,j}X^k,i,j（其中 kkk 为光谱索引，i,ji,ji,j 为空间索引），重建质量可通过多种指标评估。2022年NTIRE光谱重建挑战赛采用了两种数值指标：平均相对绝对误差（MRAE）和均方根误差（RMSE），公式分别如下：
MRAE=1KMN∑k,i,j∣X^k,i,j−Xk,i,j∣Xk,i,j(4)MRAE = \frac{1}{KMN} \sum_{k,i,j} \frac{|\hat{X}_{k,i,j} - X_{k,i,j}|}{X_{k,i,j}} \tag{4}MRAE=KMN1k,i,j∑Xk,i,j∣X^k,i,j−Xk,i,j∣(4)
RMSE=1KMN∑k,i,j(X^k,i,j−Xk,i,j)2(5)RMSE = \sqrt{\frac{1}{KMN} \sum_{k,i,j} (\hat{X}_{k,i,j} - X_{k,i,j})^2} \tag{5}RMSE=KMN1k,i,j∑(X^k,i,j−Xk,i,j)2(5)
光谱角映射（SAM）是高光谱成像中广泛使用的另一指标（尽管尚未在相关计算机视觉文献中普及）。与上述两种对单个光谱通道中的大幅误差包容性更强的指标相比，SAM更强调光谱精度：
SAM=1MN∑i,jcos−1(∑kX^k,i,jXk,i,j∑kX^k,i,j2∑kXk,i,j2)(6) SAM = \frac{1}{MN} \sum_{i,j} \cos^{-1}\left( \frac{\sum_{k} \hat{X}_{k,i,j}X_{k,i,j}}{\sqrt{\sum_{k} \hat{X}_{k,i,j}^2 \sum_{k} X_{k,i,j}^2}} \right) \tag{6}SAM=MN1i,j∑cos−1∑kX^k,i,j2∑kXk,i,j2∑kX^k,i,jXk,i,j(6)
最后，我们还会检查单个光谱通道的空间质量，并计算光谱平均峰值信噪比（PSNR），该指标可补充RMSE，反映不同光谱波段的性能差异：
PSNR=1K∑k20log10(MAXMSEk)(7)PSNR = \frac{1}{K} \sum_{k} 20\log_{10}\left( \frac{MAX}{\sqrt{MSE_k}} \right) \tag{7}PSNR=K1k∑20log10(MSEkMAX)(7)
其中 MAXMAXMAX 为数据的最大可能值，MSEkMSE_kMSEk 为第 kkk 个光谱波段的均方误差。
本研究的所有实验均在不同数据集和网络架构上开展。遵循最新冠军网络MST++提出的方法，我们采用了基于图像块的训练方式（图像块大小为128×128像素）。
数据驱动光谱重建方法存在非典型过拟合问题，其根源在于现有高光谱数据集的多样性严重不足，这种过拟合难以通过标准评估发现，通过三组针对性实验可明确验证：
该部分核心发现是：现有数据驱动的 RGB 到光谱重建方法存在同色异谱失效问题 —— 无法有效处理同色异谱或近同色异谱场景，其根源在于现有数据集缺乏足够的同色异谱样本，且仅靠 RGB 输入难以突破该本质性局限，通过两组核心实验可验证：
该部分核心发现是：光学像差并非有害，反而能为光谱重建提供辅助信息，结合同色异谱增强可有效缓解同色异谱失效问题；而刻意设计的光谱编码方案能进一步提升性能，但所有方法的上限仍受限于数据集的多样性缺陷，具体通过两组核心实验验证：
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online
将 HTML 片段转为 GitHub Flavored Markdown，支持标题、列表、链接、代码块与表格等；浏览器内处理，可链接预填。 在线工具，HTML转Markdown在线工具，online
通过删除不必要的空白来缩小和压缩JSON。 在线工具，JSON 压缩在线工具，online
