应用高光谱反射率成像来研究调色板和画家的技术

摘要

高光谱反射成像超立方体将显著信息纳入大量数据中。因此，要求使用自动化协议来管理和研究数据集是有充分理由的。光谱角度映射器、数据操作和用户可调分析方法的结合构成了探索实验结果的关键。

摘要

反射光谱（RS）和光纤反射光谱（FORS）是研究艺术品的成熟技术，特别关注绘画。大多数现代博物馆都为其研究小组提供便携式设备，这些设备与RS和FORS固有的非侵入性一起，使得从文物表面 原位 收集反射光谱成为可能。由颜料和绘画材料专家将实验数据与参考光谱数据库进行比较，推动了调色板和艺术家所用技术的表征。然而，这种方法需要特定的技能，而且非常耗时，特别是如果要研究的光谱数量变得很大，就像高光谱反射成像（HRI）数据集一样。HRI实验装置是多维相机，它将反射光谱给出的光谱信息与涂漆表面上光谱的空间定位相关联。生成的数据集是3D立方体（称为超立方体或数据立方体），其中前两个维度定位绘画上的光谱，第三个维度是光谱本身（即，涂漆表面的该点的反射率与探测器操作范围内的波长）。探测器能够同时收集大量光谱（通常每个超立方体超过10，000个），这使得HRI数据集成为大量信息库，并证明需要开发强大的，可能的自动化协议来分析数据。在描述了为数据采集而设计的程序之后，我们提出了一种系统地利用超立方体潜力的分析方法。基于光谱角度映射器（SAM）和对收集光谱的操纵，该算法处理和分析数千个光谱，同时支持用户揭示所研究样品的特征。这种方法的力量通过将其应用于 Quarto Stato来说明，这是Giuseppe Pellizza da Volpedo的标志性杰作，在米兰（意大利）的Museo del Novecento举行。

引言

反射光谱（RS）和光纤反射光谱（FORS）是基于检测光源（通常是卤钨灯）照亮的表面反射的光。采集系统的输出由光谱构成，其中反射率作为波长的函数在取决于所采用的实验设置特性的范围内进行监测^1，2，3。RS和FORS是在过去^四十年中引入的4^，5，通常与X射线荧光和其他光谱结合使用，以描述艺术家用于实现其杰作的材料和技术^{6，7，8，9}。反射光谱的研究通常是通过将样品中的数据与用户在个人或公共数据库中选择的一组参考光谱进行比较来进行的。一旦确定了符合样品实现周期和艺术家工作方式的参考光谱，用户就可以识别反射光谱的主要特征（即过渡，吸收和反射波段^1，2，^10，11），然后在其他技术的帮助下^6，7，8 他们区分绘画中使用的颜料。最后，他们讨论了参考文献和实验光谱之间存在的细微差异^7，9。

在大多数情况下，实验数据集由一些光谱组成，这些光谱是从艺术专家选择的区域收集的，并被认为对绘画的表征具有重要意义^6，12，13。尽管有用户的技能和经验，但一些光谱无法完全穷尽整个涂漆表面的特征。此外，分析结果将始终在很大程度上取决于表演者的专业知识。在这种情况下，高光谱反射成像（^{HRI3，14，15}）可能是一个有用的资源。实验装置返回的不是几个孤立的光谱，而是返回扩展部分甚至所研究的整个伪影的反射特性¹⁶。在获取分离光谱方面，两个主要优点是显而易见的。一方面，反射率属性的空间分布的可用性允许识别隐藏有趣特征的区域，即使它们可能看起来并不奇特¹⁷。另一方面，超立方体保证了足够高的光谱数量，以便对数据进行统计分析。这些事实支持了对颜料在涂漆表面内分布的理解^18，19。

使用HRI，实验数据与参考文献的比较可能难以处理¹⁵。典型的探测器返回至少 256 x 256 光谱的超立方体。这将要求用户针对每个参考评估超过65，000个反射光谱，这是一项几乎不可能在合理的时间内手动执行的任务。因此，对强大的、可能的、自动化的协议来管理和分析HRI数据集的要求是合理的^15，17。所提出的方法通过以最小的参与和最大的灵活性处理整个分析过程来满足这一需求。

由一组自制代码（材料表）组成的算法读取，管理和组织实验设置返回的文件。它允许对视场部分（FOV，一个视场是由单个超立方体监控的绘画区域）进行精细选择，并根据光谱角度映射器（SAM）方法^20，21 和原始光谱的操纵执行数据分析。SAM 返回称为相似性图的假彩色灰度图像。这些图的像素值对应于光谱角度，光谱角度是存储在超立方体中的光谱与所谓的终端成员（EM，一组应描述由超立方体监测的表面特征的参考光谱）之间的角度²²。在RS应用于绘画的情况下，EM是颜料的反射光谱，应与Master的调色板相匹配。它们是根据有关艺术家的可用信息，绘画的实现期以及用户的专业知识来选择的。因此，SAM的输出是一组地图，描述了这些颜料在绘画表面上的空间分布，并支持用户推断艺术家使用的材料及其在人工制品中的组织。该算法提供了独立于其来源使用各种引用的可能性。参考文献可以是在超立方体中选择的特定光谱，来自数据库，由不同表面上的不同仪器获取（例如颜料样品或艺术家的调色板），或者使用任何类型的反射光谱（包括FORS）获得。

SAM在可用的分类方法中是首选，因为它已被证明对表征颜料有效（请参阅^Richard23的书，以概述主要的可用分类方法）。相反，开发自制协议而不是采用^net24，25 上免费提供的众多工具之一的想法依赖于实际的考虑。尽管现有GUI和软件具有有效性和科学基础，但单个工具很难满足用户的所有需求。可能存在输入/输出 （I/O） 问题，因为工具不管理包含原始数据的文件。在数据分析方面可能存在问题，因为另一种工具没有提供所需的方法。在处理数据时可能存在限制，因为不支持同时分析多个数据集。无论如何，一个完美的工具并不存在。每种方法都必须根据数据进行调整，反之亦然。因此，开发自制协议是首选。

所提出的方法既没有提供一套完整的分析方法（参见Mobaraki和^Amigo24提出的工具），也没有提供易于管理的用户界面（参见Zhu和同事^{使用的软件25}），但作为交换，它侧重于高光谱数据分析的一个仍然被低估的方面:操纵检测到的光谱的机会。通过将这种方法应用于朱塞佩·佩里扎·达·沃尔佩多（Giuseppe Pellizza da Volpedo）的画作 《夸拓国家公报》（Quarto Stato ）（图1），这是一幅标志性的布面油画，在意大利米兰的Novecento博物馆展出。请注意，由于该方法需要运行自制代码，因此开发人员会任意选择代码的名称以及协议描述中使用的输入和输出变量。变量的名称可以由用户更改，但必须按如下方式提供:输入和输出变量必须分别写在括号内，最终用逗号分隔，在方括号内，最终用空格分隔。相反，代码的名称不能更改。

研究方案

1. 设置超立方体的空间分辨率

1. 在艺术专家的支持下，对涂漆表面（图1）进行初步检查，以确定涂装的主要特征。
   1. 认识艺术家创作绘画时采用的绘画技巧。
   2. 识别画布上颜料的不同笔触。
   3. 定性地估计画笔笔触的特征，并特别注意其大小。
2. 通过创建 临时 测试样本来模仿艺术家使用的图形技术，其中笔触显示与艺术家应用的特征相似的特征。
   注:佩利扎·达·沃尔佩多是一位分裂主义画家。要求恢复者准备一些测试样品，这些样品定性地再现了感兴趣的画布的笔触（图2，A列）。
3. 设置被调查表面与采集设备之间的距离。
   注意:距离决定了超立方体^{的空间分辨率26} ，因此可以区分绘画表面的图像和SAM图上的画笔描边。
   1. 评估样品表面与采集设备之间的距离，同时考虑高光谱相机²⁶ （材料表）的特性以及测试样品中绘制的画笔笔触的大小。
   2. 将采集级和高光谱相机放在上一步中评估的距离。将测试样品安排在载物台上，并确保样品表面的均匀照明。
   3. 使用高光谱相机随附的白色标准参考进行白色校准。获取超立方体。
      注:对于每个FOV，高光谱相机都会返回原始图像和校准图像。后者已用于分析。
   4. 下载仪器返回的文件，并将其保存在专用文件夹中。
4. 检查超立方体的空间分辨率是否能区分绘制表面的图像和SAM图上不同的笔触。
   1. 检查高光谱相机返回的RGB照片，以确保可以识别用于实现测试样品的笔触（图2，A列）。如果是这样，请转到后续步骤;否则，请返回步骤 1.3.1 并重新启动。
   2. 通过运行数据读取代码 ，列出包含高光谱数据和 FOV 的 RGB 图像的文件，HS_FileLister。在用于开发代码的语言（材料表）的终端窗口中键入以下命令行（包括分号），然后按 Enter 运行代码:
      [HS_DataList HS_ImageList] = HS_FileLister;
      1. 无需输入，有两个输出:包含超立方体 的文件列表HS_DataList，以及高光谱相机返回的图像列表 HS_ImageList。
         注意:每个超立方体的大小为 512 x 512 x 204 体素，其中 204 是用于监视反射信号的通道数。这些通道的波长范围在 400 到 1，000 nm 之间，^FWHM26 处的光谱分辨率为 7 nm。
   3. 定义必须通过运行裁剪代码来分析的超立方体的 3D 部分， HS_Crop_png。通过在显示每个超立方体监视的 FOV 的 2D RGB 图像的交互式窗口上选择一个区域来定义每个数据立方体的所需部分。在终端窗口中键入以下命令行（包括分号），然后按 Enter 运行代码:
      [HS_ImageList] = HS_Crop_png（HS_ImageList）;
      1. 有一个输入（高光谱相机返回的图像列表， HS_ImageList）和一个输出（使用空间坐标添加的输入列表，以最终裁剪超立方体）。
   4. 将CIE（国际照明委员会）标准的D65光源和1931年观察器应用于超立方体，通过运行重建代码 （HS_RGB_rebuild）从反射光谱中检索FOV的RGB图像。在终端窗口中键入以下命令行（包括分号），然后按 Enter 运行代码:
      [HS_ImageList] = HS_RGB_rebuild（HS_ImageList， HS_DataList）;
      1. 有两个输入（包含高光谱相机返回的图像的列表 ，HS_ImageList，以及包含超立方体 的文件列表，HS_DataList）和一个输出（包含高光谱相机返回的图像的输入列表，这些图像添加了从反射光谱中检索到的高立方体表面的RGB图像）。
         注: HS_RGB_Rebuild 利用 Jeff ^Mather27 开发的功能将 D65 光源和 CIE 的 1931 年观察器应用于数据。
   5. 通过运行隔离的测量点选择代码PointSel，手动选择测试样品表面上的一些参考光谱（图2中的白圈和数字，A列）。通过单击交互式窗口来选择测量点，该窗口逐个显示 FOV 的 2D RGB 图像。在终端窗口中键入以下命令行（包括分号），然后按 Enter 运行代码:
      [参考文献] = PointSel（HS_DataList， HS_ImageList）;
      1. 有两个输入（包含高光谱相机返回的图像的列表 ，HS_ImageList，以及包含超立方体 的文件列表，HS_DataList）和一个输出（变量， 参考，包含FOV中作为参考选择的光谱）。
   6. 如果需要，请通过运行专用代码 SaveImPoint 将示例表面上的引用位置存储到一组图片中。在终端窗口中键入以下命令行（包括分号），然后按 Enter 运行代码:
      SaveImPoint（References， HS_ImageList）;
      1. 有两个输入（包含参考光谱的变量、 参考值和包含高光谱相机返回的图像的列表 ，HS_ImageList）和无输出（代码在当前工作文件夹中保存.png图像）。
   7. 通过运行转换代码 RefListToMatrix 将引用组织到一个矩阵中。在终端窗口中键入以下命令行（包括分号），然后按 Enter 运行代码:
      [References_Matrix] = RefListToMatrix（References， HS_ImageList（1）。波浪）;
      1. 有两个输入（包含参考光谱的变量、 参考值和探测器在光谱数据采集期间计算光子的波长列表， HS_ImageList（1）。WaveL）和一个输出（将相同的参考光谱组织成一个矩阵， References_Matrix）。
         注意:此步骤是必需的，因为评估 SAM 映射的代码要求将参考光谱组织到矩阵中。第二个输入的语法 HS_ImageList（1）。WaveL 需要从列表中召回变量 WaveL HS_ImageList。括号内的数字1是指清单中第一个被命名为HS_ImageList的元素;但是，由于所有超立方体都具有相同的波长范围，因此可以用每个小于或等于所列图像总数的数字来替换它。
   8. 通过运行标准 SAM 映射评估代码 ，使用整个光谱提取 SAM 映射，SAM_Standard。在终端窗口中键入以下命令行（包括分号），然后按 Enter 运行代码:
      SAM_Standard（HS_ImageList、HS_DataList、References_Matrix）;
      1. 有三个输入（包含高光谱相机返回的图像的列表 ，HS_ImageList;包含超立方体 的文件列表，HS_DataList;和参考光谱的矩阵， References_Matrix）和没有输出:代码将SAM映射保存为当前工作文件夹中.png图像。
   9. 检查获得的相似性图（图2，B列-E）是否显示了用于实现测试样品的笔触的详细信息。如果是这种情况，请转到协议的下一步;否则，请返回步骤 1.3.1 并重新启动。

2.调整绘画的实验参数

1. 确定要研究的绘画的感兴趣区域（ROI）（ 图3A中的红色矩形）。
   注意:通常需要多个 FOV 才能覆盖单个 ROI。
2. 将采集设置和绘画安排在前面步骤中定义的距离，并使用高光谱相机随附的白色标准参考执行白色校准。
   注意:如果用户必须 进行原位 采集（即，他们必须研究在博物馆或展览中曝光的画作），他们只能管理相机。 这就是Quarto Stato的情况，它永久暴露在意大利米兰Novecento博物馆的专用空间中。
3. 从每个ROI边缘（ 图3A中红色矩形内的无阴影区域）的至少一个FOV获取高光谱数据。
4. 下载仪器返回的文件，并将其保存到专用文件夹中。
5. 通过观察高光谱相机返回的RGB图像，检查绘画表面的照明是否均匀设置。如果是这种情况，请转到后续步骤，否则返回步骤 2.2 并重新启动。
   注意: 图 4 说明了此检查的重要性（有关详细信息，请参阅" 讨论 "部分）。
6. 重复步骤 1.4 的子步骤。
7. 通过观察视场的RGB图片（图3B）和与视场内选择的参考光谱（图3B中的绿色圆圈）相关的SAM图（图3C），检查数据是否具有足够高的空间分辨率来区分笔触。
8. 如果照明和空间分辨率已正确设置，请完成数据采集，以获取覆盖ROI所需的其他FOV;否则，请返回步骤 2.2 并重新启动。
   注意:当 ROI 需要覆盖多个 FOV 时，请确保相邻 FOV 之间有一定程度的叠加，以便轻松拼接生成的地图^3，15。重叠的程度取决于高光谱相机与样品之间的距离、平移以及探测器的水平视角²⁸。在 Quarto Stato上进行的实验活动的情况下，重叠被设置为至少40%的FOV。

3. 超立方体和参考光谱管理

1. 执行原始数据的 I/O:组织、读取和管理超多维数据集。
   1. 运行 HS_FileLister 代码，将包含超立方体的文件列表和相关信息存储到两个变量中，以供算法使用（有关实际详细信息，请参阅步骤 1.4.2）。
      注意:高光谱相机返回代码利用 Jarek ^Tuszinsky29 开发的重新访问版本的脚本管理的 hdr（高动态范围）文件。
   2. 运行 HS_Crop_png 代码以选择要在数据分析中使用的每个FOV部分（有关实际细节，请参阅步骤1.4.3）。
   3. 运行 HS_RGB_Rebuild 代码以从反射率光谱中检索FOV的RGB图像（有关实际细节，请参阅步骤1.4.4）。
2. 组织、读取（如果需要）和管理参考光谱。
   注:参考光谱将在SAM方法中扮演终端杆件的作用^20,21.该算法的这一部分不是单声确定的，而是取决于选择模式和参考光谱的来源。
   1. 运行 PointSel 代码并在显示的交互式窗口中单击，以将参考光谱识别为监测区域表面上的孤立测量点（图5A）（有关实际细节，请参阅步骤1.4.5）。
   2. 通过运行网状选择代码 ReticularSel ，自动选择参考光谱作为叠加到监测区域表面的常规测量点网（图5B）。在终端窗口中键入以下命令行（包括分号），然后按 Enter 运行代码:
      [参考文献] = ReticularSel（HS_DataList， HS_ImageList， n_pixel）;
      1. 有三个输入（包含高光谱相机返回的图像的列表 ，HS_ImageList;包含超立方体 的文件列表，HS_DataList;以及网的间距 ，n_pixel，以像素数表示）和一个输出:一个变量，其中包含在FOV中作为参考选择的光谱， 参考。
   3. 运行外部引用导入程序代码 （Spectra_Importer）以创建一个变量，其中包含来自数据集和数据库的引用，这些引用独立于在 Quarto Stato 上获取的超立方体。在终端窗口中键入以下命令行（包括分号），然后按 Enter 运行代码:
      [外部链接] = Spectra_Importer（file_extension）;
      1. 有一个输入（包含独立参考光谱的文件的扩展名， file_extension，写在光点之间）和一个输出（包含外部参考的变量， ExtReferences）。
         注意:外部引用导入程序代码已针对导入 tmr 文件进行了优化，但如有必要，可以轻松修改它以处理任何类型的文本文件。
   4. 运行 RefListToMatrix 代码，按照评估 SAM 映射的代码的要求，将引用放入矩阵 中 ， References_Matrix或ExtReferences_Matrix（有关实际详细信息，请参阅步骤 1.4.7）。
   5. 等待 RefListToMatrix 代码均衡超立方体和引用的波长范围和光谱分辨率（即分量数）。
      注意:该代码标识超立方体和引用的波长范围。该代码比较波长范围，并切断超立方体和引用未监视的波长间隔。该代码标识由均衡波长范围内较低数量的分量（即，以较低的光谱分辨率为特征）组成的超矢量组（超立方体或参考）。该代码将较长的超向量（引用或超立方体）的组件数减少到较短的超向量（超立方体或引用）的分量数。这是通过为较短的超矢量的每个波长仅保留较长超矢量的值来完成的，这些超矢量的值对应于与较短超矢量的波长最接近的波长。
      1. 代码将自动执行均衡。如果在超立方体中选择了参考，则波长范围和光谱分辨率不需要均衡，并且它们保持不变。
   6. 如果需要，通过运行专用代码将样本表面上的参照位置存储到一组图片中（有关实际细节，请参阅步骤 1.4.7）。
      注意:仅当在超立方体中选择了参照（步骤 3.2.1 和 3.2.2）时，此选项才可用。

4. 地膜分析

1. 运行 SAM_Complete 代码以评估相似性映射。在终端窗口中键入以下命令行（包括分号），然后按 Enter 运行代码:
   SAM_Complete（References_Matrix HS_DataList HS_ImageList）;
   1. 有三个输入（包含高光谱相机返回的图像的列表 ，HS_ImageList;包含超立方体 的文件列表，HS_DataList;和参考矩阵， References_Matrix 或 ExtReferences_Matrix）和没有输出（代码将SAM映射保存为当前工作文件夹中.png文件）。
      注意:除了所描述的三个输入变量之外， SAM_complete 代码必须包含一些附加参数，以便根据用户的偏好定制分析协议（请参阅后续步骤）。
2. 如果需要，通过在对话框中键入数字 0 或 1（具体取决于所需的预处理操作）将代码与预处理选项一起输入，然后按 Enter 继续。
   1. 预处理选项设置为 0:将每个反射率光谱所细分的区域归一化为 1。
   2. 预处理选项设置为 1:将每个反射率光谱所细分的面积归一化为 1，然后推导出归一化光谱一次。
      注意:超立方体和引用都经过相同的预处理选项。
3. 通过向代码提供与所需光谱相对应的列数，在参考矩阵中选择要用于 SAM 分析的终端成员。需要时，通过键入以空格分隔的数字，在对话框中输入与所需列对应的数字序列。按 回车 键继续。
   注:序列[1 2 3]对应于参考矩阵前三列的选择;空向量对应于引用矩阵中所有列的选择。
4. 为代码提供一个字符串，其中包含名称的第一部分，该部分将标识要保存的地图集（即， SAM_Complete返回的.png文件的名称的公共部分）。如果需要，在对话框中插入字符串。按 回车 键继续。
   注意:如果用户类型 test，则所有输出.png图像的名称都将以 test 开头。
5. 如果需要，通过在对话框中键入数字 0、1 或 2（具体取决于所需的句柄方法）将代码与所选的处理数据的方法馈送，然后按 Enter 继续。
   1. 将该方法设置为 0，表示不对数据进行操作。
   2. 将方法设置为1，要求在开始分析之前手动选择要考虑的光谱的波长范围（图6）。
   3. 将方法设置为 2，要求算法在评估 SAM 映射之前根据特定标准对数据进行排序（图 7）。
6. 等待协议处理数据，并将当前工作文件夹中的 SAM 映射另存为.png文件。
   注意:如果句柄方法已设置为 0 或 2，则用户只需等待。如果已设置为 1，则用户必须通过单击交互式窗口来选择要用于评估 SAM 映射的光谱部分（图 6）。

结果

所提出的方案为HRI数据的管理和分析提供了一组有趣的功能。原始数据的 I/O（步骤 3.1）始终是应用任何分析方法之前必须解决的第一个问题，在处理大量数据时，它可能成为一个关键问题。在本例中，关于原始数据的唯一任务是将实验结果存储到专用文件夹中，并在运行读取代码时通过浏览硬盘来选择它（步骤3.1.1）。此后，裁剪和RGB重建代码允许优化要分析的数据的选择（步骤3.1.2），并检查?...

讨论

高光谱反射成像数据集是大型信息库;因此，开发强大的，可能的自动化协议来分析数据是利用其潜力的关键转折点^15，17。所提出的算法解决了文化遗产领域的这一需求，特别关注绘画颜料的表征。该算法基于^SAM20，21，在从实验条件的设定到颜料分布的评估的整个分析过程中为用户提供支持。尽管该算法仍然...

材料

Name	Company	Catalog Number	Comments
ImageJ/Fiji	Specim (Oulo, Finlad)	N/A	Portable reflectance hyperspectral camera used to acquire the hypercubes
MATLAB 2019b	StellarNet Inc (Tampa, Florida, USA)	N/A	Portable reflectance spectrometer used to acquire independent reflectance spectra
Specim IQ Hyperspectral Camera	National Institutes of Health (Bethesda, Maryland, USA)	N/A	Open source Java image processing program
StellarNet BLUE-wave Miniature Spectrometer	MathWorks (Natick, Massachusset, USA)	N/A	Program Language and numerical computing environment