Anwendung der hyperspektralen Reflexionsbildgebung zur Untersuchung der Paletten und Techniken von Malern

Zusammenfassung

Hyperspectral Reflectance Imaging Hyperwürfel enthalten bemerkenswerte Informationen in einer großen Datenmenge. Daher ist die Forderung nach automatisierten Protokollen zur Verwaltung und Untersuchung der Datensätze weitgehend gerechtfertigt. Die Kombination aus Spectral Angle Mapper, Datenmanipulation und einer vom Benutzer einstellbaren Analysemethode stellt einen Schlüssel für die Erforschung der experimentellen Ergebnisse dar.

Zusammenfassung

Reflexionsspektroskopie (RS) und Faseroptik-Reflexionsspektroskopie (FORS) sind etablierte Techniken zur Untersuchung von Kunstwerken mit besonderem Augenmerk auf Gemälde. Die meisten modernen Museen stellen ihren Forschungsgruppen tragbare Geräte zur Verfügung, die zusammen mit der intrinsischen Nicht-Invasivität von RS und FORS die In-situ-Sammlung von Reflexionsspektren von der Oberfläche von Artefakten ermöglichen. Der von Experten für Pigmente und Malmaterialien durchgeführte Vergleich der experimentellen Daten mit Datenbanken von Referenzspektren treibt die Charakterisierung der Paletten und der von den Künstlern verwendeten Techniken voran. Dieser Ansatz erfordert jedoch spezifische Fähigkeiten und ist zeitaufwendig, insbesondere wenn die Anzahl der zu untersuchenden Spektren groß wird, wie dies bei HRI-Datensätzen (Hyperspectral Reflectance Imaging) der Fall ist. Die HRI-Versuchsaufbauten sind mehrdimensionale Kameras, die die spektrale Information, die durch die Reflexionsspektren gegeben wird, mit der räumlichen Lokalisierung der Spektren über der gemalten Oberfläche assoziieren. Die resultierenden Datensätze sind 3D-Würfel (Hyperwürfel oder Datenwürfel genannt), bei denen die ersten beiden Dimensionen das Spektrum über dem Gemälde lokalisieren und die dritte das Spektrum selbst ist (dh die Reflexion dieses Punktes der gemalten Oberfläche gegenüber der Wellenlänge im operativen Bereich des Detektors). Die Fähigkeit des Detektors, gleichzeitig eine große Anzahl von Spektren (typischerweise viel mehr als 10.000 für jeden Hyperwürfel) zu sammeln, macht die HRI-Datensätze zu großen Informationsreservoirs und rechtfertigt die Notwendigkeit der Entwicklung robuster und möglicherweise automatisierter Protokolle zur Analyse der Daten. Nach der Beschreibung des für die Datenerfassung konzipierten Verfahrens stellen wir eine Analysemethode vor, die das Potenzial der Hyperwürfel systematisch ausschöpft. Basierend auf dem Spectral Angle Mapper (SAM) und der Manipulation der gesammelten Spektren verarbeitet und analysiert der Algorithmus Tausende von Spektren und unterstützt gleichzeitig den Benutzer bei der Enthüllung der Merkmale der untersuchten Proben. Die Kraft des Ansatzes wird durch die Anwendung auf Quarto Stato veranschaulicht, das ikonische Meisterwerk von Giuseppe Pellizza da Volpedo, das im Museo del Novecento in Mailand (Italien) aufbewahrt wird.

Einleitung

Reflexionsspektroskopie (RS) und Faseroptik-Reflexionsspektroskopie (FORS) basieren auf der Detektion des Lichts, das von Oberflächen reflektiert wird, die einmal von einer Lichtquelle, typischerweise einer Wolfram-Halogenlampe, beleuchtet werden. Die Ausgabe des Erfassungssystems besteht aus Spektren, bei denen der Reflexionsgrad als Funktion der Wellenlänge in einem Bereich überwacht wird, der von den Eigenschaften des verwendeten Versuchsaufbaus abhängt1,2,3. Eingeführt in den letzten vier ^{Jahrzehnten4,5}, werden RS und FORS typischerweise in Kombination mit Röntgenfluoreszenz und anderen Spektroskopien verwendet, um die Materialien und Techniken zu beschreiben, die von Künstlern zur Realisierung ihrer Meisterwerke verwendet werden6,7,8,9. Die Untersuchung der Reflexionsspektren erfolgt in der Regel durch Vergleich der Daten aus der Stichprobe mit einer Gruppe von Referenzspektren, die vom Benutzer in persönlichen oder öffentlichen Datenbanken ausgewählt wurden. Sobald die Referenzspektren identifiziert wurden, die der Realisierungsperiode der Probe und dem Modus Operandi des Künstlers entsprechen, erkennt der Benutzer die Hauptmerkmale der Reflexionsspektren (d.h. Übergangs-, Absorptions- und Reflexionsbänder1,2,10,11) und dann mit Hilfe anderer ^{Techniken6,7,8} sie unterscheiden die Pigmente, die in den Gemälden verwendet wurden. Schließlich diskutieren sie die geringfügigen Unterschiede, die es zwischen den Referenzen und den ^{experimentellen} Spektren7,9 gibt.

In den meisten Fällen bestehen die experimentellen Datensätze aus wenigen Spektren, die aus von Kunstexperten ausgewählten Bereichen gesammelt wurden und von denen angenommen wird, dass sie für die Charakterisierung des Gemäldes von Bedeutung sind6,12,13. Trotz der Fähigkeiten und der Erfahrung des Benutzers können einige Spektren die Eigenschaften der gesamten lackierten Oberfläche nicht vollständig ausschöpfen. Darüber hinaus wird das Ergebnis der Analyse immer stark von der Expertise des Darstellers abhängen. In diesem Szenario könnte Hyperspectral Reflectance Imaging (HRI3,14,15) eine nützliche Ressource sein. Anstelle einiger isolierter Spektren geben die Versuchsaufbauten die Reflexionseigenschaften ausgedehnter Teile oder sogar des gesamten untersuchten Artefakts ^zurück16. Die beiden Hauptvorteile in Bezug auf die Erfassung der isolierten Spektren liegen auf der Hand. Auf der einen Seite ermöglicht die Verfügbarkeit der räumlichen Verteilung der Reflexionseigenschaften die Identifizierung von Bereichen, die interessante Merkmale verbergen, auch wenn sie nicht eigenartig erscheinen ^mögen17. Auf der anderen Seite garantieren die Hyperwürfel eine Anzahl von Spektren, die hoch genug sind, um die statistische Analyse der Daten zu ermöglichen. Diese Tatsachen unterstützen das Verständnis der Verteilung von Pigmenten innerhalb der lackierten ^{Oberfläche18,19}.

Mit HRI könnte der Vergleich der experimentellen Daten mit den Referenzen schwierig zu handhaben ^sein15. Ein typischer Detektor liefert Hyperwürfel von mindestens 256 x 256 Spektren. Dies würde erfordern, dass der Benutzer mehr als 65.000 Reflexionsspektren gegen jede Referenz auswertet, eine Aufgabe, die in angemessener Zeit fast unmöglich manuell ausgeführt werden kann. Daher ist die Forderung nach robusten und möglicherweise automatisierten Protokollen zur Verwaltung und Analyse von HRI-Datensätzen mehr als ^{gerechtfertigt15,17}. Die vorgeschlagene Methode erfüllt diesen Bedarf, indem sie das gesamte Analyseverfahren mit minimalem Aufwand und maximaler Flexibilität behandelt.

Ein Algorithmus, der aus einem Satz von selbst erstellten Codes (Table of Materials) besteht, liest, verwaltet und organisiert die dateien, die vom experimentellen Setup zurückgegeben werden. Es ermöglicht die Feinauswahl der Teile der Sichtfelder (FOVs, ein Sichtfeld ist der Bereich des Gemäldes, der von einem einzigen Hyperwürfel überwacht wird) zu untersuchen und führt die Analyse der Daten basierend auf der Spectral Angle Mapper (SAM) ^Methode20,21 und auf der Manipulation der ursprünglichen Spektren durch. SAM gibt Falschfarben-Graustufenbilder zurück, die als Ähnlichkeitskarten bezeichnet werden. Die Werte der Pixel dieser Karten entsprechen den spektralen Winkeln, die die Winkel zwischen den in den Hyperwürfeln gespeicherten Spektren und den sogenannten End members (EMs, einer Gruppe von Referenzspektren, die die Merkmale der von den Hyperwürfeln überwachten Oberfläche beschreiben sollen)²² sind. Im Falle von RS, die auf Gemälde angewendet werden, sind die EMs die Reflexionsspektren von Pigmenten, die der Palette des Masters entsprechen sollten. Sie werden auf der Grundlage der verfügbaren Informationen über den Künstler, den Realisierungszeitraum des Gemäldes und das Fachwissen des Benutzers ausgewählt. Daher ist die Ausgabe des SAM ein Satz von Karten, der die räumlichen Verteilungen dieser Pigmente über die Malfläche beschreibt und den Benutzer dabei unterstützt, auf die vom Künstler verwendeten Materialien und deren Organisation im Artefakt zu schließen. Der Algorithmus bietet die Möglichkeit, alle Arten von Referenzen unabhängig von ihrer Herkunft zu verwenden. Die Referenzen können spezifische Spektren sein, die innerhalb der Hyperwürfel ausgewählt wurden, aus Datenbanken stammen, von einem anderen Instrument auf einer anderen Oberfläche erfasst werden (z. B. Pigmentproben oder die Palette des Künstlers) oder mit jeder Art von Reflexionsspektroskopie, einschließlich FORS, erhalten werden.

SAM wurde unter den verfügbaren Klassifikationsmethoden bevorzugt, da es sich als wirksam bei der Charakterisierung von Pigmenten erwiesen hat (siehe das Buch von ^Richard23, um einen Überblick über die wichtigsten verfügbaren Klassifikationsmethoden zu erhalten). Stattdessen beruht die Idee, ein selbst erstelltes Protokoll zu entwickeln, anstatt eines der vielen im Netz frei verfügbaren Tools zu ^{übernehmen24,25}, auf einer praktischen Überlegung. Trotz der Effektivität und wissenschaftlichen Fundierung der bestehenden GUIs und Software befriedigt ein einziges Tool kaum alle Bedürfnisse des Anwenders. Möglicherweise liegt ein E/A-Problem (Input/Output) vor, da ein Tool die Datei mit den Rohdaten nicht verwaltet. Es könnte ein Problem bei der Analyse der Daten geben, da ein anderes Tool nicht den gewünschten Ansatz bietet. Es kann eine Einschränkung bei der Verarbeitung der Daten geben, da die gleichzeitige Analyse mehrerer Datensätze nicht unterstützt wird. Ein perfektes Werkzeug gibt es jedenfalls nicht. Jede Methode muss an die Daten angepasst werden oder umgekehrt. Daher wurde die Entwicklung eines hausgemachten Protokolls bevorzugt.

Der vorgestellte Ansatz bietet weder einen vollständigen Satz analytischer Methoden (siehe zum Vergleich das von Mobaraki und ^Amigo24 vorgeschlagene Tool) noch eine einfach zu verwaltende Benutzeroberfläche (siehe zum Vergleich die von Zhu und Mitarbeitern verwendete ^Software25), sondern konzentriert sich im Gegenzug auf einen immer noch unterschätzten Aspekt der hyperspektralen Datenanalyse: die Möglichkeit, die erkannten Spektren zu manipulieren. Die Kraft des Ansatzes wird veranschaulicht, indem man ihn auf das Gemälde Quarto Stato von Giuseppe Pellizza da Volpedo (Abbildung 1) anwendet, ein ikonisches Öl auf Leinwand, das im Museo del Novecento in Mailand, Italien, aufbewahrt wird. Beachten Sie, dass der Entwickler, da der Ansatz das Ausführen von selbst erstellten Codes erfordert, willkürlich die Namen der Codes und sowohl die Eingabe- als auch die Ausgabevariablen ausgewählt hat, die in der Beschreibung des Protokolls verwendet werden. Die Namen der Variablen können vom Benutzer geändert werden, müssen jedoch wie folgt angegeben werden: Die Eingabe- und Ausgangsvariablen müssen jeweils in Klammern geschrieben und schließlich durch Komma und eckige Klammern getrennt und schließlich durch ein Leerzeichen getrennt werden. Im Gegenteil, die Namen der Codes können nicht geändert werden.

Access restricted. Please log in or start a trial to view this content.

Protokoll

1. Stellen Sie die räumliche Auflösung der Hyperwürfel ein

1. Führen Sie eine vorläufige Inspektion der bemalten Oberfläche (Abbildung 1) durch, die von Kunstexperten unterstützt wird, um die Hauptmerkmale des Gemäldes zu identifizieren.
   1. Erkenne die Bildtechniken, die der Künstler verwendet hat, um das Gemälde zu schaffen.
   2. Identifizieren Sie die verschiedenen Pinselstriche auf der Leinwand.
   3. Schätzen Sie qualitativ die Eigenschaften der Pinselstriche mit besonderem Augenmerk auf ihre Größe.
2. Ahmen Sie die vom Künstler verwendete Bildtechnik nach, indem Sie Ad-hoc-Testmuster erstellen, bei denen die Pinselstriche ähnliche Eigenschaften aufweisen wie die des Künstlers.
   ANMERKUNG: Pellizza da Volpedo war ein divisionistischer Maler. Ein Restaurator wurde gebeten, einige Testproben vorzubereiten, die die Pinselstriche der interessierenden Leinwand qualitativ reproduzieren (Abbildung 2, Spalte A).
3. Legen Sie den Abstand zwischen der untersuchten Oberfläche und der Erfassungsausrüstung fest.
   HINWEIS: Der Abstand bestimmt die räumliche Auflösung der ^{Hyperwürfel26} und damit die Möglichkeit, die Pinselstriche auf den Bildern und SAM-Karten der gemalten Oberfläche zu unterscheiden.
   1. Bewerten Sie den Abstand zwischen der Oberfläche der Probe und der Erfassungsausrüstung unter Berücksichtigung der Eigenschaften der Hyperspektralkamera26 (Materialtabelle) und der Größe der in den Testproben gezeichneten Pinselstriche.
   2. Setzen Sie die Erfassungsstufe und die Hyperspektralkamera auf die im vorherigen Schritt bewertete Entfernung. Ordnen Sie die Prüfmuster auf der Bühne an und sorgen Sie für eine gleichmäßige Ausleuchtung der Oberfläche der Proben.
   3. Führen Sie eine weiße Kalibrierung mit der weißen Standardreferenz durch, die mit der Hyperspektralkamera geliefert wird. Erwerben Sie die Hyperwürfel.
      HINWEIS: Für jedes Sichtfeld gibt die Hyperspektralkamera sowohl rohe als auch kalibrierte Bilder zurück. Letztere wurden für die Analyse verwendet.
   4. Laden Sie die vom Gerät zurückgegebenen Dateien herunter und speichern Sie sie in einem speziellen Ordner.
4. Prüfen Sie, ob die räumliche Auflösung der Hyperwürfel die verschiedenen Pinselstriche auf den Bildern und SAM-Karten der gemalten Oberfläche unterscheiden kann.
   1. Überprüfen Sie die von der Hyperspektralkamera zurückgegebenen RGB-Bilder, um sicherzustellen, dass die Pinselstriche, die zur Realisierung der Testproben verwendet wurden, erkannt werden können (Abbildung 2, Spalte A). Wenn ja, fahren Sie mit den nächsten Schritten fort. Andernfalls kehren Sie zu Schritt 1.3.1 zurück und starten Sie ihn neu.
   2. Listen Sie die Dateien auf, die die hyperspektralen Daten und die RGB-Bilder der FOVs enthalten, indem Sie den Datenlesecode ausführen, HS_FileLister. Geben Sie die folgende Befehlszeile (einschließlich Semikolon) in das Terminalfenster der Sprache ein, die zum Entwickeln der Codes verwendet wurde (Tabelle der Materialien) und drücken Sie die Eingabetaste , um den Code auszuführen:
      [HS_DataList HS_ImageList] = HS_FileLister;
      1. Es ist keine Eingabe erforderlich und es gibt zwei Ausgaben: die Liste der Dateien, die die Hyperwürfel enthalten, HS_DataList und die Liste der bilder, die von der Hyperspektralkamera zurückgegeben werden, HS_ImageList.
         HINWEIS: Die Größe jedes Hyperwürfels beträgt 512 x 512 x 204 Voxel, wobei 204 die Anzahl der Kanäle ist, die zur Überwachung des Reflexionssignals verwendet werden. Die Kanäle umfassen den Wellenlängenbereich zwischen 400 und 1.000 nm mit einer spektralen Auflösung von 7 nm bei ^FWHM26.
   3. Definieren Sie den 3D-Teil der Hyperwürfel, der analysiert werden muss, indem Sie den Zuschneidecode ausführen, HS_Crop_png. Definieren Sie den gewünschten Teil jedes Datenwürfels, indem Sie einen Bereich über einem interaktiven Fenster auswählen, der das 2D-RGB-Bild des von jedem Hyperwürfel überwachten FOV anzeigt. Geben Sie die folgende Befehlszeile (einschließlich Semikolon) in das Terminalfenster ein und drücken Sie die Eingabetaste , um den Code auszuführen:
      [HS_ImageList] = HS_Crop_png(HS_ImageList);
      1. Es gibt eine Eingabe (die Liste der von der Hyperspektralkamera zurückgegebenen Bilder, HS_ImageList) und eine Ausgabe (die Eingabeliste, die mit den räumlichen Koordinaten hinzugefügt wurde, um schließlich die Hyperwürfel zuzuschneiden).
   4. Wenden Sie das Leuchtmittel D65 und den Beobachter von 1931 aus den CIE-Standards (International Commission on Illumination) auf die Hyperwürfel an, um die RGB-Bilder der FOV(s) aus den Reflexionsspektren abzurufen, indem Sie den Rebuild-Code HS_RGB_rebuild ausführen. Geben Sie die folgende Befehlszeile (einschließlich Semikolon) in das Terminalfenster ein und drücken Sie die Eingabetaste , um den Code auszuführen:
      [HS_ImageList] = HS_RGB_rebuild(HS_ImageList, HS_DataList);
      1. Es gibt zwei Eingaben (die Liste mit den von der Hyperspektralkamera zurückgegebenen Bildern, HS_ImageList, und die Liste der Dateien, die die Hyperwürfel enthalten, HS_DataList) und eine Ausgabe (die Eingabeliste mit den von der Hyperspektralkamera zurückgegebenen Bildern, die mit den RGB-Bildern der Oberflächen der Hyperwürfel aus den Reflexionsspektren hinzugefügt wurden).
         HINWEIS: HS_RGB_Rebuild nutzt die von Jeff ^Mather27 entwickelten Funktionen, um die D65-Leuchtmittel und den 1931-Beobachter von CIE auf die Daten anzuwenden.
   5. Wählen Sie manuell einige Referenzspektren auf den Oberflächen der Testproben aus (Weiße Kreise und Zahlen in Abbildung 2, Spalte A), indem Sie den isolierten Messpunktauswahlcode PointSel ausführen. Wählen Sie die Messpunkte aus, indem Sie auf ein interaktives Fenster klicken, das nacheinander die 2D-RGB-Bilder der Sichtfelder anzeigt. Geben Sie die folgende Befehlszeile (einschließlich Semikolon) in das Terminalfenster ein und drücken Sie die Eingabetaste , um den Code auszuführen:
      [Referenzen] = PointSel(HS_DataList, HS_ImageList);
      1. Es gibt zwei Eingaben (die Liste mit den von der Hyperspektralkamera zurückgegebenen Bildern, HS_ImageList, und die Liste der Dateien, die die Hyperwürfel enthalten, HS_DataList) und eine Ausgabe (eine Variable, References, die die Spektren enthält, die als Referenzen innerhalb der FOV(s) ausgewählt wurden).
   6. Speichern Sie bei Bedarf die Position der Verweise über der Oberfläche der Beispiele in einem Satz von Bildern, indem Sie den dedizierten Code SaveImPoint ausführen. Geben Sie die folgende Befehlszeile (einschließlich Semikolon) in das Terminalfenster ein und drücken Sie die Eingabetaste , um den Code auszuführen:
      SaveImPoint(Verweise, HS_ImageList);
      1. Es gibt zwei Eingaben (die Variable mit den Referenzspektren, Referenzen und die Liste mit den bildern, die von der Hyperspektralkamera zurückgegeben werden, HS_ImageList) und keine Ausgaben (der Code speichert .png Bilder im aktuellen Arbeitsordner).
   7. Organisieren Sie die Verweise in einer Matrix, indem Sie den Konvertierungscode RefListToMatrix ausführen. Geben Sie die folgende Befehlszeile (einschließlich Semikolon) in das Terminalfenster ein und drücken Sie die Eingabetaste , um den Code auszuführen:
      [References_Matrix] = RefListToMatrix(Referenzen, HS_ImageList(1). WaveL);
      1. Es gibt zwei Eingänge (die Variable mit den Referenzspektren, Referenzen und die Liste der Wellenlängen, bei denen der Detektor die Photonen während der Datenerfassung der Spektren zählt, HS_ImageList(1). WaveL) und einem Ausgang (die gleichen Referenzspektren, die in einer Matrix organisiert sind, References_Matrix).
         HINWEIS: Dieser Schritt ist obligatorisch, da der Code, der die SAM-Zuordnungen auswertet, erfordert, dass die Referenzspektren in einer Matrix organisiert werden. Die Syntax der zweiten Eingabe , HS_ImageList(1). WaveL ist erforderlich, um die Variable WaveL aus der Liste HS_ImageList abzurufen. Die Zahl 1 in Klammern bezieht sich auf das erste Element der Liste, das als HS_ImageList bezeichnet wird. Da jedoch alle Hyperwürfel den gleichen Wellenlängenbereich haben, kann sie durch jede Kleine oder Gleichzahl der Gesamtzahl der aufgelisteten Bilder ersetzt werden.
   8. Extrahieren Sie die SAM-Karten unter Verwendung der gesamten Spektren, indem Sie den Standard-SAM-Karten-Evaluierungscode ausführen, SAM_Standard. Geben Sie die folgende Befehlszeile (einschließlich Semikolon) in das Terminalfenster ein und drücken Sie die Eingabetaste , um den Code auszuführen:
      SAM_Standard(HS_ImageList, HS_DataList, References_Matrix);
      1. Es gibt drei Eingaben (die Liste mit den bildern, die von der Hyperspektralkamera zurückgegeben werden, HS_ImageList; die Liste der Dateien, die die Hyperwürfel enthalten, HS_DataList; und die Matrix der Referenzspektren, References_Matrix) und keine Ausgabe: Der Code speichert die SAM-Karten als .png Bilder im aktuellen Arbeitsordner.
   9. Prüfen Sie, ob die erhaltenen Ähnlichkeitskarten (Abbildung 2, Spalten B - E) die Details der Pinselstriche anzeigen, die zur Realisierung der Testproben verwendet wurden. Wenn dies der Fall ist, fahren Sie mit dem nächsten Schritt des Protokolls fort. Andernfalls kehren Sie zu Schritt 1.3.1 zurück und starten Sie ihn neu.

2. Passen Sie die experimentellen Parameter an das Gemälde an

1. Identifizieren Sie die Region(en) von Interesse, ROI(s), des zu untersuchenden Gemäldes (rote Rechtecke in Abbildung 3A).
   HINWEIS: Es ist üblich, dass mehr als ein FOV erforderlich ist, um einen einzigen ROI abzudecken.
2. Ordnen Sie die Aufnahmeeinrichtung und das Gemälde in dem in den vorherigen Schritten definierten Abstand an und führen Sie die Weißkalibrierung unter Verwendung der mit der Hyperspektralkamera gelieferten weißen Standardreferenz durch.
   HINWEIS: Wenn die Benutzer eine In-situ-Akquisition durchführen müssen (d. H. Sie müssen ein Gemälde studieren, das in einem Museum oder in einer Ausstellung ausgestellt ist), können sie nur die Kamera verwalten. Dies ist der Fall von Quarto Stato, das dauerhaft in einem eigenen Raum im Museo del Novecento in Mailand, Italien, ausgestellt ist.
3. Erfassen Sie die Hyperspektraldaten von mindestens einem Sichtfeld am Rand jedes ROI(s) (nicht schattierte Bereiche innerhalb der roten Rechtecke in Abbildung 3A).
4. Laden Sie die vom Gerät zurückgegebenen Dateien herunter und speichern Sie sie in einem speziellen Ordner.
5. Überprüfen Sie, ob die Beleuchtung der Oberfläche des Gemäldes gleichmäßig eingestellt wurde, indem Sie sich die von der Hyperspektralkamera zurückgegebenen RGB-Bilder ansehen. Wenn dies der Fall ist, fahren Sie mit den nächsten Schritten fort, kehren Sie andernfalls zu Schritt 2.2 zurück und starten Sie ihn neu.
   HINWEIS: Abbildung 4 veranschaulicht die Bedeutung dieser Überprüfung (siehe Abschnitt Diskussion für die Details).
6. Wiederholen Sie die Unterschritte von Schritt 1.4.
7. Überprüfen Sie, ob die Daten eine räumliche Auflösung haben, die hoch genug ist, um die Pinselstriche zu unterscheiden, indem Sie die RGB-Bilder der FOVs (Abbildung 3B) und die SAM-Karten (Abbildung 3C) in Bezug auf die in den FOVs ausgewählten Referenzspektren (grüne Kreise in Abbildung 3B) beobachten.
8. Wenn die Beleuchtung und die räumliche Auflösung richtig eingestellt wurden, schließen Sie die Erfassung der Daten ab, indem Sie die anderen FOVs erfassen, die zur Deckung des ROI (der ROI) erforderlich sind. Andernfalls kehren Sie zu Schritt 2.2 zurück, und starten Sie ihn neu.
   HINWEIS: Wenn ein ROI erfordert, dass mehr als ein FOV abgedeckt wird, stellen Sie ein gewisses Maß an Überlagerung zwischen benachbarten FOVs sicher, um die resultierenden Karten leicht zu ^stitchen3,15. Das Ausmaß der Überlappung hängt vom Abstand zwischen der Hyperspektralkamera und der Probe, von der Translation und dem horizontalen Blickwinkel des ^Detektors28 ab. Im Falle der experimentellen Kampagne, die auf Quarto Stato durchgeführt wurde, wurde die Überschneidung auf mindestens 40% der FOVs festgelegt.

3. Hyperwürfel und das Referenzspektrenmanagement

1. Führen Sie die E/A der Rohdaten aus: Organisieren, Lesen und Verwalten der Hyperwürfel.
   1. Führen Sie den HS_FileLister Code aus, um die Liste der Dateien, die die Hyperwürfel und die zugehörigen Informationen enthalten, in zwei Variablen zu speichern, die dem Algorithmus zur Verfügung stehen (siehe Schritt 1.4.2 für die praktischen Details).
      HINWEIS: Die Hyperspektralkamera gibt HDR-Dateien (High Dynamic Range) zurück, die der Code verwaltet, indem sie eine überarbeitete Version des von Jarek ^Tuszinsky29 entwickelten Skripts ausnutzt.
   2. Führen Sie den HS_Crop_png Code aus, um den Teil jedes Sichtfelds auszuwählen, der bei der Analyse der Daten verwendet werden soll (siehe Schritt 1.4.3 für die praktischen Details).
   3. Führen Sie den HS_RGB_Rebuild Code aus, um die RGB-Bilder der FOVs aus den Reflexionsspektren abzurufen (siehe Schritt 1.4.4 für die praktischen Details).
2. Organisieren, lesen (falls erforderlich) und verwalten Sie die Referenzspektren.
   HINWEIS: Die Referenzspektren spielen die Rolle der Endelemente innerhalb der SAM-Methode^20,21. Dieser Teil des Algorithmus ist nicht eindeutig bestimmt, sondern hängt vom Auswahlmodus und der Herkunft der Referenzspektren ab.
   1. Führen Sie den PointSel-Code aus und klicken Sie in das angezeigte interaktive Fenster, um die Referenzspektren als isolierte Messpunkte über der Oberfläche der überwachten Bereiche zu identifizieren (Abbildung 5A) (siehe Schritt 1.4.5 für die praktischen Details).
   2. Wählen Sie die Referenzspektren automatisch als reguläres Retikulum von Messpunkten aus, die der Oberfläche der überwachten Bereiche überlagert sind, indem Sie den retikulären Selektionscode ReticularSel ausführen (Abbildung 5B). Geben Sie die folgende Befehlszeile (einschließlich Semikolon) in das Terminalfenster ein und drücken Sie die Eingabetaste , um den Code auszuführen:
      [Referenzen] = ReticularSel(HS_DataList, HS_ImageList, n_pixel);
      1. Es gibt drei Eingaben (die Liste mit den Bildern, die von der Hyperspektralkamera zurückgegeben werden, HS_ImageList; die Liste der Dateien, die die Hyperwürfel enthalten, HS_DataList; und den Abstand des Retikulums, n_pixel, ausgedrückt in Pixeln) und eine Ausgabe: eine Variable, die die Spektren enthält, die als Referenzen in den FOVs ausgewählt wurden, Referenzen.
   3. Führen Sie den Importercode für externe Referenzen Spectra_Importer aus, um eine Variable zu erstellen, die Verweise aus Datensätzen und Datenbanken enthält, die unabhängig von den auf Quarto Stato erfassten Hyperwürfeln sind. Geben Sie die folgende Befehlszeile (einschließlich Semikolon) in das Terminalfenster ein und drücken Sie die Eingabetaste , um den Code auszuführen:
      [ExtReferences] = Spectra_Importer(file_extension);
      1. Es gibt eine Eingabe (die Erweiterung der Datei, die die unabhängigen Referenzspektren enthält, file_extension, die zwischen Apices geschrieben werden) und eine Ausgabe (eine Variable, die die externen Referenzen enthält, ExtReferences).
         HINWEIS: Der Code des externen Referenzimportprogramms wurde für den Import von tmr-Dateien optimiert, kann aber bei Bedarf leicht geändert werden, um mit jeder Art von Textdatei umzugehen.
   4. Führen Sie den RefListToMatrix-Code aus, um die Verweise in eine Matrix References_Matrix oder ExtReferences_Matrix einzufügen, wie es der Code erfordert, der die SAM-Zuordnungen auswertet (praktische Details finden Sie in Schritt 1.4.7).
   5. Warten Sie, bis der RefListToMatrix-Code sowohl den Wellenlängenbereich als auch die spektrale Auflösung (d. h. die Anzahl der Komponenten) der Hyperwürfel und der Referenzen entzerrt hat.
      HINWEIS: Der Code identifiziert die Wellenlängenbereiche sowohl der Hyperwürfel als auch der Referenzen. Der Code vergleicht die Wellenlängenbereiche und schneidet die Wellenlängenintervalle ab, die nicht sowohl von den Hyperwürfeln als auch von den Referenzen überwacht werden. Der Code identifiziert die Gruppe von Hypervektoren (die Hyperwürfel oder die Referenzen), die durch die geringere Anzahl von Komponenten (d.h. gekennzeichnet durch die niedrigere spektrale Auflösung) im entzerrten Wellenlängenbereich gebildet wird. Der Code reduziert die Anzahl der Komponenten der längeren Hypervektoren (die Referenzen oder die Hyperwürfel) auf die der kürzeren (die Hyperwürfel oder die Referenzen). Dies geschieht, indem für jede Wellenlänge der kürzeren Hypervektoren nur die Werte der längeren Hypervektoren beibehalten werden, die der Wellenlänge der der kürzeren Hypervektoren am nächsten liegen.
      1. Der Code führt automatisch die Entzerrung durch. Wenn die Referenzen innerhalb der Hyperwürfel ausgewählt wurden, müssen der Wellenlängenbereich und die spektrale Auflösung nicht ausgeglichen werden und bleiben unverändert.
   6. Speichern Sie bei Bedarf die Position der Referenzen über der Oberfläche der Samples in einer Reihe von Bildern, indem Sie den dedizierten Code ausführen (siehe Schritt 1.4.7 für die praktischen Details).
      HINWEIS: Diese Option ist nur verfügbar, wenn die Referenzen innerhalb der Hyperwürfel ausgewählt wurden (Schritte 3.2.1 und 3.2.2).

4. SAM-Analyse

1. Führen Sie den SAM_Complete Code aus, um die Ähnlichkeitszuordnungen auszuwerten. Geben Sie die folgende Befehlszeile (einschließlich Semikolon) in das Terminalfenster ein und drücken Sie die Eingabetaste , um den Code auszuführen:
   SAM_Complete(HS_ImageList, HS_DataList, References_Matrix);
   1. Es gibt drei Eingaben (die Liste mit den bildern, die von der Hyperspektralkamera zurückgegeben werden, HS_ImageList; die Liste der Dateien, die die Hyperwürfel enthalten, HS_DataList; und die Referenzmatrix, References_Matrix oder ExtReferences_Matrix) und keine Ausgaben (der Code speichert die SAM-Karten als .png Dateien im aktuellen Arbeitsordner).
      HINWEIS: Abgesehen von den drei beschriebenen Eingabevariablen muss der SAM_complete Code mit wenigen zusätzlichen Parametern gefüttert werden, um das Analyseprotokoll an die Präferenzen des Benutzers anzupassen (siehe die nächsten Schritte).
2. Wenn erforderlich, füttern Sie den Code mit der Vorverarbeitungsoption, indem Sie je nach gewünschtem Vorverarbeitungsvorgang die Zahl 0 oder 1 in das Dialogfeld eingeben und die Eingabetaste drücken, um fortzufahren.
   1. Vorverarbeitungsoption auf 0 gesetzt: Der von jedem Reflexionsspektrum subtente Bereich wird auf 1 normiert.
   2. Vorverarbeitungsoption auf 1 gesetzt: Der von jedem Reflexionsspektrum subtente Bereich wird auf 1 normiert und dann wird das normalisierte Spektrum einmal abgeleitet.
      HINWEIS: Sowohl die Hyperwürfel als auch die Referenzen durchlaufen die gleiche Vorverarbeitungsoption.
3. Wählen Sie in der Referenzmatrix die für die SAM-Analyse zu verwendenden Endelemente aus, indem Sie den Code mit den Nummern der Spalten füttern, die den gewünschten Spektren entsprechen. Geben Sie bei Bedarf in das Dialogfeld die Zahlenfolge ein, die den gewünschten Spalten entspricht, indem Sie die Zahlen durch ein Leerzeichen getrennt eingeben. Drücken Sie die Eingabetaste , um fortzufahren.
   ANMERKUNG: Die Reihenfolge [1 2 3] entspricht der Auswahl der ersten drei Spalten der Referenzmatrix; ein leerer Vektor entspricht der Auswahl aller Spalten der Referenzmatrix.
4. Füttern Sie den Code mit einer Zeichenfolge, die den ersten Teil des Namens enthält, der die zu speichernden Kartensätze identifiziert (d. h. den gemeinsamen Teil des Namens der .png von SAM_Complete zurückgegebenen Dateien). Fügen Sie bei Bedarf die Zeichenfolge in das Dialogfeld ein. Drücken Sie die Eingabetaste , um fortzufahren.
   HINWEIS: Wenn der Benutzer test eingibt, beginnt der Name aller ausgabefähigen .png Bilder mit test.
5. Geben Sie den Code bei Bedarf mit der methode ein, die für die Verarbeitung der Daten ausgewählt wurde, indem Sie je nach gewünschter Handlemethode die Zahl 0, 1 oder 2 in das Dialogfeld eingeben, und drücken Sie die EINGABETASTE , um fortzufahren.
   1. Legen Sie die Methode auf 0 fest, damit die Daten nicht bearbeitet werden.
   2. Setzen Sie die Methode auf 1, um vor Beginn der Analyse eine manuelle Auswahl der Wellenlängenbereiche der zu berücksichtigenden Spektren zu erfordern (Abbildung 6).
   3. Setzen Sie die Methode auf 2, damit der Algorithmus die Daten vor der Auswertung der SAM-Karten anhand eines bestimmten Kriteriums ordnet (Abbildung 7).
6. Warten Sie, bis das Protokoll die Daten verarbeitet und die SAM-Zuordnungen im aktuellen Arbeitsordner als .png Dateien speichert.
   HINWEIS: Wenn die Handle-Methode auf 0 oder 2 festgelegt wurde, muss der Benutzer einfach warten. Wenn sie auf 1 gesetzt ist, muss der Benutzer durch Klicken auf ein interaktives Fenster die Teile der Spektren auswählen, die für die Auswertung der SAM-Karten verwendet werden sollen (Abbildung 6).

Access restricted. Please log in or start a trial to view this content.

Ergebnisse

Das vorgeschlagene Protokoll bietet eine Reihe interessanter Funktionen für die Verwaltung und Analyse von HRI-Daten. Die E/A (Schritt 3.1) der Rohdaten ist immer das erste Problem, das vor der Anwendung einer Analysemethode gelöst werden muss, und es kann zu einem kritischen Problem werden, wenn es um große Datenmengen geht. Im vorliegenden Fall besteht die einzige Aufgabe in Bezug auf die Rohdaten darin, die experimentellen Ergebnisse in einem dedizierten Ordner zu speichern und durch Durchsuchen der Festplatte beim...

Access restricted. Please log in or start a trial to view this content.

Diskussion

Hyperspektrale Reflexionsbildgebungsdatensätze sind große Informationsreservoirs; Daher ist die Entwicklung robuster und möglicherweise automatisierter Protokolle zur Analyse der Daten eine Schlüsselrolle, um ihr Potenzial ^{auszuschöpfen15,17}. Der vorgeschlagene Algorithmus beantwortet diesen Bedarf im Bereich des kulturellen Erbes mit besonderem Augenmerk auf die Charakterisierung der Pigmente von Gemälden. Basierend auf ^SAM20,21

Access restricted. Please log in or start a trial to view this content.

Materialien

Name	Company	Catalog Number	Comments
ImageJ/Fiji	Specim (Oulo, Finlad)	N/A	Portable reflectance hyperspectral camera used to acquire the hypercubes
MATLAB 2019b	StellarNet Inc (Tampa, Florida, USA)	N/A	Portable reflectance spectrometer used to acquire independent reflectance spectra
Specim IQ Hyperspectral Camera	National Institutes of Health (Bethesda, Maryland, USA)	N/A	Open source Java image processing program
StellarNet BLUE-wave Miniature Spectrometer	MathWorks (Natick, Massachusset, USA)	N/A	Program Language and numerical computing environment