החלת הדמיית רפלקטיביות היפרספקטרלית כדי לחקור את לוחות הצבעים ואת הטכניקות של ציירים

Summary

היפרספקטרלי רפלקטיבי הדמיית hypercubes כוללים מידע יוצא דופן לתוך כמות גדולה של נתונים. לכן, הבקשה לפרוטוקולים אוטומטיים לניהול ולמידה של ערכות הנתונים מוצדקת באופן נרחב. השילוב של ממפה זווית ספקטרלי, מניפולציה בנתונים ושיטת ניתוח מתכווננת למשתמש מהווה סיבוב מפתח לחקר תוצאות הניסוי.

Abstract

ספקטרוסקופיית רפלקטיביות (RS) וספקטרוסקופיית רפלקטיביות מחזירי סיבים אופטיים (FORS) הן טכניקות מבוססות היטב לחקירת יצירות אמנות עם תשומת לב מיוחדת לציורים. רוב המוזיאונים המודרניים עומדים לרשות קבוצות המחקר שלהם ציוד נייד, שיחד עם אי פולשניות מהותית של RS ו- FORS, מאפשרת את האוסף במקום של ספקטרום רפלקטיביות מפני השטח של חפצים. ההשוואה, שבוצעה על ידי מומחים בפיגמנטים ובחומרי ציור, של הנתונים הניסיוניים עם מסדי נתונים של ספקטרום התייחסות מניעה את אפיון לוחות הצבעים ואת הטכניקות המשמשות את האמנים. עם זאת, גישה זו דורשת מיומנויות ספציפיות וזה זמן רב במיוחד אם מספר הספקטרום להיחקר הופך גדול כמו במקרה של Hyperspectral רפלקטורליות הדמיית רפלקטיבית (HRI) ערכות נתונים. ההגדרות הניסיוניות של HRI הן מצלמות רב-ממדיות המקשרות את המידע הספקטרלי, שניתן על ידי ספקטרום ההשתקפות, עם לוקליזציה מרחבית של הספקטרום על פני השטח המצוירים. ערכות הנתונים המתקבלות הן קוביות תלת-ממד (הנקראות היפרקובים או קוביות נתונים) שבהן שני הממדים הראשונים מאתרים את הספקטרום מעל הציור והשלישי הוא הספקטרום עצמו (כלומר, ההשתקפות של אותה נקודה של המשטח הצבוע לעומת אורך הגל בטווח האופרטיבי של הגלאי). היכולת של הגלאי לאסוף בו זמנית מספר רב של ספקטרום (בדרך כלל הרבה יותר מ -10,000 עבור כל hypercube) עושה את הנתונים HRI ערכות מאגרי מידע גדולים ומצדיק את הצורך בפיתוח של פרוטוקולים חזקים, ואולי, אוטומטיים כדי לנתח את הנתונים. לאחר תיאור ההליך המיועד לרכישת הנתונים, אנו מציגים שיטת ניתוח המנצלת באופן שיטתי את הפוטנציאל של hypercubes. בהתבסס על ממפה זווית ספקטרלי (SAM) ועל המניפולציה של הספקטרום שנאסף, האלגוריתם מטפל ומנתח אלפי ספקטרום ובו בזמן הוא תומך המשתמש לחשוף את התכונות של הדגימות הנחקרות. כוחה של הגישה מומחש על ידי החלתה על קווארטו סטאטו, יצירת המופת האייקונית של ג'וזפה פליצה דה וולפדו, שנערכה במוזיאון דל נובסנטו במילאנו (איטליה).

Introduction

ספקטרוסקופיית רפלקטיביות (RS) וספקטרוסקופיית רפלקטיביות סיבים אופטיים (FORS) מבוססות על גילוי האור המוחזרים על ידי משטחים שאוירו בעבר על ידי מקור אור, בדרך כלל מנורת טונגסטן-הלוגן. התפוקה של מערכת הרכישה נוצרת על ידי ספקטרום שבו רפלקטיביות מנוטרת כפונקציה של אורך הגל בטווח התלוי במאפייני ההתקנה הניסיונית המועסקת1,2,3. הוצגו במהלך ארבעת העשורים ^{האחרונים4,5}, RS ו FORS משמשים בדרך כלל בשילוב עם פלואורסצנטיות רנטגן וספקטרוקופיות אחרות כדי לתאר את החומרים והטכניקות המשמשות אמנים למימוש יצירות המופת שלהם6,7,8,9. המחקר של ספקטרום רפלקטיביות מבוצע בדרך כלל על ידי השוואת הנתונים מהמדגם עם קבוצה של ספקטרום ייחוס שנבחר על ידי המשתמש במסדי נתונים אישיים או ציבוריים. לאחר שזוהתה ספקטרום הייחוס העומד בתקופת המימוש של המדגם ועם דפוס הפעולה של האמן, המשתמש מזהה את התכונות העיקריות של ספקטרום ההשתקפות (כלומר, מעבר, ספיגה, ולהקות השתקפות1,2,10,11) ולאחר מכן, בעזרת טכניקות ^{אחרות6,7,8} הם מבחינים בין הפיגמנטים ששימשו בציורים. לבסוף הם דנים בהבדלים הקלים הקיימים בין ההתייחסויות לבין הספקטרום ^{הניסיוני7,9}.

ברוב המקרים, ערכות הנתונים הניסיוניות מורכבות מכמה ספקטרום, שנאסף מאזורים שנבחרו על ידי מומחי אמנות והניחו שהוא משמעותי לאפיון הציור6,12,13. למרות הכישורים והניסיון של המשתמש, כמה ספקטרום לא יכול למצות באופן מלא את המאפיינים של כל המשטח הצבוע. יתר על כן, התוצאה של הניתוח תמיד תהיה תלויה מאוד במומחיות של המבצע. בתרחיש זה, הדמיית רפלקטיביות היפרספקטרלית (HRI3,14,15) יכולה להיות משאב שימושי. במקום כמה ספקטרום מבודד, ההתקנות הניסיוניות מחזירות את תכונות ההשתקפות של חלקים מורחבים או אפילו של החפץ כולו תחת ^חקירה16. שני היתרונות העיקריים ביחס לרכישת הספקטרום המבודד ניכרים. מצד אחד, הזמינות של ההתפלגות המרחבית של תכונות רפלקטיביות מאפשרת זיהוי של אזורים המסתירים תכונות מעניינות, למרות שהם אולי לא נראים ^{מוזרים17}. מצד שני, hypercubes להבטיח מספר ספקטרום גבוה מספיק כדי לאפשר את הניתוח הסטטיסטי של הנתונים. עובדות אלה תומכות בהבנת התפלגות הפיגמנטים בתוך המשטח ^{המצויר18,19}.

עם HRI, ההשוואה של הנתונים הניסיוניים עם הפניות יכול להיות קשה להתמודד עם ¹⁵. גלאי טיפוסי מחזיר היפרקובים של ספקטרום של לפחות 256 x 256. זה יחייב את המשתמש להעריך יותר מ 65,000 ספקטרום רפלקטיביות נגד כל התייחסות, משימה כמעט בלתי אפשרית להתבצע באופן ידני בזמן סביר. לכן, הבקשה לפרוטוקולים חזקים ואולי אוטומטיים לניהול וניתוח של ערכות נתונים של HRI היא יותר מ- ^15,17 מוצדקת. השיטה המוצעת עונה על צורך זה על ידי טיפול בהליך האנליטי כולו במינימום מעורבות ובגמישות המרבית.

אלגוריתם הכולל קבוצה של קודים תוצרת בית (טבלת חומרים) קורא, מנהל ומארגן את הקבצים המוחזרים על-ידי ההתקנה הניסיונית. הוא מאפשר לחקור את הבחירה המשובחת של חלקי שדות הראייה (FOVs, שדה ראייה אחד הוא שטח הציור המנוטר על ידי היפרקוב יחיד) ולבצע את ניתוח הנתונים בהתבסס על שיטת ממפה זווית ספקטרלי (SAM) ^20,21 ועל המניפולציה של הספקטרום המקורי. SAM מחזירה תמונות מזויפות בצבע אפור הנקראות מפות דמיון. הערכים של הפיקסלים של מפות אלה תואמים לזוויות הספקטרליות שהן הזוויות בין הספקטרום המאוחסן בהיפרקובים לבין מה שמכונה חברי קצה (EMs, קבוצה של ספקטרום התייחסות שאמור לתאר את התכונות של פני השטח המנוטרים על ידי hypercubes)²². במקרה של RS החל על ציורים, EMs הם ספקטרום רפלקטיביות של פיגמנטים שאמורים להתאים את לוח הצבעים של המאסטר. הם נבחרים על סמך המידע הזמין על האמן, תקופת מימוש הציור ומומחיות המשתמש. לכן, הפלט של SAM הוא קבוצה של מפות המתארות את ההפצות המרחביות של פיגמנטים אלה על משטח הציור וזה תומך המשתמש להסיק את החומרים המשמשים את האמן ואת הארגון שלהם בחפץ. האלגוריתם מציע את האפשרות להשתמש בכל מיני הפניות באופן עצמאי ממקורם. ההתייחסויות יכולות להיות ספקטרום ספציפי שנבחר בתוך hypercubes, לבוא ממסדי נתונים, להירכש על ידי מכשיר אחר על משטח אחר (כגון דגימות של פיגמנטים או לוח הצבעים של האמן, למשל), או לקבל באמצעות כל סוג של ספקטרוסקופיית רפלקטיביות, כולל FORS.

SAM הועדף בין שיטות הסיווג הזמינות מכיוון שהוא הוכח כיעיל לאפיון פיגמנטים (עיין בספר של ^Richard23 כדי לקבל סקירה של שיטות הסיווג הזמינות העיקריות). במקום זאת, הרעיון לפתח פרוטוקול תוצרת בית במקום לאמץ את אחד הכלים הרבים הזמינים בחופשיות ברשת ^24,25 מסתמך על שיקול מעשי. למרות האפקטיביות והיסוד המדעי של ה- GUIs והתוכנה הקיימים, כלי אחד בקושי עונה על כל הצרכים של המשתמש. ייתכן שקיימת בעיית קלט/פלט (קלט/פלט) מאחר שכלי אינו מנהל את הקובץ המכיל את הנתונים הגולמיים. ייתכנו בעיה לגבי ניתוח הנתונים מכיוון שכלי אחר אינו מספק את הגישה הרצויה. ייתכן שקיימת מגבלה בטיפול בנתונים מכיוון שאין תמיכה בניתוח סימולטני של ערכות נתונים מרובות. בכל מקרה, כלי מושלם אינו קיים. יש להתאים כל שיטה לנתונים או להיפך. לכן, פיתוח פרוטוקול תוצרת בית היה מועדף.

הגישה המוצגת אינה מציעה קבוצה שלמה של שיטות אנליטיות (ראה, לשם השוואה, הכלי המוצע על ידי Mobaraki ו- ^Amigo24) ולא ממשק משתמש קל לניהול (ראה, לשם השוואה, את התוכנה המועסקת על ידי Zhu ו- עמיתים ^{לעבודה25}), אבל, בתמורה, הוא מתמקד בהיבט עדיין מוערך של ניתוח נתונים היפרספקטרלי: ההזדמנות לתפעל את הספקטרום שזוהה. כוחה של הגישה מומחש על ידי החלתה על הציור קווארטו סטאטו מאת ג'וזפה פיליצה דה וולפדו (איור 1), שמן איקוני על בד המוחזק במוזיאון דל נובסנטו במילאנו, איטליה. שים לב כי מאחר שהגישה דורשת הפעלת קודים תוצרת בית, היזם בחר באופן שרירותי את שמות הקודים ואת משתני הקלט והפלט המשמשים בתיאור הפרוטוקול. שמות המשתנים יכולים להשתנות על ידי המשתמש אך יש לספק אותם כדלקמן: משתני הקלט והיצוי חייבים להיכתב בהתאמה בתוך סוגריים מרובעים ובסופו של דבר מופרדים באמצעות פסיק ובתוך סוגריים מרובעים ובסופו של דבר מופרדים על ידי רווח לבן. להיפך לא ניתן לשנות את שמות הקודים.

Protocol

1. הגדר את הרזולוציה המרחבית של hypercubes

1. בצע בדיקה ראשונית של המשטח הצבוע (איור 1) הנתמך על ידי מומחי אמנות כדי לזהות את המאפיינים העיקריים של הציור.
   1. להכיר את הטכניקות הציוריות בהן השתמש האמן ליצירת הציור.
   2. זהה את משיכות המברשת השונות של צבע על בד הציור.
   3. להעריך, באופן איכותי, את המאפיינים של משיחות המברשת עם תשומת לב מיוחדת לגודל שלהם.
2. לחקות את הטכניקה הציורית המשמשת את האמן על ידי יצירת דגימות בדיקה אד הוק שבו משיחות המכחול להראות מאפיינים דומים לאלה מיושם על ידי האמן.
   הערה: פליזה דה וולפדו היה צייר דיוויזיה. משחזר התבקש להכין כמה דגימות בדיקה שמשחזרות באופן איכותי את משיחות המברשת של בד הציור (איור 2, עמודה A).
3. הגדר את המרחק בין פני השטח תחת חקירה וציוד הרכישה.
   הערה: המרחק קובע את הרזולוציה המרחבית של ^hypercubes26 ולכן את האפשרות להבחין בין משיחות המברשת בתמונות ובמפות SAM של המשטח הצבוע.
   1. להעריך את המרחק בין פני השטח של המדגם ואת ציוד הרכישה תוך התחשבות במאפייני המצלמה ^{hyperspectral26} (טבלת החומרים) ואת גודל משיחות המברשת שצוירו בדגימות הבדיקה.
   2. שים את שלב הרכישה ואת המצלמה hyperspectral במרחק מוערך בשלב הקודם. מסדרים את דגימות הבדיקה על הבמה ומבטיחים תאורה אחידה של פני השטח של הדגימות.
   3. בצע כיול לבן באמצעות ההפניה הסטנדרטית הלבנה המסופקת עם המצלמה ההיפרספקטרלית. לרכוש את hypercubes.
      הערה: עבור כל FOV, המצלמה היפרספקטרלית מחזירה תמונות גולמיות ומכוילות. אלה שימשו לניתוח.
   4. הורד את הקבצים המוחזרים על-ידי המכשיר ושמור אותם בתיקיה ייעודית.
4. בדוק אם הרזולוציה המרחבית של ההיפרקובים יכולה להבחין בין משיחות המברשת השונות בתמונות ובמפות SAM של המשטח הצבוע.
   1. בדקו את תמונות ה-RGB שהוחזרו על-ידי מצלמת ההיפרספקטרליות כדי לוודא שניתן לזהות את משיחות המברשת המשמשות למימוש דגימות הבדיקה (איור 2, עמודה A). אם כן, עבור לשלבים הבאים; אחרת חזור לשלב 1.3.1 והפעל מחדש.
   2. פרט את הקבצים המכילים את הנתונים ההיפרספקטרליים ואת תמונות ה- RGB של FOVs על-ידי הפעלת קוד קריאת הנתונים, HS_FileLister. הקלד את שורת הפקודה הבאה (נקודה-פסיק כלולה) בחלון המסוף של השפה המשמשת לפיתוח הקודים (טבלת חומרים) והקש Enter כדי להפעיל את הקוד:
      [HS_DataList HS_ImageList] = HS_FileLister;
      1. אין צורך בקלט ויש שני יציאות: רשימת הקבצים המכילים את hypercubes, HS_DataList, ואת רשימת התמונות המוחזרות על ידי המצלמה hyperspectral, HS_ImageList.
         הערה: הגודל של כל היפרקוב הוא 512 x 512 x 204 voxels שבו 204 הוא מספר הערוצים המשמשים לניטור אות ההשתקפות. הערוצים משתרעים על פני טווח גל בין 400 ל 1,000 ננומטר עם רזולוציה ספקטרלית של 7 ננומטר ב ^FWHM26.
   3. הגדר את החלק 3D של hypercubes שיש לנתח על ידי הפעלת קוד חיתוך, HS_Crop_png. הגדר את החלק הרצוי של כל קוביית נתונים על-ידי בחירת אזור מעל חלון אינטראקטיבי המציג את תמונת ה- RGB הדו-פעמית של ה- FOV המנוטרת על-ידי כל היפרקוב. הקלד את שורת הפקודה הבאה (נקודה-פסיק כלולה) בחלון המסוף והקש Enter כדי להפעיל את הקוד:
      [HS_ImageList] = HS_Crop_png(HS_ImageList);
      1. יש קלט אחד (רשימת התמונות שהוחזרו על ידי המצלמה היפרספקטרלית, HS_ImageList) ופלט אחד (רשימת הקלט שנוספה עם הקואורדינטות המרחביות כדי בסופו של דבר לחתוך את hypercubes).
   4. החל את D65 illuminant ו 1931 משקיף מן CIE (הנציבות הבינלאומית על תאורה) סטנדרטים כדי לאחזר את תמונות RGB של FOV(ים) מתוך ספקטרום רפלקטיביות על ידי הפעלת קוד בנייה מחדש, HS_RGB_rebuild. הקלד את שורת הפקודה הבאה (נקודה-פסיק כלולה) בחלון המסוף והקש Enter כדי להפעיל את הקוד:
      [HS_ImageList] = HS_RGB_rebuild(HS_ImageList, HS_DataList);
      1. ישנם שני כניסות (הרשימה המכילה את התמונות המוחזרות על ידי המצלמה hyperspectral, HS_ImageList, ואת רשימת הקבצים המכילים hypercubes, HS_DataList) ופלט אחד (רשימת הקלט המכילה את התמונות המוחזרות על ידי המצלמה hyperspectral הוסיף עם תמונות RGB של משטחי hypercubes שאוחזרו ספקטרום רפלקטיביות).
         הערה: HS_RGB_Rebuild מנצל את הפונקציות שפותחו על ידי ג'ף ^מאתר27 כדי ליישם את הצופה המהולל D65 ו- 1931 מ- CIE לנתונים.
   5. בחר באופן ידני ספקטרום הפניה כלשהו על המשטחים של דגימות הבדיקה (עיגולים לבנים ומספרים באיור 2, עמודה A) על-ידי הפעלת קוד בחירת נקודות המדידה המבודד, PointSel. בחר את נקודות המדידה על-ידי לחיצה על חלון אינטראקטיבי המציג, בזה אחר זה, את תמונות ה- 2D, RGB של ה- FOV. הקלד את שורת הפקודה הבאה (נקודה-פסיק כלולה) בחלון המסוף והקש Enter כדי להפעיל את הקוד:
      [הפניות] = PointSel(HS_DataList, HS_ImageList);
      1. ישנם שני כניסות (הרשימה המכילה את התמונות המוחזרות על ידי המצלמה hyperspectral, HS_ImageList, ואת רשימת הקבצים המכילים hypercubes, HS_DataList) ופלט אחד (משתנה, הפניות, המכיל את הספקטרום שנבחר כהפניות בתוך FOV(ים)).
   6. אם תרצה, אחסן את מיקום ההפניות על פני השטח של הדגימות בערכת תמונות על-ידי הפעלת הקוד הייעודי , SaveImPoint. הקלד את שורת הפקודה הבאה (נקודה-פסיק כלולה) בחלון המסוף והקש Enter כדי להפעיל את הקוד:
      SaveImPoint(הפניות, HS_ImageList);
      1. ישנם שני כניסות (המשתנה המכיל את ספקטרום הייחוס, הפניות והרשימה המכילה את התמונות המוחזרות על-ידי המצלמה ההיפרספקטרלית, HS_ImageList) ואין יציאות (הקוד שומר .png תמונות בתיקיית העבודה הנוכחית).
   7. ארגן את ההפניות לתוך מטריצה על-ידי הפעלת קוד ההמרה, RefListToMatrix. הקלד את שורת הפקודה הבאה (נקודה-פסיק כלולה) בחלון המסוף והקש Enter כדי להפעיל את הקוד:
      [References_Matrix] = RefListToMatrix(הפניות, HS_ImageList(1). WaveL);
      1. ישנם שני כניסות (המשתנה המכיל את ספקטרום הייחוס, הפניות ורשימת אורכי הגל שבהם הגלאי סופר את הפוטונים במהלך רכישת הנתונים של הספקטרום, HS_ImageList(1). WaveL) ופלט אחד (אותה ספקטרום ייחוס המאורגן במטריצה, References_Matrix).
         הערה: שלב זה הוא הכרחי מכיוון שהקוד המעריך את מפות SAM דורש שספקטרום הייחוס יהיה מאורגן במטריצה. התחביר של הקלט השני, HS_ImageList(1). WaveL, נדרש כדי לאחזר את WaveL המשתנה מהרשימה HS_ImageList. המספר 1 בתוך סוגריים מרובעים מתייחס לרכיב הראשון ברשימה בשם HS_ImageList; עם זאת, מאז כל hypercubes יש את אותו טווח אורך גל, זה יכול להיות מוחלף על ידי כל מספר מינורי או שווה למספר הכולל של תמונות המפורטות.
   8. חלץ את מפות SAM באמצעות הספקטרום כולו על-ידי הפעלת קוד ההערכה הסטנדרטי של מפות SAM, SAM_Standard. הקלד את שורת הפקודה הבאה (נקודה-פסיק כלולה) בחלון המסוף והקש Enter כדי להפעיל את הקוד:
      SAM_Standard(HS_ImageList, HS_DataList, References_Matrix);
      1. ישנם שלושה כניסות (הרשימה המכילה את התמונות המוחזרות על ידי המצלמה hyperspectral, HS_ImageList; רשימת הקבצים המכילים hypercubes, HS_DataList; ואת המטריצה של ספקטרום הייחוס, References_Matrix) וללא פלט: הקוד שומר את מפות SAM כמו .png תמונות בתיקיית העבודה הנוכחית.
   9. בדוק אם מפות הדמיון המתקבלות (איור 2, עמודות B - E) מציגות את פרטי משיחות המברשת המשמשות למימוש דגימות הבדיקה. אם זה המקרה, עבור לשלב הבא של הפרוטוקול; אחרת חזור לשלב 1.3.1 והפעל מחדש.

2. התאמת הפרמטרים הניסיוניים לציור

1. זהה את האזורים של עניין, החזרי על הוצאות על החיים, של הציור שיש לחקור (מלבנים אדומים באיור 3A).
   הערה: זה נפוץ כי יותר מ- FOV אחד יש צורך לכסות ROI יחיד.
2. סדר את הגדרת הרכישה ואת הציור במרחק שהוגדר בשלבים הקודמים ובצע את הכיול הלבן תוך שימוש בהפניה הסטנדרטית הלבנה המסופקת עם המצלמה ההיפרספקטרלית.
   הערה: אם המשתמשים חייבים לבצע רכישה במקום (כלומר, הם חייבים ללמוד ציור שנחשף במוזיאון או בתערוכה), הם יכולים רק לנהל את המצלמה. זהו המקרה של קווארטו סטטו, אשר נחשף לצמיתות בחלל ייעודי במוזיאון דל נובסנטו במילאנו, איטליה.
3. רכשו את הנתונים ההיפרספקטרליים מלפחות FOV אחד בקצה כל החזר על ההחזר על החיים (אזורים שלא צלו בתוך המלבנים האדומים באיור 3A).
4. הורד את הקבצים המוחזרים על-ידי המכשיר ושמור אותם בתיקיה ייעודית.
5. בדוק אם התאורה של פני השטח של הציור נקבעה באופן אחיד על-ידי התבוננות בתמונות ה-RGB המוחזרות על-ידי המצלמה ההיפרספקטרלית. במקרה זה, עבור לשלבים הבאים, אחרת חזור לשלב 2.2 והפעל מחדש.
   הערה: איור 4 ממחיש את חשיבותה של בדיקה זו (עיין בסעיף דיון לפרטים).
6. חזור על שלבי המשנה של שלב 1.4.
7. בדקו אם לנתונים יש רזולוציה מרחבית גבוהה מספיק כדי להבחין בין משיחות המברשת על-ידי התבוננות בתמונות ה-RGB של ה-FOVs (איור 3B) ובמפות ה-SAM (איור 3C) הקשורות לספקטרומת הייחוס שנבחרה בתוך ה-FOVs (עיגולים ירוקים באיור 3B).
8. אם התאורה והרזולוציה המרחבית הוגדרו כראוי, השלם את איסוף הנתונים הרוכשת את ה- FOVs האחרים הדרושים לכיסוי ה- ROI( ים); אחרת חזור לשלב 2.2 והפעל מחדש.
   הערה: כאשר ROI דורש יותר מ- FOV אחד כדי להיות מכוסה, להבטיח מידה מסוימת של superposition בין FOVs סמוכים כדי לתפור בקלות את המפות המתקבלות3,15. היקף החפיפה תלוי במרחק שבין המצלמה ההיפרספקטרלית לדגימה, בתרגום ובזווית הראייה האופקית של ^הגלאי28. במקרה של הקמפיין הניסיוני שהושפע על קווארטו סטטו, החפיפה נקבעה להיות לפחות 40% של FOVs.

3. היפרקובים וניהול ספקטרום הייחוס

1. בצע את קלט/פלט של הנתונים הגולמיים: ארגן, קרא ונהל את ההיפר-קוביים.
   1. הפעל את קוד HS_FileLister כדי לאחסן את רשימת הקבצים המכילים את hypercubes ואת המידע הקשור לשני משתנים העומדים לרשות האלגוריתם (ראה שלב 1.4.2 לקבלת הפרטים המעשיים).
      הערה: המצלמה hyperspectral מחזירה קבצי HDR (טווח דינמי גבוה) כי הקוד מנהל ניצול גרסה מחדש של התסריט שפותח על ידי Jarek Tuszinsky29.
   2. הפעל את קוד HS_Crop_png כדי לבחור את החלק של כל FOV שישמש בניתוח הנתונים (ראה שלב 1.4.3 לקבלת הפרטים המעשיים).
   3. הפעל את קוד HS_RGB_Rebuild כדי לאחזר את תמונות ה- RGB של FOVs מפרטטרום ההשתקפות (ראה שלב 1.4.4 לקבלת הפרטים המעשיים).
2. ארגן, קרא (במידת הצורך) ונהל את ספקטרום הייחוס.
   הערה: ספקטרום הייחוס ימלא את תפקידם של חברי הקצה בשיטת SAM^20,21. חלק זה של האלגוריתם אינו נקבע באופן חד משמעי אלא תלוי במצב הבחירה ובמקור ספקטרום הייחוס.
   1. הפעל את קוד PointSel ולחץ בתוך החלון האינטראקטיבי המוצג כדי לזהות את ספקטרום הייחוס כנקודות מדידה מבודדות על פני השטחים המנוטרים (איור 5A) (ראה שלב 1.4.5 לקבלת הפרטים המעשיים).
   2. בחר באופן אוטומטי את ספקטרום הייחוס כרטיקולום רגיל של נקודות מדידה על גבי פני השטח של האזורים המנוטרים על-ידי הפעלת קוד בחירת הרשתית, ReticularSel (איור 5B). הקלד את שורת הפקודה הבאה (נקודה-פסיק כלולה) בחלון המסוף והקש Enter כדי להפעיל את הקוד:
      [הפניות] = רשתית (HS_DataList, HS_ImageList, n_pixel);
      1. ישנם שלושה כניסות (הרשימה המכילה את התמונות המוחזרות על ידי המצלמה hyperspectral, HS_ImageList; רשימת הקבצים המכילים hypercubes, HS_DataList; ואת המרווח של reticulum, n_pixel, לידי ביטוי במספר פיקסלים) ופלט אחד: משתנה המכיל את הספקטרום שנבחר כהפניות בתוך FOVs, הפניות.
   3. הפעל את קוד יבואן ההפניות החיצוניות, Spectra_Importer, כדי ליצור משתנה המכיל הפניות מערכות נתונים ומאגרי נתונים ללא תלות בהיפרקובים שנרכשו ב- Quarto Stato. הקלד את שורת הפקודה הבאה (נקודה-פסיק כלולה) בחלון המסוף והקש Enter כדי להפעיל את הקוד:
      [ExtReferences] = Spectra_Importer(file_extension);
      1. יש קלט אחד (סיומת הקובץ המכילה את ספקטרום הייחוס הבלתי תלוי, file_extension, שנכתב בין חסות) ופלט אחד (משתנה המכיל את ההפניות החיצוניות, ExtReferences).
         הערה: קוד יבואן ההפניה החיצונית עבר אופטימיזציה לייבוא קבצי tmr, אך במידת הצורך, ניתן לשנות אותו בקלות כדי להתמודד עם כל סוג של קובץ טקסט.
   4. הפעל את קוד RefListToMatrix כדי להכניס את ההפניות למטריצה, References_Matrix או ExtReferences_Matrix, כנדרש על-ידי הקוד המעריך את מפות SAM (ראה שלב 1.4.7 לקבלת הפרטים המעשיים).
   5. המתן לקוד RefListToMatrix כדי להשוות הן את טווח אורך הגל והן את הרזולוציה הספקטרלית (כלומר, מספר הרכיבים) של hypercubes ואת ההפניות.
      הערה: הקוד מזהה את טווחי אורך הגל של ההיפראקובים וההפניות. הקוד משווה את טווחי אורך הגל וחותך את מרווחי אורך הגל שאינם מנוטרים הן על-ידי ההיפרקובים והן על-ידי ההפניות. הקוד מזהה את קבוצת ההיפר-וקטורים (ההיפר-קוביות או ההפניות) המרכיבים את מספר הרכיבים הנמוך יותר (כלומר, המאופיין ברזולוציה הספקטרלית הנמוכה יותר) בטווח אורך הגל המשווון. הקוד מפחית את מספר הרכיבים של היפר-וקטורים ארוכים יותר (ההפניות או hypercubes) לזה של הקצרים יותר (hypercubes או ההפניות). זה נעשה על ידי שמירה, עבור כל אורך גל של hyper-vectors קצר, רק את הערכים של hyper-vectors ארוך יותר המתאים אורך הגל הקרוב ביותר לזה של hyper-vectors קצר יותר.
      1. הקוד מבצע באופן אוטומטי את השוויון. אם ההפניות נבחרו בתוך hypercubes, טווח אורך הגל והרזולוציה הספקטרלית אינם צריכים להיות שווים והם נשארים ללא שינוי.
   6. אם תרצה, לאחסן את המיקום של הפניות על פני השטח של הדגימות לתוך קבוצה של תמונות על ידי הפעלת הקוד הייעודי (ראה שלב 1.4.7 עבור הפרטים המעשיים).
      הערה: אפשרות זו זמינה רק אם ההפניות נבחרו בתוך hypercubes (שלבים 3.2.1 ו- 3.2.2).

4. ניתוח SAM

1. הפעל את קוד SAM_Complete כדי להעריך את מפות הדמיון. הקלד את שורת הפקודה הבאה (נקודה-פסיק כלולה) בחלון המסוף והקש Enter כדי להפעיל את הקוד:
   SAM_Complete (HS_ImageList, HS_DataList, References_Matrix);
   1. ישנם שלושה כניסות (הרשימה המכילה את התמונות המוחזרות על ידי המצלמה hyperspectral, HS_ImageList; רשימת הקבצים המכילים את hypercubes, HS_DataList; ואת מטריצת הייחוס, References_Matrix או ExtReferences_Matrix) ואין יציאות (הקוד שומר את מפות SAM כמו קבצי .png בתיקיית העבודה הנוכחית).
      הערה: מלבד שלושת משתני הקלט המתוארים, יש להאכיל את קוד SAM_complete עם מעט פרמטרים נוספים כדי להתאים את פרוטוקול הניתוח בהתאם להעדפות המשתמש (ראה את השלבים הבאים).
2. בעת הצורך, הזן את הקוד באפשרות עיבוד קדם על-ידי הקלדת המספר 0 או 1 בתיבת הדו-שיח בהתאם לפעולת קדם העיבוד הרצויה והקש Enter כדי להמשיך.
   1. אפשרות עיבוד קדם מוגדרת ל- 0: השטח המופחת על-ידי כל ספקטרום שיקוף מנורמל ל- 1.
   2. אפשרות עיבוד קדם מוגדרת ל- 1: השטח המופחת על-ידי כל ספקטרום רפלקטיביות מנורמל ל- 1 ולאחר מכן הספקטרום המנורמל נגזר פעם אחת.
      הערה: הן ההיפר-קוביות והן ההפניות עוברות את אותה אפשרות טרום עיבוד.
3. בחר את חברי הקצה שישמשו לניתוח SAM בין מטריצת הייחוס על-ידי הזנת הקוד במספרי העמודות התואמות לספקטרום הרצוי. בעת הצורך, הזן בתיבת הדו-שיח את רצף המספרים המתאימים לעמודות הרצויות על-ידי הקלדת המספרים המופרדים באמצעות רווח לבן. הקש Enter כדי להמשיך.
   הערה: הרצף [12 3] תואם לבחירת שלוש העמודות הראשונות של מטריצת הייחוס; וקטור ריק מתאים לבחירת כל העמודות של מטריצת הייחוס.
4. הזן את הקוד במחרוזת המכילה את החלק הראשון של השם שיזהה את ערכות המפות שיש לשמור (כלומר, החלק המשותף של שם הקבצים .png המוחזרים על-ידי SAM_Complete). בעת הצורך, הוסף את המחרוזת לתיבת הדו-שיח. הקש Enter כדי להמשיך.
   הערה: אם סוגי המשתמשים בודקים, השם של כל הפלט .png תמונות יתחיל בבדיקה.
5. בעת הצורך, הזן את הקוד בשיטה שנבחרה כדי לטפל בנתונים על-ידי הקלדת המספר 0, 1 או 2 בתיבת הדו-שיח בהתאם לשיטת המזהה הרצויה והקש Enter כדי להמשיך.
   1. הגדר את פעולת השירות כ- 0 ללא מניפולציה של הנתונים.
   2. הגדר את השיטה ל- 1 כדי לדרוש בחירה ידנית של טווחי אורך הגל של הספקטרום לפני תחילת הניתוח (איור 6).
   3. הגדר את השיטה ל- 2 כדי לדרוש מהאלגוריתם להזמין את הנתונים על בסיס קריטריון ספציפי לפני הערכת מפות SAM (איור 7).
6. המתן עד שהפרוטוקול יעבד את הנתונים וישמור את מפות SAM בתיקיית העבודה הנוכחית כקבצי .png.
   הערה: אם שיטת המזהה הייחודי (handle) הוגדרה כ- 0 או 2, על המשתמש פשוט להמתין. אם הוא הוגדר ל- 1, על המשתמש לבחור את החלקים של הספקטרום שיש להשתמש בו להערכת מפות SAM על-ידי לחיצה על חלון אינטראקטיבי (איור 6).

תוצאות

הפרוטוקול המוצע מציע סדרה של תכונות מעניינות לניהול וניתוח נתוני HRI. קלט/פלט (שלב 3.1) של הנתונים הגולמיים הוא תמיד הבעיה הראשונה שיש לפתור לפני החלת שיטת ניתוח כלשהי והיא יכולה להפוך לבעיה קריטית בעת התמודדות עם כמויות גדולות של נתונים. במקרה הנוכחי, המשימה היחידה לגבי הנתונים הגולמיים היא ...

Discussion

ערכות נתונים של הדמיית רפלקטיביות היפרספקטרליות הן מאגרי מידע גדולים; לכן, פיתוח פרוטוקולים חזקים, ואולי אוטומטיים לנתח את הנתונים הוא תפנית מפתח לנצל את הפוטנציאל ^{שלהם15,17}. האלגוריתם המוצע עונה על צורך זה בתחום המורשת התרבותית בתשומת לב מיוחדת לאפיון הפיג?...

Materials

Name	Company	Catalog Number	Comments
ImageJ/Fiji	Specim (Oulo, Finlad)	N/A	Portable reflectance hyperspectral camera used to acquire the hypercubes
MATLAB 2019b	StellarNet Inc (Tampa, Florida, USA)	N/A	Portable reflectance spectrometer used to acquire independent reflectance spectra
Specim IQ Hyperspectral Camera	National Institutes of Health (Bethesda, Maryland, USA)	N/A	Open source Java image processing program
StellarNet BLUE-wave Miniature Spectrometer	MathWorks (Natick, Massachusset, USA)	N/A	Program Language and numerical computing environment