Мультимодальная кросс-девайсная и безмаркерная корегистрация методов доклинической визуализации

Резюме

Комбинация нескольких методов визуализации часто необходима для получения всестороннего понимания патофизиологии. Этот подход использует фантомы для генерации дифференциального преобразования между системами координат двух модальностей, которое затем применяется для совместной регистрации. Этот метод устраняет необходимость в реперных точках при сканировании в производстве.

Аннотация

Интегрированные доклинические мультимодальные системы визуализации, такие как рентгеновская компьютерная томография (КТ) в сочетании с позитронно-эмиссионной томографией (ПЭТ) или магнитно-резонансная томография (МРТ) в сочетании с ПЭТ, широко доступны и, как правило, обеспечивают надежную совместную регистрацию объемов. Тем не менее, часто требуются отдельные устройства для объединения автономной МРТ с существующей ПЭТ-КТ или для включения дополнительных данных оптической томографии или рентгеновской микротомографии высокого разрешения. Это требует совместной регистрации изображений, которая включает в себя сложные аспекты, такие как мультимодальное проектирование ложа мыши, включение реперных маркеров, реконструкция изображений и объединение изображений на основе программного обеспечения. Реперные знаки часто создают проблемы для данных in vivo из-за проблем с динамическим диапазоном, ограничений поля зрения изображения, трудностей с размещением маркеров или потери сигнала маркера с течением времени (например, из-за высыхания или распада). Эти проблемы должны быть поняты и решены каждой исследовательской группой, требующей совместной регистрации изображений, что приводит к повторным попыткам, поскольку соответствующие детали редко описываются в существующих публикациях.

Этот протокол описывает общий рабочий процесс, который позволяет преодолеть эти проблемы. Несмотря на то, что дифференциальное преобразование изначально создается с использованием реперных знаков или визуальных структур, такие маркеры не требуются при сканировании в производстве. Подробно описаны требования к объемным данным и метаданным, генерируемым программным обеспечением для восстановления. Обсуждение охватывает достижение и проверку требований отдельно для каждой модальности. Описан фантомный подход для генерации дифференциального преобразования между системами координат двух модальностей визуализации. Этот метод демонстрирует, как совместно регистрировать производственные сканы без реперных обозначений. Каждый шаг проиллюстрирован с помощью доступного программного обеспечения, с рекомендациями по коммерчески доступным фантомам. Показана целесообразность применения этого подхода при использовании различных комбинаций методов визуализации, установленных на различных объектах.

Введение

Различные методы доклинической визуализации имеют свои преимущества и недостатки. Например, рентгеновская компьютерная томография (КТ) хорошо подходит для исследования анатомических структур с различной плотностью радиоизлучения, таких как кости и легкие. Он широко используется благодаря высокой скорости получения, высокому трехмерному разрешению, относительной простоте оценки изображения и универсальности с контрастными веществами или без них ^1,2,3. Магнитно-резонансная томография (МРТ) обеспечивает наиболее универсальное контрастирование мягких тканей без ионизирующего излучения⁴. С другой стороны, методы, основанные на индикаторах, такие как позитронно-эмиссионная томография (ПЭТ), однофотонная эмиссионная компьютерная томография (ОФЭКТ), флуоресцентно-опосредованная томография (ТФМ) и магнитопорошковая томография (ИМП), являются установленными инструментами для количественной оценки молекулярных процессов, метаболизма и биораспределения меченых радиоактивных диагностических или терапевтических соединений с высокой чувствительностью. Однако им не хватает разрешающей способности и анатомической информации ^5,6. Таким образом, более анатомически ориентированные модальности, как правило, сочетаются с высокочувствительными, имеющими свои сильные позиции в обнаружении трассеров⁷. Эти комбинации делают возможным количественное определение концентраций индикаторов в пределах конкретной области интереса ^8,9. Для комбинированных устройств визуализации корегистрация модальностей обычно является встроенной функцией. Тем не менее, также полезно совместно регистрировать сканирование с разных устройств, например, если устройства были приобретены отдельно или если гибридное устройство недоступно.

Эта статья посвящена кросс-модальному слиянию в визуализации мелких животных, что имеет важное значение для фундаментальных исследований и разработки лекарств. Предыдущее исследование¹⁰ указывает на то, что это может быть достигнуто с помощью распознавания признаков, контурного картографирования или реперных (реперных точек). Реперные точки — это опорные точки для точного выравнивания и корреляции изображений, полученных с помощью различных методов визуализации. В особых случаях реперными точками могут быть даже точки китайских чернил на коже обнаженных мышей¹¹; Тем не менее, часто используется картридж для визуализации со встроенными реперными знаками. Несмотря на то, что это надежный и хорошо разработанный метод¹⁰, его использование для каждого сканирования сопряжено с практическими проблемами. Реперные точки, обнаруживаемые с помощью МРТ, часто имеют жидкую основу и имеют тенденцию к высыханию во время хранения. ПЭТ требует радиоактивных маркеров, сигнал которых распадается в соответствии с периодом полураспада излучателя, который обычно короток для биомедицинских применений, что требует подготовки незадолго до сканирования. Другие проблемы, такие как несоответствие в динамическом диапазоне сигнала от реперного маркера и исследуемого объекта, сильно влияют на визуализацию in vivo . Широкий диапазон динамического контраста требует частой адаптации мощности сигнала маркера к исследуемому объекту. Следовательно, в то время как слабый сигнал маркера может не быть обнаружен при анализе, сильный сигнал маркера может создать артефакты, ухудшающие качество изображения. Кроме того, для согласованного включения маркеров поле зрения должно быть неоправданно большим для многих применений, что потенциально может привести к более высокому радиационному воздействию, большим объемам данных, более длительному времени сканирования и, в некоторых случаях, более низкому разрешению. Это может повлиять на здоровье лабораторных животных и качество генерируемых данных.

Преобразование и дифференциальное преобразование
Набор данных изображений состоит из воксельных данных и метаданных. Каждый воксель связан со значением интенсивности (рис. 1A). Метаданные включают преобразование, определяющее размещение набора данных в системе координат устройства обработки изображений (рисунок 1B) и размер воксела, используемый для масштабирования системы координат. Дополнительная информация, такая как тип устройства или дата сканирования, может быть дополнительно сохранена в метаданных. Упомянутое преобразование математически называется преобразованием твердого тела. Преобразования твердого тела используются для изменения ориентации или положения объектов на изображении или в геометрическом пространстве с сохранением расстояния между каждой парой точек, что означает, что преобразованный объект сохраняет свой размер и форму при вращении и перемещении в пространстве. Любую последовательность таких преобразований можно описать как единое преобразование, состоящее из вращения с последующим перемещением. Формула, используемая программным обеспечением для перехода от координаты данных к метрической целевой координате, показана на рисунке 1C, где R — матрица ортонормального вращения, d и v — индексы и размеры вокселей, а t — вектор перемещения^{3 x 12}. Вращение подробно показано на рисунке 1D.

Рисунок 1: 2D-представление структуры и размещения набора данных изображений в глобальной системе координат. (A) Набор данных изображений состоит из воксельных данных и метаданных. Преобразование, определяющее размещение и размер воксела, является важным компонентом метаданных. (B) Изображение визуализируется в систему координат устройства. Необходимое преобразование для размещения объекта состоит из поворота (синий) с последующим перемещением (зеленый). (C) Чтобы перейти от координаты данных к целевой координате, программное обеспечение использует следующую формулу, где R — матрица ортонормального вращения, d и v — индексы и размеры вокселей, а t — вектор перемещения 3 x 1. (D) Матрица вращения (синяя в плоскости А) представляет собой линейное преобразование вращающихся точек. Умножение координат точки на эту матрицу приводит к получению новых, повернутых координат. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Дифференциальное преобразование — это преобразование твердого тела, преобразующее координаты из одной системы координат в другую, например, из ПЭТ в рентгеновскую микротомографию (μКТ), и может быть вычислено с помощью реперных маркеров. По крайней мере три общие точки - реперные точки - выбираются в обеих системах координат. Из их координат может быть выведено математическое преобразование, которое преобразует координаты. Программное обеспечение использует метод наименьших квадратов, который обеспечивает наилучшее решение для системы уравнений с ошибками или шумом в измеряемых данных. Это называется проблемой Прокруста¹³ и решается с помощью сингулярного разложения. Метод надежен и устойчив, поскольку он приводит к уникальному и четко определенному решению (если задано по крайней мере три неколлинеарных маркера). Вычисляется шесть свободных параметров: три для трансляции и три для вращения. Далее мы будем использовать термин «матрица преобразований», хотя технически она состоит из матрицы вращения и вектора перемещения.

Каждое устройство обработки изображений имеет свою собственную систему координат, и программное обеспечение вычисляет дифференциальное преобразование для их выравнивания. На рисунках 2A,B описывается, как определяется дифференциальное преобразование, а на рисунках 2C,D описывается, как оно применяется. Изображения обоих модальностей могут иметь разные размеры и сохранять их в процессе, как показано на примере изображения со слиянием КТ и ПЭТ на рисунке 2E.

Рисунок 2: Дифференциальное преобразование. (A-D) Упрощенное до 2D. Хотя это применимо к другим методам, предполагается, что в данном примере модальностями являются КТ и ПЭТ. (А,В) Изображение компьютерной томографии с красным ограничивающим прямоугольником располагается в системе координат. Примененное к той же системе координат, изображение ПЭТ с желтым ограничивающим прямоугольником располагается с отклонением. (B) Используя реперные маркеры, которые могут быть расположены как в КТ, так и в ПЭТ, можно определить дифференциальное преобразование T. Это символизируется стрелкой. Сохраняется матрица дифференциального преобразования. (D) Ранее сохраненная матрица дифференциального преобразования T может быть применена к каждому изображению ПЭТ. В результате получается новое преобразование, которое заменяет исходное преобразование в метаданных. (E) Компьютерная томография, объединенная с ПЭТ-изображением. Преобразования в метаданных обоих изображений относятся к одной и той же системе координат. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Метод и требования
Для представленного метода фантом, содержащий маркеры, видимые в обеих модальностях, сканируется в обоих устройствах. Затем достаточно отметить эти реперные точки в предлагаемом программном обеспечении для вычисления дифференциального преобразования между двумя модальностями. Дифференциальное преобразование должно создаваться индивидуально для каждой пары устройств. Его можно сохранить и позже применить к любому новому изображению, тем самым исключив необходимость в реперных знаках при последующих сканированиях. Окончательное размещение изображения в системе координат другого устройства может быть опять-таки описано как преобразование и сохраняться в метаданных изображения, заменяя там исходное преобразование.

Для этого метода можно сформулировать четыре требования: (1) Мультимодальный фантом: фантом, содержащий маркеры, видимые в обеих модальностях, должен быть доступен. Большой выбор фантомов является коммерчески доступным, и использование 3D-печати для создания фантомов было широко описано¹⁴, включая даже использование радиоизотопов15. Фантомы, используемые в следующих примерах, перечислены в Таблице материалов. Требуется не менее трех неколлинеарных точек¹⁶. Маркерами могут быть полости, которые могут быть заполнены подходящим индикатором, небольшие объекты, изготовленные из материала, который легко обнаруживается в каждой модальности, или просто отверстия, разрезы или края в самом фантоме, если они могут быть идентифицированы в обеих модальностях. (2) Мультимодальный носитель: необходим носитель, такой как подставка для мыши, которая может быть зафиксирована в воспроизводимом положении в обоих устройствах. В идеале не должно быть возможности использовать его в обратном положении, чтобы избежать ошибок. Носитель особенно важен для визуализации in vivo, потому что он необходим для транспортировки успокоительного животного от одного устройства визуализации к другому без изменения его положения. Исходя из нашего опыта, мыши, находящиеся под действием седативных препаратов, чаще меняют свое положение на плоской мышиной кровати по сравнению с мышиной кроватью вогнутой формы. Кроме того,^{ранее было предложено} изготовленное на 3D-принтере приспособление для удержания большеберцовой кости мыши с целью минимизации движения. (3) Самосогласованность: Каждое устройство визуализации должно обеспечивать вращение и трансляцию восстановленного объема в своей системе отсчета воспроизводимым и когерентным образом. Это также означает, что система координат для всего устройства сохраняется при сканировании только небольшой области. Это часть протокола для проверки устройства визуализации на его самосогласованность. (4) Поддержка программного обеспечения: предлагаемое программное обеспечение должно быть способно интерпретировать метаданные (размер вокселя, перевод, ориентация), сохраненные вместе с восстановленным объемом, предоставленным устройством. Том может быть в формате DICOM, NIfTI, Analyze или GFF. Обзор различных форматов файлов см. в Yamoah et ^al.12.

В то время как описана совместная регистрация двух модальностей, эта процедура также применима к трем или более модальностям, например, путем совместной регистрации двух модальностей в одну референтную модальность.

протокол

Программные этапы протокола должны выполняться в Imalytics Preclinical, которая называется «программным обеспечением для анализа» (см. Таблицу материалов). Он может загружать объемы в виде двух разных слоев, называемых «подложкой» и «наложением»¹⁸. Рендеринг подложки обычно используется для проверки анатомически детализированного набора данных, на котором может быть основана сегментация; Наложение, которое может быть визуализировано прозрачно, может быть использовано для визуализации дополнительной информации в изображении. Обычно распределение сигнала модальности на основе трассеров отображается в оверлее. Протокол требует переключения выбранного слоя несколько раз. Это слой, на который будут влиять операции редактирования. Выбранный в данный момент слой отображается в выпадающем списке на верхней панели инструментов между значками мыши и окна. Можно нажать клавишу Tab для переключения между подложкой и наложением, или выбрать нужный слой прямо из выпадающего списка. В протоколе сканы (или изображения), используемые для проверки самосогласованности и определения дифференциального преобразования, будут называться «калибровочными сканами», в отличие от «производственных сканов», которые впоследствии используются для создания изображений с целью создания контента. В протоколе используются методы КТ и ПЭТ. Однако, как описано ранее, этот метод применим ко всем методам доклинической визуализации, способным получать объемные данные.

1. Сборка держателя и фантома

ПРИМЕЧАНИЕ: Должен быть доступен подходящий мультимодальный носитель, например, лежанка для мыши, на которой можно закрепить фантом. Ознакомьтесь с обсуждением, чтобы узнать о предложениях, частых проблемах и устранении неполадок, связанных с этой ассамблеей.

1. Подготовьте реперные метки в фантоме.
   ПРИМЕЧАНИЕ: Требуемая конкретная подготовка варьируется в зависимости от используемого метода и используемого индикатора. Например, многие фантомы МРТ содержат полости, которые необходимо заполнить водой, в то время как ПЭТ, как другой пример, требует радиоактивного индикатора.
2. Поместите фантом в держатель и закрепите его материалом, например лентой, который не ухудшит качество изображения.
   ПРИМЕЧАНИЕ: Требования к фантому подробно описаны в разделе Введение.

2. Выполнение калибровочных сканирований и проверка самосогласованности

ПРИМЕЧАНИЕ: Этот шаг необходимо повторить для каждого устройства визуализации.

1. Получите два скана с разными полями зрения.
   1. Поместите носитель в устройство формирования изображений. Убедитесь, что он размещен надежным и воспроизводимым образом.
   2. Сканируйте в соответствии с инструкциями производителя устройства, используя большое поле зрения, которое охватывает весь фантом. В следующих шагах это изображение будет называться «Изображение А».
      ПРИМЕЧАНИЕ: Важно включить все реперные точки, так как этот скан также будет использоваться для расчета матрицы дифференциального преобразования.
   3. Снимите носитель с устройства формирования изображения и установите его на место.
      ПРИМЕЧАНИЕ: Этот шаг обеспечивает надежное размещение носителя в устройстве.
   4. Если устройство формирования изображений не поддерживает ограниченное поле зрения, т.е. всегда сканирует все поле зрения, можно обоснованно предположить самосогласованность. Перейдите непосредственно к шагу 3.
   5. Выполните повторное сканирование в соответствии с инструкциями производителя устройства, на этот раз используя значительно меньшее поле зрения. Это изображение будет называться «Изображение Б» в следующих шагах.
      ПРИМЕЧАНИЕ: Важно сделать два сканирования с разными полями зрения. Точное положение поля зрения не имеет критического значения для изображения В, если в него включена некоторая видимая информация, такая как фантомные структуры или как можно больше реперных точек.
2. Загрузите подложку.
   1. Откройте программное обеспечение для анализа.
   2. Загрузить изображение A в качестве подложки: меню Файл > Подложка > Загрузить подложку. В следующем диалоговом окне выберите файл изображения и нажмите кнопку «Открыть».
   3. Если 3D-вид отсутствует, нажмите [Alt + 3] , чтобы активировать его.
   4. Настройка окон: Нажмите [Ctrl + W] и отрегулируйте левую и правую вертикальные полосы в следующем диалоговом окне так, чтобы можно было четко различить фантомные или, в зависимости от модальности, трассировщики. Нажмите «ОК», чтобы закрыть диалоговое окно.
3. Загрузите оверлей.
   1. Загрузите изображение B в качестве наложения: Файл меню > Наложение > Загрузить наложение. В следующем диалоговом окне выберите файл изображения и нажмите кнопку «Открыть».
   2. Измените метод рендеринга: Меню 3D-рендеринг > режим наложения > проверьте рендеринг ISO.
      ПРИМЕЧАНИЕ: Хотя модальности на основе трассеров, такие как PET или SPECT, обычно просматриваются с помощью объемного рендеринга, рендеринг Iso в этом случае позволяет легче сравнивать позиции. Подложка по умолчанию была открыта в рендеринге Iso.
   3. Активируйте просмотр ограничивающих рамок: Меню Вид > Показать символы > Показать ограничивающий прямоугольник > Показать подложку ограничивающего прямоугольника; Меню Вид > Показать символы > Показать ограничивающую рамку > Показать наложенную ограничивающую рамку.
4. Проверьте выравнивание изображения.
   1. Поместите указатель мыши на 3D-вид и с помощью [Ctrl + колесико мыши] измените масштаб вида так, чтобы обе ограничивающие рамки были полностью видны. Удерживайте [Alt + левая кнопка мыши] во время перемещения указателя мыши, чтобы повернуть вид.
   2. Переключите выбранный слой на наложение.
   3. Настройте окна и таблицу цветов: нажмите [Ctrl + w]. В раскрывающемся списке слева от следующего диалогового окна выберите «Желтый». Настройте диапазон в следующем диалоговом окне на аналогичный тот, который был выбран для подложки, а затем измените настройку небольшими шагами, пока желтый рендеринг не будет виден только внутри белого рендеринга. Нажмите «ОК», чтобы закрыть диалоговое окно.
      ПРИМЕЧАНИЕ: Визуализация изображения A (подложка) теперь изображена белым цветом и окружена красной ограничивающей рамкой. Рендеринг изображения B (наложение) изображен желтым цветом и окружен желтым ограничивающим прямоугольником.
   4. Визуально проверьте, являются ли устройство визуализации и метод размещения фантома самосогласованными в соответствии с требованиями. Фантом (или, в зависимости от модальности, трассеры) должен быть полностью выровнен в подложке и наложении. Желтый рендеринг должен быть подмножеством белого рендеринга.
      ПРИМЕЧАНИЕ: Желтая ограничивающая рамка должна быть меньше и находиться внутри красной ограничивающей рамки. Визуальные примеры см. в разделе Репрезентативные результаты. Если выравнивание не совпадает, обратитесь к обсуждению для получения информации о распространенных проблемах с размещением и устранении неполадок.

3. Расчет дифференциального преобразования

1. Загрузите образы обоих режимов.
   1. Откройте программное обеспечение для анализа.
   2. Загрузите изображение компьютерной томографии A в качестве подложки: Файл меню > Подложка > Загрузить подложку. В следующем диалоговом окне выберите файл изображения и нажмите «Открыть».
   3. Загрузите изображение ПЭТ A в качестве наложения: Файл меню > Наложение > Загрузить наложение. В следующем диалоговом окне выберите файл изображения и нажмите «Открыть».
   4. Отображение нескольких видов среза: Нажмите [Alt + A], [Alt + S] и [Alt + C] , чтобы отобразить виды осевого среза, сагиттального и коронального среза.
      ПРИМЕЧАНИЕ: Хотя технически одной плоскости было бы достаточно для поиска реперных точек, одновременный просмотр всех плоскостей позволяет лучше ориентироваться и быстрее осуществлять навигацию.
2. Выполните склейку на основе маркеров.
   ПРИМЕЧАНИЕ: Шаг 3.2 и шаг 3.3 являются альтернативными методами выравнивания подложки и наложения. Сначала попробуйте шаг 3.2, потому что его легче воспроизвести и он потенциально более точен. Шаг 3.3 является запасным вариантом, если недостаточно маркеров четко различимы.
   1. Переключите вид, чтобы отображалась только подложка: Меню Вид > Настройки слоя > Видимость слоя > снимите флажок наложения; Меню Вид > Настройки слоя > Видимость слоя > проверить подложку.
   2. Переключите выбранный слой на подложку.
   3. При необходимости настройте окно: нажмите [Ctrl + W] и настройте левую и правую вертикальные полосы в следующем диалоговом окне, чтобы лучше видеть реперные точки. Нажмите «ОК», чтобы закрыть диалоговое окно.
   4. Активируйте режим действия мыши «создать маркер», нажав на символ маркера на вертикальной панели инструментов с левой стороны. На указателе мыши отображается символ маркера.
   5. Выполнение для каждого реперного рычага фантома: переход к реперному ключу. Для этого поместите указатель мыши на вид плоскости и используйте [Alt + колесико мыши] , чтобы разрезать плоскости. Поместите указатель мыши в центр реперной точки и щелкните левой кнопкой мыши.
      1. Откроется диалоговое окно, в котором программное обеспечение предложит имя с последовательными цифрами. Оставьте предложенное имя, например, "Marker001," и нажмите OK, чтобы сохранить маркер.
         ПРИМЕЧАНИЕ: Можно использовать разные имена, если вы снова используете те же имена маркеров для наложения.
   6. Настройте параметры просмотра, чтобы отобразить наложение: Меню «Вид» > «Настройки слоя» > «Видимость слоя » > проверить наложение.
      ПРИМЕЧАНИЕ: Рекомендуется держать вид подложки включенным, так как полезно оставаться ориентированным и обязательно определить правильный маркер в обоих режимах. Если эти два режима сильно не синхронизированы или если наложение сбивает с толку, отключите его: Меню Вид > Настройки слоя > Видимость слоя > снимите флажок подложки.
   7. Переключите выбранный слой на наложение.
   8. Настройка окон: Если реперные знаки не видны четко, нажмите [Ctrl + W] и отрегулируйте левую и правую вертикальные полосы в следующем диалоговом окне так, чтобы реперные точки были расположены как можно лучше. Нажмите «ОК», чтобы закрыть диалоговое окно.
   9. Выполнение для каждого реперного рычага фантома: переход к реперному ключу. Для этого поместите указатель мыши на вид плоскости и используйте [Alt + колесико мыши] , чтобы разрезать плоскости. Поместите указатель мыши в центр реперной точки и щелкните левой кнопкой мыши.
      1. Откроется диалоговое окно, в котором программное обеспечение предложит имя с последовательными цифрами. Сохраните предложенное имя и нажмите OK, чтобы сохранить маркер.
         ПРИМЕЧАНИЕ: Важно иметь одно и то же имя для сопоставления программных маркеров в подложке и наложении. Это гарантируется, если вы сохраните предложенные имена и будете использовать один и тот же порядок для создания маркеров в обоих модальностях. Если вы меняете имена, убедитесь, что они совпадают.
   10. Активируйте виды обоих слоев: Меню Вид > Настройки слоя > Видимость слоя > проверить подложку; Меню Вид > Настройки слоя > Видимость слоя > проверить наложение.
   11. Выравнивание маркеров подложки и наложения: Слияние меню > Наложение регистров с подложкой > Вычисление поворота и трансляции (маркеры). В следующем диалоговом окне показан остаток сплава. Обратите внимание на это измерение и нажмите OK.
   12. Проверьте результат выравнивания: маркеры в подложке и накладке должны визуально совпадать. Ознакомьтесь с разделом обсуждения для поиска и устранения неполадок и заметок о точности в отношении остаточного сплава.
       ПРИМЕЧАНИЕ: Преобразование наложения было изменено. Чтобы отобразить сведения о новом преобразовании наложения, нажмите [Ctrl + I].
3. Если склейка на основе маркеров невозможна, выполните интерактивное склейка. Если шаг 3.2 завершен, сразу переходим к шагу 3.4.
   1. Активируйте виды обоих слоев: Меню Вид > Настройки слоя > Видимость слоя > проверить подложку; Меню Вид > Настройки слоя > Видимость слоя > проверить наложение.
   2. Активируйте режим мыши «интерактивное слияние изображений», нажав на символ на вертикальной панели инструментов с левой стороны. Символ состоит из трех смещенных эллипсов с точкой в общем центре. Указатель мыши теперь показывает этот символ.
   3. Убедитесь, что панель настроек для режима мыши отображается в верхней области под постоянной панелью инструментов. Есть три флажка для подложки, наложения и сегментации. Проверьте наложение. Снимите флажки с подложки и сегментации.
   4. Интерактивное выравнивание наложения по подложке: Выполняйте повороты и перемещения на различных видах до тех пор, пока подложка и наложение не будут выровнены как можно лучше:
      1. Вращение: поместите указатель мыши у края изображения (осевого, коронального или сагиттального); Символ указателя мыши теперь обведен стрелкой. Удерживая левую кнопку мыши, перемещайте мышь, чтобы повернуть наложение.
      2. Перевод: Поместите указатель мыши ближе к центру изображения. Указатель мыши не обводится. Удерживайте левую кнопку мыши и перемещайте мышь, чтобы переместить наложение.
4. Создание и сохранение дифференциального преобразования: Меню Слияние > Наложение > Создание и сохранение дифференциального преобразования. В следующем диалоговом окне выберите исходный файл наложения и нажмите кнопку " Открыть". Во втором диалоговом окне введите имя файла для дифференциального преобразования и нажмите кнопку Сохранить.
   ПРИМЕЧАНИЕ: Программному обеспечению требуется исходный файл наложения для чтения исходного преобразования и последующего вычисления дифференциального преобразования. Мы предлагаем сохранить матрицу дифференциального преобразования с именем файла, в котором указаны используемые устройства формирования изображений.

4. Производственная визуализация

1. Сканирование в обоих устройствах визуализации.
   1. Закрепите образец (например, лабораторное животное под действием седативных препаратов) на переноске.
      ПРИМЕЧАНИЕ: Важно убедиться, что положение образца внутри носителя не меняется между двумя сканированиями.
   2. Поместите носитель в аппарат КТ. Убедитесь, что держатель установлен так же, как это было сделано во время калибровочного сканирования.
   3. Сканирование проводится в соответствии с инструкцией производителя устройства.
   4. Поместите переноску в устройство для ПЭТ. Убедитесь, что держатель установлен так же, как это было сделано во время калибровочного сканирования.
   5. Сканирование проводится в соответствии с инструкцией производителя устройства.
2. Выполните применение дифференциального преобразования.
   1. Откройте программное обеспечение для анализа.
   2. Загрузить файл CT в качестве подложки: меню Файл > Подложка > Загрузить подложку. В следующем диалоговом окне выберите файл изображения компьютерной томографии и нажмите OK.
   3. Загрузить файл PET в качестве наложения: Меню Файл > Наложение > Загрузить оверлей. В следующем диалоговом окне выберите файл изображения PET и нажмите OK.
   4. Активируйте виды обоих слоев: Меню Вид > Настройки слоя > Видимость слоя > проверить подложку; Меню Вид > Настройки слоя > Видимость слоя > проверить наложение.
   5. Загрузите и примените ранее сохраненную матрицу дифференциального преобразования: Меню > Объединение > Наложение преобразования > Загрузить и применить преобразование. Выберите файл, содержащий матрицу дифференциального преобразования, которую вы сохранили в процессе калибровки, и нажмите «Открыть».
      ПРИМЕЧАНИЕ: На этом шаге изменяются метаданные наложения.
   6. Сохраните измененный оверлей: Меню > Файл > Наложение > Сохранить наложение. В следующем диалоговом окне введите имя и нажмите « Сохранить».
      ПРИМЕЧАНИЕ: Рекомендуется сохранить неизмененные исходные данные и, следовательно, сохранить наложение под новым именем.

Результаты

На рисунках 3 и 4 приведены примеры фантома, который виден при КТ и содержит трубчатые полости, заполненные индикатором, в данном случае для ОФЭКТ. Фантом и используемый трассер перечислены в Таблице материалов.

На этапе 2 протокола описывается калибровка, сканирование и проверка самосогласованности каждого устройства визуализации. Рендеры двух сканов с разными полями зрения должны быть согласованы для каждого устройства. Следовательно, изображение В, изображенное желтым цветом, должно быть подмножеством изображения А, изображенного белым. Пример использования КТ представлен на рисунке 3А. Модальности на основе трассировщиков, такие как PET или SPECT, обычно визуализируются с помощью объемного рендеринга (рис. 3B). Тем не менее, рендеринг Iso упрощает сравнение позиций. Таким образом, протокол предписывает пользователям переключать подложку и наложение на рендеринг Iso, независимо от используемой модальности. Таким образом, в примере с ОФЭКТ желтый рендеринг также должен быть подмножеством белого рендеринга (рис. 3C). В каждом случае желтая ограничивающая рамка должна быть меньше и располагаться внутри красной ограничивающей рамки. Если выравнивание не совпадает, в обсуждении указываются распространенные проблемы с размещением и предлагаются предложения по устранению неполадок.

На шаге 3 протокола описывается, как определить дифференциальное преобразование между двумя модальностями с помощью реперных маркеров. Поскольку трассировщик в модальностях, основанных на трассировке, присутствует в виде объема, пользователь должен определить подходящие точки для использования в качестве (точечного) реперного маркера. На рисунке 4 КТ-изображение фантома загружено в качестве подложки, а ОФЭКТ-изображение загружено в качестве подложки. Центр кривой трубки внутри фантома выбран в качестве реперного маркера для подложки КТ, как показано на рисунке 4A-C в аксиальном, корональном и сагиттальном видах. Соответствующая точка должна быть отмечена на наложении, которое проиллюстрировано на рисунке 4D-F в осевом, корональном и сагиттальном видах. Теперь программное обеспечение может вычислять и применять дифференциальное преобразование к наложению. Это выравнивает маркеры в обеих модальностях, как показано на рисунке 4G, H.

Рисунок 3: Изображения, демонстрирующие самосогласованность. (A) Объем КТ. Шаг 2.4 протокола требует проверки выравнивания изображения. В соответствии с шагами в протоколе, подложка окрашивается в белый цвет, а наложение и ограничивающая рамка наложения окрашиваются в желтый цвет. Оба слоя выровнены (в данном случае второй скан моделируется обрезанной копией первого скана). (B) ОФЭКТ-визуализация фантома с помощью трубок, заполненных трассирующими индикаторами. Объемный рендеринг с помощью таблицы цветов NIH. (C) Изображение ОФЭКТ в рендеринге ISO. Подложка окрашивается в белый цвет, а наложение и ограничивающая рамка наложения — в желтый цвет. Оба слоя выровнены (в данном случае второй скан моделируется обрезанной копией первого скана). Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Рисунок 4: Размещение маркеров на изображениях КТ и ОФЭКТ. Компьютерная томография фантома загружается в качестве подложки. Изображение ОФЭКТ загружается в виде наложения и визуализируется с использованием таблицы цветов NIH. (А-С) Шаг 3.2 протокола требует размещения маркеров в подложке. Центр кривой трубки внутри фантома выбран в качестве реперного обозначения, и в него помещается маркер 001, как показано красной точкой в осевом, корональном и сагиттальном видах. (Д-Ж) Совпадающий маркер помещается в накладку. (G) Осевый вид после преобразования. (H) 3D-вид слитых модальностей. Рендеринг проекции с максимальным интенсионалом используется для того, чтобы сделать трассировщик SPECT видимым внутри фантома. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Обсуждение

Представлен метод мультимодальной сорегистрации изображений, не требующий использования реперных маркеров для производственных сканирований. Фантомный подход генерирует дифференциальное преобразование между системами координат двух модальностей визуализации.

Остаточное термоядерное синтез и валидация дифференциального преобразования
После вычисления дифференциального преобразования программное обеспечение отображает остаток термоядерного синтеза в миллиметрах, представляющий среднеквадратическую ошибку¹⁹ преобразования. Если этот остаток превышает на порядок величину размера воксела, рекомендуется проверить наборы данных на предмет общих проблем. Однако, поскольку все изображения имеют небольшие искажения, остаточное значение не может стать произвольно малым; Он отражает только посадку используемых маркеров. Например, совместная регистрация с тремя маркерами может привести к меньшему остатку на одних и тех же наборах данных, чем преобразование с четырьмя хорошо распределенными маркерами. Это происходит потому, что сами маркеры могут быть переобучены при использовании меньшего количества реперных инструментов. Точность по всему набору данных повышается с увеличением количества маркеров.

Количественная точность метода зависит от конкретной пары используемых устройств. Рассчитанное дифференциальное преобразование между системами координат двух устройств может быть проверено следующим образом: Придерживаясь шага 4 протокола, но снова используя фантом с реперными знаками в качестве «образца». Размещение фантома в любом положении, чтобы убедиться, что он отличается от того, которое использовалось для оценки дифференциального преобразования. Также можно использовать другой фантом, подходящий для соответствующих модальностей, если он доступен. Затем применяем дифференциальное преобразование, определенное ранее (шаг 4.2.5), чтобы выровнять две модальности. Затем размещаем маркеры на изображениях из обеих модальностей в соответствии с шагом 3.2 протокола. Чтобы рассчитать остаточную величину слияния для этих маркеров, нажмите на меню «Слияние » > «Наложение регистров на подложку » > «Отображение оценки остаточного заряда».

Остаточная погрешность описывает среднее смещение сигнала и должна быть в порядке размера воксела. Пороговые значения приемлемости бетона зависят от области применения и могут зависеть от нескольких факторов, таких как жесткость и точность систем визуализации, но также могут зависеть от артефактов реконструкции изображений.

Устранение неполадок с самосогласованностью
Часто трудности с самосогласованностью возникают из-за ненадежного размещения. Распространенной ошибкой является размещение носителя в поперечном перевернутом положении. В идеале он должен быть механически введен в устройство визуализации только в одном направлении. Если это невозможно, следует добавить понятную для пользователя маркировку. Еще одной частой проблемой является возможность смещения по продольной оси, что делает осевое позиционирование ненадежным. Рекомендуется использовать распорку, которую можно прикрепить с одного конца, чтобы закрепить лежанку для мыши на месте. Нестандартные распорки, например, можно быстро и легко создать с помощью 3D-печати. Однако некоторые устройства не могут обеспечить самосогласованность при различных полях зрения. В таких случаях рекомендуется связаться с поставщиком, который должен подтвердить несовместимость и, возможно, устранить ее в будущем обновлении. В остальном метод остается надежным, если для всех сканирований, включая калибровку и производственную визуализацию, поддерживается одинаковое поле зрения.

Для некоторых производственных сканов с неправильным размещением возможно преобразование в откалиброванное положение, если различима достаточная несущая структура. Для визуализации in vivo животное под действием седативных препаратов должно оставаться в одном носителе, и создание одного носителя, который надежно помещается в оба устройства, не всегда достижимо. Часто для метода, основанного на индикаторах, используется мышиная кровать, а затем импровизированное размещение в компьютерном томографе. Например, на рисунке 5A мышиная кровать MPI была размещена поверх ложа для КТ-мыши из-за механических ограничений. Осевой уклон и возможность качения делают такое позиционирование ненадежным. В таких случаях рекомендуется спроектировать адаптер, который заменяет нижнее ложе мыши и обеспечивает блокирующую посадку. Он может, например, использовать цапфы, прикрепленные к нижней части и дополнительные отверстия в нижней части верхней мышиной кровати.

Тем не менее, ретроспективная коррекция для существующих изображений возможна, так как ложе мыши обнаруживается на КТ-изображении. Протокол требует калибровочного сканирования с последующим расчетом дифференциального преобразования наложения в подложку. Процедура аналогична, но также должна сопоставлять каждый отдельный производственный компьютерный томограф с калибровочным сканированием, используя структуры мышиного ложа в качестве реперных точек.

Рисунок 5: Поиск и устранение неполадок при размещении. (A) Ложе для мыши MPI размещается поверх подставки для мыши CT. Следовательно, положение на КТ не может быть достоверно воспроизведено. Самосогласованность может быть достигнута путем объединения каждого КТ-изображения с эталонным КТ-изображением, используемым для оценки дифференциального преобразования. (Б-Г) Упрощено до 2D. (B) Каждое производственное изображение компьютерной томографии загружается в виде наложения и регистрируется на эталонном изображении компьютерной томографии (подложке) с использованием структур мышиного ложа, видимых на компьютерной томографии. Скорректированное производственное КТ-изображение теперь согласуется с референсной КТ и может быть использовано с дифференциальным преобразованием T. (C) Наложение MPI регистрируется на референсное изображение КТ с использованием реперных маркеров фантома. (D) Собираются мультимодальные изображения. Для этого каждое изображение КТ сопоставляется с исходным положением с его индивидуальным дифференциальным преобразованием. Впоследствии наложение MPI также регистрируется в опорном положении с помощью дифференциального преобразования, которое справедливо для всех изображений устройства. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Чтобы сопоставить производственные компьютерные томографы с калибровочным сканированием, обратитесь к разделу 3 протокола, включающему следующие изменения. Для ясности описание продолжится на примере подложки КТ и наложения MPI: На шаге 3.1 загрузите калибровочный скан КТ (изображение А) в качестве подложки и корректируемый КТ-скан в качестве наложения. Используйте структуры ложа мыши MPI либо в качестве маркеров для шага 3.2, либо в качестве визуальных ориентиров для шага 3.3. Пропустите шаг 3.4, но сохраните наложение, представляющее собой скорректированный объем CT (Файл меню > Наложение > Сохранение наложения как). В открывшемся диалоговом окне введите новое имя и нажмите кнопку «Сохранить». Закройте наложение, перейдя в раздел Файл меню > Наложение > Закрытие наложения. Загрузите следующий компьютерный томограф, требующий коррекции, в качестве наложения и возобновите процедуру с шага 3.2 протокола. Концепция, лежащая в основе этого шага, проиллюстрирована на рисунке 5B.

Мышиное ложе теперь практически идентично калибровочному сканированию во всех недавно сохраненных объемах компьютерной томографии. В рамках стандартной процедуры калибровочное сканирование регистрируется на изображениях MPI с использованием дифференциального преобразования T (рис. 5C). Чтобы впоследствии объединить изображение КТ с MPI, всегда используйте скорректированный объем КТ (Рисунок 5D).

Устранение неполадок с перевернутыми изображениями и масштабированием
Представленный здесь метод регистрации предполагает достаточно точное качество изображения и регулирует только вращение и перемещение. Он не корректирует перевернутые изображения или неправильное масштабирование. Однако эти две проблемы можно решить вручную до вычисления дифференциального преобразования.

Несоответствия между форматами данных разных производителей могут привести к тому, что некоторые наборы данных, особенно в формате DICOM, будут отображаться в программном обеспечении как зеркально инвертированные. Поскольку фантомы и лежанки для мышей часто симметричны, эта проблема может быть не сразу очевидна. Обнаружение перевернутых изображений облегчается, когда сканирование содержит узнаваемые надписи в соответствующей модальности, такие как выпуклая надпись в правильной ориентации, видимой на фантоме на рисунке 3H. В примере, показанном на рисунке 6, данные КТ загружаются в качестве подложки, а данные MPI загружаются в качестве наложения. Это сканирование in vivo мыши, помещенной в мышиную кровать MPI с прикрепленными реперными маркерами. Мышиная ложе MPI расположена на верхней части мышиной ложа для μCT (рис. 6A). При соблюдении протокола и маркировке реперных точек как в подложке, так и в наложении в постоянном направлении вращения, получается явно несочетаемый результат (Рисунок 6B). Однако при ближайшем рассмотрении можно выявить проблему. Реперные точки образуют асимметричный треугольник. Наблюдая за сторонами треугольника в осевом виде (рис. 6C, D) от самой короткой до середины и самой длинной, вращение по часовой стрелке очевидно в данных КТ, в то время как вращение против часовой стрелки очевидно в данных MPI. Это демонстрирует, что одно из изображений инвертировано в сторону. В этом случае мы предполагаем, что данные КТ точны. Чтобы исправить наложение MPI, изображение переворачивается: для этого переключите выбранный слой на наложение и нажмите на Меню Редактирование > Отразить > Отразить X. Дифференциальное преобразование, рассчитанное программным обеспечением, охватывает все необходимые вращения, поэтому «Flip X» достаточно, даже если изображение кажется перевернутым в другом направлении.

Рисунок 6: Устранение неполадок при преобразовании. Данные КТ загружаются в виде подложки с размером вокселя 0,240 мм, а данные MPI в виде наложения с размером вокселя 0,249 мм. Ложе для мыши содержит реперные знаки. (A) 3D-вид неисправленного наложенного изображения. Реперные точки в подложке CT обозначены стрелками. Реперные точки в наложении MPI отображаются как сферы в таблице цветов NIH. (B) Несовпадающий результат преобразования, выполненного без соответствующих поправок. Остаток сплавления = 6,94 мм. (C) Измерение расстояний между реперными точками в CT. Вращение по часовой стрелке от самого короткого к самому длинному расстоянию. (D) Измерение расстояний между реперными точками в MPI. Вращение против часовой стрелки от самого короткого к самому длинному расстоянию. Сравнение с измерениями КТ дает коэффициент масштабирования 0,928774. (E) Исправлено наложение после перелистывания и масштабирования. (F) Преобразование с сопоставлением результатов в 3D виде. (G) Преобразование с согласованием результатов в осевом виде. Остаточное сплавление = 0,528 мм. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Наборы данных с неправильными размерами вокселов также можно исправить вручную. Так как габариты фантома должны быть известны, это можно проверить на изображении. Самый простой метод – использование ребра известной длины. Нажмите [Ctrl + правая кнопка мыши] на одном конце края и, удерживая кнопку нажатой, переместите указатель мыши на другой конец края и отпустите кнопку. В последующем диалоговом окне программное обеспечение отображает длину измеренного расстояния на изображении. В примере, проиллюстрированном на рисунке 6, очевидно, что размеры не совпадают при сравнении расстояний между реперными знаками в обеих модальностях (рисунок 6C, D). Опять же, данные КТ считаются точными. Чтобы изменить масштабирование, вычисляется коэффициент масштабирования (SF). Поскольку отношение длин (CT/MPI) не является точно идентичным для каждой стороны треугольника, вычисляется среднее частное: SF = ((l_1CT/l_1MPI) + (l_2CT/l_2MPI) + (l_2CT/l_2MPI)) / 3.

Затем отрегулируйте размер воксела наложения, умножив каждое измерение на SF. Чтобы добиться этого, переключите выбранный слой на перекрытие и откройте меню Редактирование > Изменить размеры вокселей (Change Voxel Sizes). Вычислите каждое измерение, введите значение и нажмите кнопку ОК. Результат обеих коррекций показан на рисунке 6E. После этого оверлей регистрируется на подложке в соответствии с протоколом. Полученное выравнивание показано на рисунке 6F,G. Хотя это обеспечивает быстрое решение для коррекции существующего сканирования, мы рекомендуем откалибровать устройство обработки изображений для промышленного использования.

Ограничения
Этот метод ограничен пространственной сорегистрацией существующих объемных данных, составленных из кубических вокселей. Он не включает в себя процесс реконструкции, который вычисляет объем на основе необработанных данных, сгенерированных устройством визуализации (например, проекции при компьютерной томографии). С этим этапом связаны различные методы улучшения изображения, такие как итерационные методы^20,21 и применение искусственного интеллекта²¹. Хотя описанный метод, в принципе, применим ко всем модальностям, которые позволяют получать 3D-изображения с кубическими вокселями, он не может быть использован для объединения 3D-данных с 2D-данными, как объемная МРТ в сочетании с 2D-инфракрасной термографией²² или флуоресцентной визуализацией, которая может быть актуальна в хирургических приложениях под визуальным контролем. Регистрация 3D-данных не корректирует искажения, подобные тем, которые возникают на МРТ-изображениях на краю катушки. Хотя это не является обязательным, оптимальные результаты достигаются при исправлении искажений в процессе реконструкции. Автоматическое преобразование также не устраняет перевернутые изображения или неправильное масштабирование. Тем не менее, эти две проблемы можно решить вручную, как описано в разделе об устранении неполадок.

Значение метода
Предлагаемый метод устраняет необходимость в реперных знаках при сканировании производства, предлагая ряд преимуществ. Это полезно для методов, для которых требуется обслуживание маркеров или частая замена. Например, большинство маркеров МРТ основаны на влаге, но со временем имеют тенденцию к высыханию, а радиоактивные маркеры ПЭТ распадаются. Устраняя необходимость в реперных знаках при сканировании в рабочей среде, можно уменьшить поле зрения, что приводит к сокращению времени сбора. Это полезно в условиях высокой пропускной способности для снижения затрат и минимизации дозы рентгеновского излучения при компьютерной томографии. Снижение дозы желательно, поскольку радиация может влиять на биологические пути подопытных животных в исследованиях продольной визуализации²³.

Более того, метод не ограничен конкретными модальностями. Компромисс для такой универсальности заключается в том, что автоматизируется меньшее количество шагов. Ранее опубликованный метод объединения данных μКТ и ТФМ использует встроенные маркеры в мышиной подушке для каждого сканирования и может выполнять автоматическое обнаружение маркеров и коррекцию искажений во время реконструкции²⁴. Другие методы устраняют необходимость в маркерах, используя сходство изображений. Хотя этот подход дает хорошие результаты, а также может корректировать искажения²⁵, он применим только в том случае, если эти два метода обеспечивают достаточно схожие изображения. Обычно это не относится к комбинации анатомически детализированной модальности и методологии, основанной на индикаторах. Тем не менее, эти комбинации необходимы для оценки фармакокинетики таргетных агентов²⁶, которые имеют применение в таких областях, как противоопухолевая нанотерапия ^27,28.

Поскольку контроль качества в доклинических исследованиях менее строгий по сравнению с клиническим применением, несоосность комбинированных устройств визуализации является общепризнанной проблемой²⁹. Данные, на которые влияет это смещение, могут быть улучшены ретроспективно путем сканирования фантома и определения дифференциального преобразования, что потенциально снижает затраты и минимизирует вред для животных. В дополнение к продемонстрированному методу, в котором используются реперные знаки для расчета дифференциального преобразования, которое затем применяется к производственным сканированиям, описываются и используются другие возможности слияния изображений. Обзор, который включает в себя ссылки на различные доступные программы, можно найти в Birkfellner et ^al.30.

В заключение можно сказать, что представленный метод предлагает эффективное решение для мультимодальной совместной регистрации изображений. Протокол легко адаптируется для различных методов визуализации, а предоставленные методы поиска и устранения неисправностей повышают устойчивость метода к типичным проблемам.

Материалы

Name	Company	Catalog Number	Comments
177Lu			radiotracer
Custom-build MPI mousebed
Hot Rod Derenzo	Phantech LLC. Madison, WI, USA	D271626	linearly-filled channel derenzo phantom
Imalytics Preclinical 3.0	Gremse-IT GmbH, Aachen, Germany		Analysis software
Magnetic Insight	Magnetic Insight Inc., Alameda, CA, USA		MPI Imaging device
Quantum GX microCT	PerkinElmer		µCT Imaging device
U-SPECT/CT-UHR	MILabs B.V., CD  Houten, The Netherlands		CT/SPECT Imaging device
VivoTrax (5.5 Fe mg/mL)	Magnetic Insight Inc., Alameda, CA, USA	MIVT01-LOT00004	MPI Markers