Модель на основе трансформатора Swin для обнаружения узлов щитовидной железы на ультразвуковых изображениях

Резюме

Здесь предложена новая модель обнаружения узлов щитовидной железы на ультразвуковых изображениях, которая использует Swin Transformer в качестве основы для выполнения долгосрочного контекстного моделирования. Эксперименты доказывают, что он хорошо работает с точки зрения чувствительности и точности.

Аннотация

В последние годы заболеваемость раком щитовидной железы растет. Обнаружение узлов щитовидной железы имеет решающее значение как для выявления, так и для лечения рака щитовидной железы. Сверточные нейронные сети (CNN) достигли хороших результатов в задачах ультразвукового анализа изображений щитовидной железы. Однако из-за ограниченного действительного рецептивного поля сверточных слоев CNN не могут улавливать долгосрочные контекстуальные зависимости, которые важны для идентификации узлов щитовидной железы на ультразвуковых изображениях. Трансформаторные сети эффективны при захвате контекстной информации на большие расстояния. Вдохновленные этим, мы предлагаем новый метод обнаружения узлов щитовидной железы, который сочетает в себе основу Swin Transformer и Faster R-CNN. В частности, ультразвуковое изображение сначала проецируется в 1D-последовательность встраиваний, которые затем подаются в иерархический преобразователь Swin Transformer.

Магистраль Swin Transformer извлекает функции в пяти различных масштабах, используя смещенные окна для вычисления самовнимания. Впоследствии сеть пирамиды признаков (FPN) используется для объединения объектов из разных масштабов. Наконец, головка обнаружения используется для прогнозирования ограничительных рамок и соответствующих оценок достоверности. Данные, собранные у 2 680 пациентов, были использованы для проведения экспериментов, и результаты показали, что этот метод достиг наилучшего показателя mAP 44,8%, превзойдя исходные показатели на основе CNN. Кроме того, мы получили лучшую чувствительность (90,5%), чем конкуренты. Это указывает на то, что контекстное моделирование в этой модели эффективно для обнаружения узлов щитовидной железы.

Введение

Заболеваемость раком щитовидной железы быстро росла с 1970 года, особенно среди женщин среднего возраста¹. Узлы щитовидной железы могут предсказывать появление рака щитовидной железы, и большинство узлов щитовидной железы протекают бессимптомно². Раннее выявление узлов щитовидной железы очень полезно при лечении рака щитовидной железы. Поэтому, согласно современным практическим рекомендациям, все пациенты с подозрением на узловой зоб при физикальном осмотре или с аномальными результатами визуализации должны пройти дальнейшее обследование ^3,4.

протокол

Это ретроспективное исследование было одобрено институциональным наблюдательным советом Западно-Китайской больницы Сычуаньского университета, Сычуань, Китай, и требование о получении информированного согласия было отменено.

1. Настройка среды

1. Программное обеспечение графического процессора (GPU)
   1. Чтобы реализовать приложения глубокого обучения, сначала настройте среду, связанную с графическим процессором. Загрузите и установите соответствующее графическому процессору программное обеспечение и драйверы с веб-сайта графического процессора.
      ПРИМЕЧАНИЕ: См. Таблицу материалов для тех, которые....

Результаты

Снимки щитовидной железы были получены в двух больницах Китая с сентября 2008 года по февраль 2018 года. Критериями приемлемости для включения изображений США в это исследование были обычное обследование УЗИ перед биопсией и хирургическим лечением, диагностика с помощью биопсии или после.......

Обсуждение

В этом документе подробно описывается, как выполнить настройку среды, подготовку данных, конфигурацию модели и обучение сети. На этапе настройки среды необходимо обратить внимание на совместимость и согласованность зависимых библиотек. Обработка данных является очень важным шагом; В?.......

Материалы

Name	Company	Catalog Number	Comments
GPU RTX3090	Nvidia	1	24G GPU
mmdetection2.11.0	SenseTime	4	https://github.com/open-mmlab/mmdetection.git
python3.8	—	2	https://www.python.org
pytorch1.7.1	Facebook	3	https://pytorch.org