Оценка производительности средства проверки орфографии интерфейса мозг-компьютер на основе P300 с оценкой задержки на основе классификатора

Резюме

В этой статье представлен метод оценки точности интерфейса мозг-компьютер (BCI) средства проверки орфографии P300 в тот же день с использованием небольшого тестового набора данных.

Аннотация

Оценка производительности является необходимым этапом в разработке и валидации систем интерфейса мозг-компьютер (BCI). К сожалению, даже современные системы BCI работают медленно, что делает сбор достаточного количества данных для проверки трудоемкой задачей как для конечных пользователей, так и для экспериментаторов. Тем не менее, без достаточных данных случайные колебания производительности могут привести к ложным выводам о том, насколько хорошо BCI работает для конкретного пользователя. Например, средства проверки орфографии P300 обычно обрабатывают от 1 до 5 символов в минуту. Для оценки точности с разрешением 5% требуется 20 символов (4-20 мин). Несмотря на эти временные затраты, доверительные границы точности от 20 символов могут достигать ±23% в зависимости от наблюдаемой точности. Было показано, что ранее опубликованный метод, Classifier-Based Latency Estimation (CBLE), сильно коррелирует с точностью BCI. В этой работе представлен протокол использования CBLE для прогнозирования точности орфографии P300 пользователя по относительно небольшому количеству символов (~3-8) вводимых данных. Результирующие доверительные границы более жесткие, чем те, которые получены традиционными методами. Таким образом, метод может быть использован для более быстрой и/или более точной оценки производительности BCI.

Введение

Интерфейсы мозг-компьютер (ИМК) — это неинвазивная технология, которая позволяет людям общаться через машины напрямую, не обращая внимания на физические ограничения, налагаемые организмом. ИМК может использоваться в качестве вспомогательного устройства, управляемого непосредственно мозгом. BCI использует мозговую активность пользователя, чтобы определить, намерен ли пользователь выбрать определенную клавишу (букву, цифру или символ), отображаемую на экране¹. В типичной компьютерной системе пользователь физически нажимает нужную клавишу на клавиатуре. Однако в системе BCI с визуальным дисплеем пользователю необходимо сосредоточиться на нужной клавише. Затем BCI выберет нужный ключ, проанализировав измеренные сигналы мозга¹. Активность мозга можно измерить с помощью различных методик. Несмотря на то, что существуют конкурирующие технологии ИМК, электроэнцефалограмма (ЭЭГ) считается ведущим методом из-за ее неинвазивного характера, высокого временного разрешения, надежности и относительно низкой стоимости².

Области применения BCI включают в себя связь, управление устройствами, а также развлечения 3,4,5,6. Одной из наиболее активных областей применения BCI является средство проверки орфографии P300, которое было представлено Farwell и Donchin⁷. P300 представляет собой потенциал, связанный с событием (ERP), возникающий в ответ на распознавание редкого, но актуального стимула⁸. Когда человек распознает свой целевой стимул, он автоматически вырабатывает P300. P300 является эффективным сигналом для ИМК, поскольку он передает участнику распознавание целевого события, не требуя внешней реакции⁹.

P300 BCI привлек исследователей из области компьютерных наук, электротехники, психологии, человеческого фактора и различных других дисциплин. Достигнуты успехи в обработке сигналов, алгоритмах классификации, пользовательских интерфейсах, схемах стимуляции и многих других областях 10,11,12,13,14,15. Однако, независимо от области исследования, общей нитью во всех этих исследованиях является необходимость измерения производительности системы BCI. Для выполнения этой задачи обычно требуется создание тестового набора данных. Эта необходимость не ограничивается исследованиями; Возможное клиническое применение в качестве вспомогательной технологии, скорее всего, потребует индивидуальных наборов валидации для каждого конечного пользователя, чтобы гарантировать, что система может генерировать надежную связь.

Несмотря на значительные исследования, проведенные в отношении P300 BCI, системы все еще довольно медленные. В то время как большинство людей могут использовать P300 BCI¹⁶, большинство средств проверки орфографии P300 создают текст порядка 1-5 символов в минуту. К сожалению, такая низкая скорость означает, что создание тестовых наборов данных требует значительного времени и усилий для участников, экспериментаторов и конечных пользователей. Измерение точности системы BCI является биномиальной задачей оценки параметров, и для хорошей оценки необходимо много символов данных.

Для оценки наличия или отсутствия P300 ERP большинство классификаторов используют модель бинарной классификации, которая включает в себя присвоение двоичной метки (например, «присутствие» или «отсутствие») каждому испытанию или эпохе данных ЭЭГ. Общее уравнение, используемое большинством классификаторов, можно выразить следующим образом:

где называется баллом классификатора, который представляет собой вероятность наличия ответа P300, x — вектор признаков, извлеченный из сигнала ЭЭГ, а b — член смещения¹⁷. Функция f представляет собой функцию принятия решений, которая сопоставляет входные данные с выходной меткой и извлекается из набора помеченных обучающих данных с помощью алгоритма обучения^{с учителем 17}. Во время обучения классификатор обучается на размеченном наборе данных сигналов ЭЭГ, где каждый сигнал помечен как имеющий отклик P300 или нет. Весовой вектор и член смещения оптимизированы таким образом, чтобы свести к минимуму погрешность между прогнозируемым выходом классификатора и истинной меткой сигнала ЭЭГ. После того, как классификатор обучен, его можно использовать для прогнозирования присутствия отклика P300 в новых сигналах ЭЭГ.

Различные классификаторы могут использовать различные функции принятия решений, такие как линейный дискриминантный анализ (LDA), пошаговый линейный дискриминантный анализ (SWLDA), метод наименьших квадратов (LS), логистическая регрессия, метод опорных векторов (SVM) или нейронные сети (NN). Классификатор наименьших квадратов — это линейный классификатор, который минимизирует сумму квадратов ошибок между прогнозируемыми метками классов и истинными метками классов. Этот классификатор предсказывает метку класса нового тестового образца с помощью следующего уравнения:

(1)

где функция знака возвращает +1, если произведение положительное, и -1, если отрицательное, а вектор весов получается из набора признаков обучающих данных (x) и меток классов (y) с помощью следующего уравнения:

    (2)

В более ранних исследованиях мы утверждали, что оценка задержки на основе классификатора (CBLE) может быть использована для оценки точности BCI 17,18,19. CBLE — это стратегия оценки вариации задержки с использованием временной чувствительности классификатора¹⁸. В то время как традиционный подход к классификации P300 предполагает использование одного временного окна, которое синхронизируется с каждым предъявлением стимула, метод CBLE предполагает создание нескольких сдвинутых во времени копий эпох после стимула. Затем он обнаруживает сдвиг во времени, который приводит к максимальному баллу, чтобы оценить задержку ответа P300^17,18. В данной работе представлен протокол, который оценивает производительность BCI на основе небольшого набора данных с помощью CBLE. В качестве репрезентативного анализа количество символов варьируется, чтобы сделать прогноз общей производительности человека. Для обоих наборов данных были вычислены среднеквадратичная ошибка (RMSE) для vCBLE и фактическая точность BCI. Результаты показывают, что RMSE из прогнозов vCBLE с использованием подогнанных данных была неизменно ниже, чем точность, полученная из 1-7 тестируемых символов.

Для реализации предложенной методологии мы разработали графический пользовательский интерфейс (GUI) под названием «CBLE Performance Estimation». Также приведен пример кода (Supplementary Coding File 1), который работает на платформе MATLAB. В примере кода выполняются все шаги, применяемые в графическом интерфейсе, но эти шаги приведены для того, чтобы помочь читателю адаптироваться к новому набору данных. В этом коде для оценки предлагаемого метода²⁰ используется общедоступный набор данных «Brain Invaders caliation-less P300-based BCI using dry EEG electrodes Dataset (bi2014a)». Участники играли до трех игровых сессий Brain Invaders, каждая сессия состояла из 9 уровней игры. Сбор данных продолжался до тех пор, пока не были пройдены все уровни или участник не потерял контроль над системой BCI. Интерфейс Brain Invaders включал в себя 36 символов, которые мигали в 12 группах по шесть инопланетян. Согласно парадигме Brain Invaders P300, повторение создавалось 12 вспышками, по одной для каждой группы. Из этих 12 вспышек две вспышки содержали символ цели (известные как вспышки цели), в то время как остальные 10 вспышек не содержали символа цели (известные как вспышки, не относящиеся к цели). Более подробную информацию об этой парадигме можно найти в оригинальной ссылке²⁰.

Подход CBLE также был реализован на наборе данных из Мичигана, который содержал данные 40 участников ^18,19. Здесь данные восьми участников пришлось отбросить, потому что их задания были неполными. Все исследование потребовало трех визитов от каждого участника. В первый день каждый участник набрал 19-символьное тренировочное предложение, а затем три 23-символьных тестовых предложения в 1-й, 2-й и 3-й дни. В этом примере клавиатура содержала 36 символов, которые были сгруппированы в шесть строк и шесть столбцов. Каждая строка или столбец прошивались в течение 31,25 миллисекунд с интервалом в 125 миллисекунд между миганиями. Между персонажами была предусмотрена пауза в 3,5 с.

На рисунке 1 представлена структурная схема предлагаемого метода. Подробная процедура описана в разделе протокола.

протокол

Графический интерфейс "CBLE Performance Estimation" был применен к двум наборам данных: набору данных "BrainInvaders" и набору данных Мичигана. Для набора данных «BrainInvaders» сбор данных был одобрен Этическим комитетом Университета Гренобль-Альпы²⁰. Данные по Мичиганскому университету были собраны^{с одобрения} Наблюдательного совета Мичиганского университета. Данные были проанализированы в соответствии с протоколом 7516 Университета штата Канзас. При сборе новых данных следуйте утвержденному IRB процессу сбора информированного согласия пользователя. В данном случае предлагаемый протокол оценивается с помощью автономного анализа ранее записанных, обезличенных данных и, следовательно, не требует дополнительного информированного согласия.

Графический пользовательский интерфейс (GUI), включенный в эту статью, позволяет управлять двумя различными форматами наборов данных. Первый формат связан с BCI2000 программным обеспечением, а второй формат называется набором данных «BrainInvaders». Для того, чтобы использовать формат "Brain Invaders", данные должны быть предварительно обработаны, как описано в шаге 1 раздела протокола. Однако при работе с форматом набора данных "BCI2000" шаг 1 можно опустить.

1. Подготовка данных

1. Только BrainInvaders: Создание файла входных данных в формате ".mat", который можно использовать с графическим интерфейсом пользователя (GUI) "CBLE performance Estimation". Пример сценария см. в дополнительном файле кодирования 2.
   ПРИМЕЧАНИЕ: Каждый файл данных состоит из двумерной матрицы, состоящей из строк, представляющих наблюдения, записанные в различных временных выборках. Матричные столбцы, пронумерованные от 2 до 17, представляют собой записи, полученные с 16 электродов ЭЭГ. Первый столбец матрицы обозначает временную метку каждого наблюдения, а столбец 18 содержит информацию, относящуюся к экспериментальным событиям. В столбце 19 в основном нули, но когда начинается вспышка, не относящаяся к Цели (или Цели), цифры меняются на один (или два) в это конкретное время. Подробное описание можно найти в ссылке²⁰.

2. Скачивание и установка пакета GUI

1. Загрузите и установите графический интерфейс "CBLE Performance Estimation".

3. Хранение набора данных во вложенной папке расположения графического интерфейса

1. Убедитесь, что папка набора данных находится в том же каталоге, что и графический интерфейс.
2. Например, создайте новую папку и поместите в нее графический интерфейс "CBLE Performance Estimation". Храните все наборы данных во вложенной папке в графическом интерфейсе CBLE с именем «Набор данных».

4. Открытие установленного графического интерфейса

1. Откройте MATLAB (см. Таблицу материалов), измените текущий каталог на папку, в которой находится графический интерфейс, нажмите на вкладку APPS и выберите MY APPS.
2. На вкладке "МОИ ПРИЛОЖЕНИЯ" выберите CBLE Performance Estimation.

5. Выбор формата датасета

1. Выберите формат набора данных в раскрывающемся списке Выберите формат набора данных.

6. Загрузка файла данных ЭЭГ

1. Нажмите на кнопку Выбрать входную папку , чтобы выбрать каталог, в котором находится набор данных.
2. Обратите внимание на количество файлов данных, присутствующих в выбранной папке.
   ПРИМЕЧАНИЕ: В формате «Brain Invaders» каждый участник представлен одним файлом данных. Таким образом, общее количество файлов данных указывает на количество участников исследования. Однако это не относится к формату «BCI2000», так как у каждого участника может быть несколько обучающих и тестовых файлов.

7. Настройка параметров

1. Введите количество участников, которое пользователь намерен использовать для процесса оценки, в поле "Нет. участников».
2. Только BrainInvaders: укажите частоту выборки набора данных.
   ПРИМЕЧАНИЕ: BCI2000 файлы содержат частоту дискретизации.
3. Выберите значение прореживания, чтобы понизить частоту дискретизации набора данных примерно до 20 Гц, чтобы повысить производительность классификации²¹. Например, если частота дискретизации равна 256 Гц, выберите значение прореживания 13.
4. Укажите временное окно для классификации в миллисекундах.
   ПРИМЕЧАНИЕ: Указан рекомендуемый начальный размер окна, позволяющий изменяться начальной точке от 0 до 100 мс и конечной точки от 700 до 800 мс. Тем не менее, важно избегать чрезмерного увеличения размера окна, чтобы предотвратить наложение с другим событием P300.
5. Определите окно сдвига для CBLE в миллисекундах.
   ПРИМЕЧАНИЕ: «Окно сдвига» относится к расширенному временному диапазону, в котором метод CBLE ищет ответ P3. Классификатор будет применен к эпохе, начинающейся с первого элемента окна сдвига. Затем классификатор последовательно применяется к эпохам, начинающимся на одну выборку позже, до тех пор, пока эпоха не выйдет за пределы окна сдвига. Таким образом, окно сдвига должно быть больше, чем исходное окно; Эмпирически значения менее 100 мс с каждой стороны показывают хорошие результаты. В любом случае, маржа должна быть не менее половины ISI.
6. Только BC2000: введите длину идентификатора объекта, указанную в файлах набора данных, в поле "Длина идентификатора".
   ПРИМЕЧАНИЕ: Графический интерфейс ожидает, что первые sub_len символов имен файлов будут кодировать идентификатор субъекта.
7. BCI2000 только: В поле «Идентификатор канала» укажите либо общее количество каналов, либо конкретные номера каналов, которые будут использоваться для анализа.
8. Нажмите на кнопку Задать параметры , чтобы задать все параметры, необходимые для анализа.

8. Только BrainInvaders: разделение набора данных на обучающий и тестовый

1. Выберите количество целевых объектов, представляющих размер обучающего набора. Оставшаяся часть набора данных будет считаться тестовым набором данных.
   ПРИМЕЧАНИЕ: Для корректного обучения модели необходимо иметь достаточно большую обучающую выборку. Рекомендуемый минимальный размер обучающей выборки — 20, хотя он может варьироваться в зависимости от общего размера набора данных. Если во время сеансов обучения возникают ошибки регрессии, целесообразно увеличить размер обучающей выборки.
2. Нажмите кнопку "Разделить набор данных", чтобы разделить набор данных на обучающий и тестовый наборы.
   ПРИМЕЧАНИЕ: У каждого участника будет одинаковое количество тренировочных данных. Однако количество тестовых данных может быть неодинаковым для всех участников из-за возможности многократных попыток во время выполнения задания. Следовательно, общее количество целей или представленных вспышек может варьироваться от человека к человеку.

9. Обучение модели с помощью обучающего набора данных

ПРИМЕЧАНИЕ: Шаг 9.1 применим к формату "Brain Invaders", а шаг 9.2 применим к формату "BCI2000".

1. Только BrainInvaders: нажмите кнопку Обучить модель , чтобы применить линейную регрессию к обучающему набору данных, используя уравнение 2 для обучения модели-классификатора.
2. BCI2000 только: укажите имена файлов обучения и тестирования вместе с форматом данных (.dat), чтобы отличить файлы обучения и тестирования от всех файлов. Затем нажмите кнопку Обучить модель , чтобы применить линейную регрессию к обучающему набору данных.

10. Прогнозирование точности тестового набора

1. Щелкните Predict accuracy (Прогнозировать точность ), чтобы применить обученную модель классификатора к тестовому набору признаков и спрогнозировать точность с помощью уравнения 1.

11. Получение точности X-цели

1. Выберите максимальное целевое число X, которое будет учитываться в тестовом наборе.
2. Только BCI2000: выберите номер тестового файла, если у пользователя есть несколько тестовых файлов.
3. Нажмите кнопку Найти точность цели X.

12. Расчет vCBLE

1. Нажмите кнопку Find vCBLE, чтобы получить vCBLE для всех целей.

13. Вычисление среднеквадратичной ошибки (RMSE) точности BCI и vCBLE

1. Нажмите кнопку Вычислить среднеквадратичное значение, чтобы вычислить среднеквадратичное значение между обоими прогнозами, основанными на vCBLE с точностью BCI и точностью X-target с точностью BCI.

14. Визуализация результатов анализа

1. Нажмите на кнопку Accuracy vs vCBLE , чтобы увидеть соотношение между общей точностью и общим количеством vCBLE для всех участников.
2. Нажмите на кнопку RMSE BCI & vCBLE , чтобы отобразить кривую RMSE точности BCI и vCBLE.

15. Прогнозирование результатов отдельного участника

1. Чтобы предсказать точность отдельного участника, поместите идентификатор субъекта в Sub ID.
   ПРИМЕЧАНИЕ: Здесь набор данных всех участников, за исключением участника теста, будет использоваться для обучения модели линейной регрессии. Баллы vCBLE всех остальных участников и их соответствующая точность тестов будут использоваться в качестве предикторов и меток, соответственно, для классификатора.
2. Выберите целевое число, n. Прогноз будет сделан на основе точности n-тестовых символов.
3. Нажмите на кнопку Predict , чтобы получить прогнозируемую точность участника теста.

Результаты

Предложенный протокол был протестирован на двух разных наборах данных: «BrainInvaders» и датасете из Мичигана. Эти наборы данных уже кратко представлены в разделе Введение. Параметры, используемые для этих двух наборов данных, приведены в таблице 1. На рисунках 2-4...

Обсуждение

В этой статье описан метод оценки точности BCI с использованием небольшого набора данных P300. В данном случае текущий протокол был разработан на основе набора данных «bi2014a», хотя эффективность протокола была подтверждена на двух разных наборах данных. Для успешной реализации этого метод?...

Материалы

Name	Company	Catalog Number	Comments
MATLAB 2021	Matlab	N/A	Any recent MATLAB version can be used.