Нейроинтерфейсы сегодня

Со времён изобретения манипулятора “мышь” прошло полвека, и это по-прежнему один из основных способов взаимодействия человека с компьютером. Я поехал на конференцию в Институт когнитивных нейронаук ВШЭ, чтобы узнать о последних достижениях в области BCI, которая находится за горизонтом, и поэтому так интересна.

Также опубликовано

Отчет о конференции я переработал в статью для связанного повествования. Какие-то моменты упрощаю и опускаю, а какие-то дополняю из своих наблюдений и отчетов с других мероприятий. Прочитав ее, я надеюсь, у вас появятся общие понимания подходов к BCI и текущего состояния в этой области. За оригинальными трактовками лучше обращаться к оригинальным статьям, к счастью, почти все в открытом доступе.

История

История BCI началась в 1973 году с публикации Toward direct brain-computer communication [1], где Jacques Vidal изложил идеи в коммуникации между человеком и машиной и описал лабораторию по анализу EEG сигнала для таких целей. Спустя десятилетие Wolpaw сфокусировал применение BCI на помощи парализованным людям и описал принципиальную схему BCI [2]:

Основные реализации BCI давали возможность вводить текст людям c синдромом изоляции. Это были сложные в использовании системы, потому что пользователь должен проходить долгую тренировку [3], в противовес, появились “спеллеры” на основе распознавания P300 - компонента, который возникает в момент, когда человек совершает выбор, которые снизили требования к пользователю [4]. В 90-е тема все более становится известной, особенно с появлением техник машинного обучения [5]. С увеличением надежности BCI люди интересуются расширением применения в новые области.

Thorsten Zander предложил следующую классификацию BCI [6]:

Активные BCI – пользователь инициирует команду безусловно
Реактивные BCI – пользователь инициирует команду в ответ на воздействие системы
Пассивные BCI – пользователь не дает команду, но система считывает и анализирует его состояние

Отдельно стоит рассмотреть вопрос стимуляции мозга, эта тема, хоть и не относится напрямую к BCI, но представляет собой связанную технологию, которая расширяет возможности BCI для контроля. Также BCI можно классифицировать по способу получения сигнала:

Инвазивные (вживленные электроды, ECoG и другие)
Неинвазивные (EEG, NIRS и другие)

EEG самый распространённый способ получения сигнала, поэтому, если не указано обратное, я имею его в виду по умолчанию.

Активные BCI

Basketparadigm

Это условное обозначение возможности контроля путем активации воображаемых движений. Дело в том, что моторная кора компактно расположена в центре головы, поэтому воображаемые движения разных частей тела хорошо классифицируются и используются для построения BCI. Пользователю, для работы с такими BCI, необходимо мысленно представлять как он совершает движения разными частями тела.

Для облегчения проведения экспериментов ученые разрабатывают собственные фреймворки, например, BCILAB. С его помощью провели эксперимент, чтобы продемонстрировать скептику возможность управления c помощью воображаемых движений. Результат составил 80% – так себе результат в условиях, когда у человека есть привычные альтернативы, но заслуживает высокой оценки, особенно, для неподготовленного респондента [7]. Этот же подход применили для управления горизонтом для авиасимулятора. Результаты неоднозначные, для 3-х респондентов удалось добиться результата в 94%, еще для 4-х 64% и меньше 60% еще для троих. Успех заключается в том, что первая троица управляла самолетам так же, как это делается штурвалом. Остальные пилоты недостаточно сосредоточились на внутреннем состоянии и совершали мускульные движения, что вносило негативный вклад в управление.

Системы реабилитации

BCI, которые распознают моторные команды, хорошо изучены и уже используются для реабилитации пациентов переживших инсульт: для восстановления разорванных связей необходимых для управления парализованными конечностями. Павел Бобров продемонстрировал результаты клинических испытаний реабилитационного комплекса для восстановления моторных функций рук, которые доказали эффективность использования. Причем, есть значимая разница для пациентов, кто начал реабилитацию спустя месяц и спустя 6 месяцев после инсульта, чем раньше начинается реабилитация, тем лучше эффект. [11] Глава g.tec Gunter Edlinger рассказал о работе специальных тренажерных залов для реабилитации, интересный момент, что в процесс реабилитации добавлена электростимуляция конечностей, и если выше использовалась электро-механическая установка, то здесь стимуляция током, что снижает стоимость комплекса.

Если добавить в процесс элементы игры и соревнования, вовлечение будет выше, а значит пациент лучше пройдет через реабилитацию. В центре биоэлектрических интерфейсов ВШЭ под руководством Алексея Осадчего разработали прототипы для улучшения процесса реабилитации. На видео демонстрируется прототип системы для двух человек, где они управляют сосудом, выполняя воображаемые моторные команды, пытаясь склонить сосуд в свою сторону:

Однопользовательская игра:

Или, например, алгоритм распознавания почерка по мышечной активности с помощью компактного массива электродов позволяет реконструировать написанное: [12] Вершина в их работе – это работа над BCI в проекте ExoAtlet, который позволяет людям с ограниченными возможностями передвигаться самостоятельно или использовать его для реабилитации.

Инвазивные BCI – это более сложная тема, и сейчас эксперименты проводятся на животных или на людях, которым электроды установлены по медицинским показаниям. Была освещена серия исследований, которая показала, что возможно определять не только единичные компоненты (имеются ввиду все те же вымышленные движения), но и разделять движение, внимание, направление взгляда между собой. Доступна запись аналогичного доклада с конференции в Самаре.

Реактивные BCI

Классический пример реактивного BCI это “спеллер” на эффекте P300, это “волна”, которая появляется в ответ на выбор показанного стимула, ну а в “спеллере”, таким стимулом служит определенным образом кодированные символы алфавита или команды. Пользователь должен мысленно взаимодействовать со стимулами, которые показывает система – считать количество вспышек выбранного символа.

Нельзя не упомянуть о проекте Нейрочат, который позволяет общаться людям с ограниченными возможностями:

Пассивные BCI

Базовая идея пассивных BCI – это оценка состояния человека, например, оценка когнитивной нагрузки (workload), она может быть применена в системах обучения, было проведено исследование, чтобы решить эту задачу.

Классификатор тренировали на следующих задачах:

Для высокой нагрузки - респондент вычитал из 3-4 значных чисел 1-2 значные исключая простые варианты с десятками.
Для легкой нагрузки - просили сосредоточится респондента на приятном воспоминании.

Точность алгоритма составила 70%. Классификатор протестировали на других задачах (умножение, игра в скрембл), и получили аналогичную точность, тем самым подтвердили факт, что можно сделать независимым классификатор от человека и задач. [13] Эту идею можно применить для контроля хирурга во время операции [14]. Решалась задача определения нагрузки на хирурга во время выполнения разных по сложности манипуляций на тренажере. Система научилась определять каким способом хирург выполняет операцию с высокой точностью. Еще один вариант – это измерение степени расслабления. На основе состояния посетителя интерактивной инсталляции в “Музее молчания” создавалась живая картина, которая отражала его внутреннее состояние. [15]

Пассивные BCI можно использовать и для задач управления, довольно оригинальный подход предоставить человеку не непосредственный контроль за курсором, а лишь право судить о том, движется ли курсор по правильному пути к цели. Эксперимент был проведен на небольших матрицах размером 4х4 и 6х6 точек. Сначала систему тренировали на произвольном движении точки, и задача человека была определять в правильную ли сторону движется точка, далее тестировали в живом режиме и получили, что результат близок к оптимальному пути. [16] Можно посмотреть демонстрацию.

Midas touch problem и E-BCI интерфейсы

Управление курсором с помощью направления взгляда – простая задача, которая решается с помощью eye-tracker’инга (он же видеоокулография). Но в этих интерфейсах есть проблемы, например, непроизвольные движения глаз и проблема выбора, к слову, весьма символично ее называют проблемой прикосновения Мидаса – фригийского царя, любое прикосновение которого, обращало предмет в золото. Применений пассивных BCI позволяет решать эти проблемы.

Подход, где активный BCI использовался для совершения выбора при управлении с помощью eye-tracker’а, известен давно, но не отличается быстродействием. Исследование, где респонденты оценивали разные способы выбора по шкале NASA TLX, показало, что вариант с BCI не быстрее по времени, чем вариант с долгой фиксацией для выбора объекта, но при этом BCI вызывает меньшую степень фрустрации [10]. Дальнейшая работа команды Торстена Цандера показала, что можно отличать сознательную фиксацию на объекте от бессознательной с точностью 90%[17]. Для эксперимента использовалась парадигма “Oddball” – респондент просматривал серию из фигур, содержащих фигуру, которую он хочет выбрать в сочетании с отвлекающими фигурами.

Сергей Шишкин рассказал о улучшении вышеописанного подхода [8]. Существенный плюс их решения – это снижение скорости выбора до 300мс-500мс, что требует очень быстрой классификации, для этого использовали EEGNet [9].

Механизмы внимания – это отдельная тема, которая может расширить области применения BCI и создавать системы для реабилитации пациентов с СДВГ, о базовой идее рассказывает Mehdi Ordikhani в своем Tedtalk

Стимуляция

Вопрос этики проведения экспериментов весьма остро стоит для нейроисследований, и животные принимают основной удар для исследований находящихся за гранью. Что если мы хотим воздействовать на какой-то определенный участок в глубине мозга? Сейчас это возможно только с помощью вживленных электродов. Но, например, в природе есть существа, которые чувствительны к магнитному полю, команда Galit Pelled из Мичиганского университета выделили этот ген у рыб, внедрили крысам и научились контролировать их поведение действием магнитного поля [18]. Таким образом, возможно оказывать адресное воздействие на нужные участки, например, останавливать эпилептические припадки. И целая группа исследований инвазивных интерфейсов от Михаила Лебедева на макаках-резус: был построен интерфейс мозг-компьютер-мозг, который позволял, управляя виртуальными конечностями, получать тактильную обратную связь. Можно подробнее посмотреть отрывок из лекции “Интерфейс между мозгом и компьютером”.

Царство Deep Learning

Кроме того, что алгоритмы “глубокого обучения” позволяют добить и так уже высокую точность “машинного обучения”, можно отметить то, что люди работают над “обратной задачей”. Основываясь на быстрых данных EEG и MEG можно попытаться восстановить реальную активацию нейронов в мозге, которую сейчас показывает, например, метод fMRI, но с очень низким временным разрешением. Можно только порадоваться оптимизму и верить в скорый успех этой работы. Еще одна проблема BCI на основе EEG или MEG – это то что результаты активности в разных областях мозга для одних и тех же компонент различаются среди пользователей, приходится учить нейросеть для каждого пользователя и задачи, что усложняет работу с системой и делает ее дороже. Тем не менее, здесь возможны изменения с “переносом обучения”, когда нейросеть использует данные разных пользователей/в разных задачах и дообучивается онлайн, в результате этап калибровки может быть пропущен. [19]

Hardware

Наконец-то, мы добрались до железок!

Тут важно сказать про 2 момента, с одной стороны, оборудование для BCI довольно громоздкое, человек в нем привлекает внимание, в одном из выступлений были продемонстрированы миниатюрные электроды, такие что человек в них ничем не выделяется. [20]

К сожалению, вставить фото большего размера возможности нет, но вы можете посмотреть через гугл фото.

Несмотря на всю миниатюрность, устанавливать эти электроды не удобно, придется приклеивать каждый отдельный электрод. Для ускорения используют различные приспособления:

EEG шапочки, в которых размечены отверстия под электроды
Обручи и шлемы различной конструкции, где в основном положение электродов фиксированное, только OpenBCI выделяется Ultracortex’ом, в котором электроды можно переставлять в зависимости от задач.

Относительно свежая идея – это массивы из электродов CeeGrid, для крепления в области уха, которые одновременно и невидимы, и легко устанавливаются, но существенный минус это ограниченность применения, хотя есть работы, которые показывают, что использовать этот вариант для ERP BCI реально [21].

И вторая проблема – это необходимость в токопроводящем геле для качественного сигнала, тут показано, что различия допустимые, и использование сухих электродов оправдано [22], но все зависит от количества волос. Над этим вопросом так же работают, например, недавно Florida Research Instruments начала продавать удлинненный сухой электрод (на картинке ниже он слева), который отличается от первоначальной версии большей округлостью пинов и, как вы понимаете, вызывает меньше негативных ощущений у пользователей. Еще более продвинутые варианты – когда сами пины на электродах снабжены амортизацией, благодаря материалу или с помощью пружин (на картинке ниже они в центре и справа).

Заключение

Распространение BCI в массы не будет быстрым и легким, сейчас открыты весьма ограниченные возможности по пониманию состояний мозга, но прогресс в этой области нельзя игнорировать. Главное, что есть правильная тенденция на снижение стоимости устройств/предоставление устройств по подписке и появление проектов, которые ориентированы на энтузиастов.

Лично меня очень радует то, что среди раскрученных Emotive, MUSE, OpenBCI начинают появляться и российские проекты. На недавнем Нейрофоруме, который прошел в Петербурге, были продемонстрированы:

Нейроинтерфейс Опторитмограф
Нейролаборатория «Юный нейрофизиолог-инженер»
Проект FreeEEG32
Реабилитационный комплекс iBrain на основе EEG SmartBCI

Расширение доступных устройств делает область интерфейсов привлекательной для изучения и экспериментов. Порог вхождения низкий, всегда можно найти адекватную задачу, а улучшать алгоритмы можно до упора, приобретая новые знания и навыки. Чего я вам и желаю.

Такой я увидел область BCI, посмотрим, что интересного будет в следующем году.

Источники

РанееWorld Usability Day 2018 “Подходы к оценке эмоций”

ДалееИнтервью