NeuroPhone: iPhone с управлением при помощи мыслей

neurophoneCпециалисты из Дартмутского колледжа (Dartmouth College) создали «Нейрофон» (NeuroPhone), считывающий мозговую деятельность для управления приложениями телефона.

В качестве поставщика информации об активности нейронов авторы проекта использовали последнее поколение считывателя мозговых волн EPOC headset от американской компании Emotiv Systems, пионера в коммерческих компьютерно-мозговых интерфейсах (BCI), сообщает Мембрана.

EPOC headset стоит $299. Он обладает 16 электродами для снятия электроэнцефалограммы и при помощи соответствующего софта хорошо различает активность разных зон коры. Каждый из каналов проводит замер 128 раз в секунду. EPOC также определяет параметры альфа-, бета-, тета- и дельта-волн.

Аппарат оборудован встроенным гироскопом, фиксирующим повороты головы пользователя, и беспроводной связью с компьютером. Литиевой батареи хватает на 12 часов работы устройства.

Высокое разрешение сигналов, обеспечиваемое EPOC, дало учёным возможность вволю поэкспериментировать с интерпретацией откликов разума на различные внешние воздействия.

Понятно, что чем больше нейрофизиологи узнают о закономерностях в работе коры головного мозга, тем шире круг опытов, которые можно поставить с машинным распознаванием мыслей. В том же мобильнике подобный принцип мог бы быть применён к решению разных задач. Но в данном случае авторы системы, для примера, решили сосредоточить своё внимание на наборе номера.

Для распознавания желаемого человека в списке контактов, оформленного в виде набора фотографий, программа «Нейрофона» использует детекцию так называемого сигнала P300 – свидетельства узнавания заданного объекта.

Этот пик на ЭЭГ возникает в центрально-теменной области мозга с задержкой в 300 миллисекунд после стимула (отсюда и название сигнала), и его можно найти с той или иной степенью выраженности на большинстве каналов считывателя. (Кстати, этот же самый сигнал среди других использовался для управления инструментами в мозговом оркестре.)

Фотографии абонентов попеременно подсвечиваются или выделяются каким-то иным способом. В этот момент человек смотрит на экран телефона и думает о том, кому хочет позвонить. При совпадении перебора вариантов с желаемым звонком мозг выдаёт P300. Его выделяет среди потока данных специальная программа в телефоне. Она и активирует набор номера.

Набор номера при помощи системы NeuroPhone. Собственно сам набор начинается автоматически после того, как в ответ на подсветку «правильного» человека из списка контактов мозг выдаёт сигнал «узнавания и пожелания» (фото Dartmouth College).

Набор номера при помощи системы NeuroPhone. Собственно сам набор начинается автоматически после того, как в ответ на подсветку «правильного» человека из списка контактов мозг выдаёт сигнал «узнавания и пожелания» (фото Dartmouth College).

Тут следует сделать оговорку: сначала данные со считывателя попадают на ноутбук, который проводит предварительную обработку сырого сигнала, выделяя из всего потока ту часть информации, которая потребуется именно в данном приложении.

Лэптоп через Wi-Fi передаёт этот «промежуточный результат» на iPhone, а тот уже завершает цикл обработки. Использование одного только телефона было бы затруднительным: переваривание всего массива сигналов с сенсоров ЭЭГ – это довольно ресурсоёмкая задача. Впрочем, перед нами только опытная система, указывающая в «светлое будущее» BCI.

Американские умельцы продемонстрировали в работе и второй вариант выбора нужного человека: когда подсвечивается «та» фотография, пользователь подмигивает ей. Заметим, комплекс NeuroPhone определяет не само движение век, а опять-таки – характерный импульс ЭЭГ, чётко ассоциируемый с морганием.

Тест показал, что такой выбор номера работает надёжнее, чем первый вариант. Особенно этот приём выгоден в условиях, когда какие-то внешние факторы отвлекают человека.

Так точность распознавания «Нейрофоном» выбранного лица в случае моргающего режима колебалась от 86% до 99,4%, в зависимости от того, сидел человек или ходил. Выбор номера чистой мыслью, без моргания, давал разброс совпадений от 33,3% до 88,9% – тут влияли условия опыта, например были помехи в виде музыки, и длительность просмотра мигающих снимков.

Авторы «Нейрофона» признают, что другие технологии управления приложениями мобильника (вроде программ распознавания речи) могут в ряде случаев оказаться удобнее, но зато мысленное управление пригодится там, где нужно подать несколько команд телефону беззвучно и по-прежнему в режиме hands-free.

Учёные отмечают, что на пути распространения технологии NeuroPhone стоит ещё немало препятствий. Более-менее приемлемые по цене и весу считыватели мозговых волн всё же уступают в точности и насыщенности информации большим лабораторным установкам «исследовательского класса».

А это в свою очередь приводит к тому, что большое внимание приходится уделять фильтрации нужных мозговых сигналов среди шумов, а также – машинному обучению, помогающему софту корректно работать с конкретным пользователем.

Тем не менее развивать это направление, по мнению авторов «Нейрофона», — ещё как стоит. Оно сулит повышение удобства и безопасности пользования мобильником во время ходьбы по оживлённой улице, вождения автомобиля или велосипеда и так далее.

В будущем, предполагают исследователи из Дартмутского колледжа, считыватели ЭЭГ станут ещё компактнее и дешевле. Тогда они смогут быть интегрированы в обычные беспроводные наушники, в шапки и бейсболки, мотоциклетные или велосипедные шлемы. Нынешний NeuroPhone – первый шаг к этой мечте.