Американцы придумали видеословарь жестов

Глухонемые люди, которым помогает в общении язык жестов, испытывают те же проблемы, что и все остальные, изучающие новый язык.

Проект Large Lexicon Gesture Representation, Recognition, and Retrieval, который есть часть большого исследовательского проекта American Sign Language Linguistic Research Project, должен помочь им в освоении новых слов.

Понять, о чём идёт речь, можно, если представить, что перед вами, например, китайско-русский словарь. Как найти нужное слово в иероглифах, если нет поиска по порядку букв (по алфавиту)? Так и глухонемой человек не может понять (найти в словаре) какой-либо новый жест, если не знает его приближённого значения в варианте своего родного языка (данная разработка создана для распознавания прежде всего классического американского языка жестов — ASL), пишет membrana.ru.

Разработанная в лаборатории университета Бостона (Boston University) новая программа позволяет глухонемому человеку либо выбрать видеоклип, иллюстрирующий новый жест, либо самому представить его, изобразив, например, перед веб-камерой компьютера.

Специально созданный алгоритм подберёт десять значений наиболее похожих жестов.

Над созданием видеословаря трудятся профессор информатики Стэн Склярофф (Stan Sclaroff), его коллега Кэрол Нейдле (Carol Neidle) из Бостонского университета и профессор лингвистики Вассилис Атитсос (Vassilis Athitsos) из университета Техаса (University of Texas at Arlington).

Также специалистам необходимо будет решить проблему низкого качества видео, которое записывают некоторые современные камеры. В этом им, вероятно, помогут создатели системы видеосвязи для глухонемых с помощью мобильных телефонов.

Зато впоследствии данная программа, скорее всего, получит массу приложений. Например, уже есть идеи по реализации поиска среди видео с сурдопереводом.

Для достижения необходимого результата учёные посадили в своей студии несколько жестикулирующих человек, для которых американский язык жестов является как родным, так и выученным (чтобы снизить вероятность последующих ошибок). Их попросили изобразить три тысячи основных, наиболее часто используемых жестов.

В это время камеры снимали их с четырёх позиций, фиксируя как движения рук, так и выражение лица «говорящих» (Нейдле считает, что улыбка и вскинутые брови иногда значат не меньше положения пальцев).

По мере поступления данных Нейдле и её студенты разбивают видео на части, иллюстрирующие то или иное «слово» или «выражение» (отмечают начало, конец и так называемые поджесты, аналоги английских фонем).