Электронный самоучитель жестового языка

Учащийся астраханского Центра одарённых детей (ЦОД), открытого на базе Регионального школьного технопарка, Андрей Растопшин создал прототип электронного самоучителя жестового языка. По словам автора, приложение позволяет пройти обучение быстро и в доступной форме, к тому же без дополнительных материальных затрат.

Идея создания такого цифрового помощника у Андрея появилась случайно. Как-то ему довелось увидеть в городе группу людей, которые общались с помощью жестов.

Как раз незадолго до этого парень начал изучать технологию отслеживания лица, рук, движений тела. Практикуясь, Андрей понял, что можно использовать жесты. Он решил посмотреть в интернете, как обучаться языку жестов, и обнаружил, что глухим людям не особо комфортно и удобно ему обучаться. Тогда юноша решил, что сможет составить хотя бы прототип приложения по обучению языку жестов.

Первой задачей для разработчика стал поиск и знакомство с методиками не только обучения, но и преподавания жестового языка. По словам Андрея, поиск в Сети оказался не особо эффективным — материалов по преподаванию сурдоязыка крайне мало. На помощь пришли онлайн-консультации от опытных сурдопедагогов.

При изучении правил языка жестов выяснилось, что он имеет массу исключений. Значение имеет каждая деталь: угол поворота руки, поворота пальцев, сам размер руки.

В результате пришло решение сделать акцент не только на изучении самого жестового языка, но и на контроле качества усвоения информации обучающимся. В программу внесена база эталонных жестов. Пользователю необходимо всего лишь повторять увиденное на веб-камеру. Программа сигнализирует о правильности выполнения того или иного жеста. Цветовые индикаторы помогают определить, какие именно ошибки допущены. Пока приложение может работать только на ПК или ноутбуке, но в будущем автор проекта планирует создать и мобильную версию, чтобы процесс обучения стал ещё более доступным и комфортным для пользователей.

В Центре одарённых детей реализация IT-проектов продвинутого уровня выделена в отдельное направление. Как правило, его слушателями становятся ребята, уже имеющие опыт программирования на языке Python. Самостоятельно или с помощью педагогов они могут выбрать актуальную тему для будущего проекта.

На всех этапах создания разработки Андрея консультировал преподаватель ЦОД Дмитрий Тараскин. По словам наставника, проект выстроен на применении технологии технического зрения. Сегодня она используется всё в большем количестве отраслей. Техническое зрение позволяет обнаруживать и распознавать объекты на видео. Иными словами, получает и передаёт максимум информации из представленных изображений.

Техническое зрение — это неисчерпаемая область, то есть можно смотреть на любой предмет и делать практически любые выводы о его состоянии, размерах, возможностях, надёжности, пригодности и так далее. То есть, по сути, технология технического зрения может найти применение практически в любой сфере деятельности человека. Проект по изучению языка жестов более социальный и не рассчитан на коммерциализацию. Андрей Растопшин и Дмитрий Тараскин хотят помочь каждому, кто столкнулся с проблемой коммуникации, сделать процесс обучения доступным, понятным и эффективным.

К слову, до момента создания прототипа разработчики принципиально не искали информацию по существующим аналогам. Позже выяснилось, что они вполне могут претендовать на звание первопроходцев не только в российском сегменте. Несмотря на наличие западных аналогов, астраханцам удалось найти свою нишу.

Зарубежные разработки не показывают, насколько правильно человек повторил жест на камеру. Они просто показывают эталонный жест, и пользователь фактически не знает, насколько правильно или неправильно он усвоил информацию. Наши учёные решили это исправить. Их программа сообщает о допущенных ошибках, выделяет их цветом. Таким образом, процесс обучения становится более эффективным.

Пока создан первый прототип программы. В дальнейшем автор и его наставник планируют его усовершенствовать. В частности, речь идёт о расширении функционала для изучения жестов в динамике. На сегодня доступна работа только со статичными вариантами.

Стоит отметить, что среди задач Центра одарённых детей не только обучение работе с конкретными программами. Руководители и педагоги учреждения стремятся создать необходимые условия, чтобы учащиеся могли заявить о себе. Для этого ведется масштабная работа по подготовке проектов для участия в тематических конкурсах и олимпиадах от регионального до международного уровня.

Проект Андрея Растопшина уже стал победителем регионального этапа Всероссийского конкурса «Эрудит». Теперь школьнику предстоит заявить о себе на федеральном уровне. В ходе подготовки будет выполнено экономическое обоснование и оценена возможность коммерциализации проекта. Для этого потребуется работа с целевой аудиторией продукта. Разработчикам предстоит выяснить, насколько удобным и полезным может быть электронный самоучитель для людей, по тем или иным причинам нуждающимся в изучении жестового языка.