Исследовательская работа учащихся "Разработка аппаратного сурдопереводчика"

Аннотация

Тагильцев Даниил Анатольевич, Култышев Тимофей Николаевич

МБОУ «Тейская средняя школа №3», 9-11 классы

Тема: Программный и аппаратный сурдопереводчик.

Руководитель: Балацкий Михаил Евгеньевич, МБОУ ТСШ№3, учитель информатики, технологии.

Цель работы: Разработка аппаратного сурдопереводчика.

Методы: моделирование, анализ, синтез, сравнение, обобщение, интеграция, эксперимент.

Люди с глухотой для преодоления барьера в общении используют жестовую речь, дактильную азбука, чтение с губ и письмо. Это основные способы передачи информации. На данный момент существуют несколько аппаратных переводчиков дактильной азбуки (от знака к символу), которые позволяют снизить барьер в общении между людьми с глухотой, с людьми, которые нормально слышат. Полностью отсутствуют аппаратные сурдопереводчики, позволяющие переводить символы (буквы латинского алфавита) в дактильную азбуку. Наша работа направленна на создание такого переводчика.

Полученные данные:

В результате анализа литературы и подбора необходимых компонент был разработан аппаратный переводчик, осуществляющий перевод латинского алфавита в наглядную дактильную азбуку. Данный переводчик является программируемым, что позволяет адаптировать его для любой азбуки. Переводчик представляет собой манипулятор, схематично повторяющий правую руку человека.

Выводы:

1. Дактильная азбука, как способ общения людей с глухотой, лучше всего подходит для создания аппаратного сурдопереводчика.

2. Разработан перепрограммируемый аппаратный переводчик, осуществляющий перевод символов латинской азбуки в дактильную азбуку (скорость 40-60 символов в минуту).

3. Скорость перевода низкая, для её увеличения в дальнейшем нужно изменять конструктивные особенности манипулятора.

ВВЕДЕНИЕ

Актуальность:

Согласно Конституции Российская Федерация является социальным государством, прежде всего, это означает гуманизацию социальных отношений. И действительно, еще в 90-е годы были приняты нормативно-правовые акты, создающие предпосылки для перехода от принципа социальной полезности к социальной толерантности. В настоящее же время происходит включение, или по-другому – процесс интеграции людей с ограниченными возможностями в общество. Под этим подразумевается не только то, что люди с ограниченными возможностями стремиться максимально адаптироваться к жизни в обществе, но и само общество делает шаги для того, что бы приспособиться к особенностям конкретных людей. Например, в школах сейчас не создают специальных классов для обучения детей с ограниченными возможностями, такие дети учатся в обычных классах, с обычными детьми. Это позволяет создать такие условия, в которых дети с ограниченными возможностями не чувствуют себя ущербными, а постоянное общение с учителями и со сверстниками придаёт им уверенности в дальнейшей жизни, а так же в профессиональном самоопределении.

Любая работа, направленная на помощь людям с ограниченными возможностями, а в частности глухонемым людям интегрироваться в общество, является актуальной. Тем более что сейчас практически полностью отсутствуют программные и аппаратные сурдопереводчики, несмотря на широкое развитие различных гаджетов.

Новизна темы:

В изученных источниках информации не удалось найти подобных аппаратных сурдопереводчиков. Существуют работы, которые позволяют осуществлять обратный перевод от символа к букве. Наша работа направлена на осуществление перевода от буквы к символу. Поэтому данная работа уникальна и не имеет аналогов.

Проблема: Отсутствие аппаратных сурдопереводчиков.

Объект исследования: Люди с ограниченными возможностями (глухонемые).

Предмет исследования: Программные и аппаратные сурдопереводчики.

Разработанность исследуемой проблемы:

1. В 2015 г. на научной конференции Intel ISEF была представлена работа на тему: «Перчатка для сурдоперевода». Автор данной работы - Максим Смирнов (17 лет). Суть данной работы заключается в том, что получая данные с перчатки, материнская плата сопоставляет с ними жесты и выводит соответствующий символ на дисплей.

2. На сайте http://www.saint-petersburg-deaf.com/ представлена информация про Сурдофон - программное средство мгновенного анимированного сурдоперевода. Данный проект финансировала компания IBM. Основой (ядром) продукта является программный код, основанный на уникальном алгоритме смыслового анализа текста и преобразования звучащего языка в жестовый язык. Алгоритм использует международно-признанную Гамбургскую Систему Нотаций (HamNoSys) жестового языка и может быть доработан для сурдоперевода на любые жестовые языки мира.

3. На сайте http: //24gadget.ru/ представлена информация про перчатку-сурдопереводчик. Трое студентов инженерного факультета корнельского университета, работают над собственным проектом устройства, которое переводит язык жестов в текст. Прототип оснащен акселерометром и датчиками давления, сигналы с которых преобразует электронный блок. Система работает автономно, питание осуществляется от одной 9В батареи.

4. На сайте http://prolite.ru/ представлена информация про Smart Sign Language ( Умный сурдопереводчик) – это устройство, которое может переводить язык жестов в слова. Устройство использует миниатюрные датчики, которые крепятся на кончики пальцев для отслеживания рук. Устройство может отправить перевод на телефон как голосовое сообщение или в текстовом формате. Также в браслет встроены динамики для общения с другими людьми на месте.

5. На сайте http://www.deafnet.ru/ представлен программный сурдопереводчик, осуществляющий перевод букв в дактильные символы.

ОСНОВНОЕ СОДЕРЖАНИЕ

Цель работы: Разработка аппаратного сурдопереводчика.

Задачи:

1. Изучить литературу по данному вопросу.

2. Сделать обзор имеющихся аппаратных сурдопереводчиков.

3. Изучить существующие языки жестов.

4. Пообщаться с глухонемыми людьми для углубления знаний в области сурдоперевода.

5. Разработать чертеж аппаратного сурдопереводчика.

6. Создать карту подключения контактов.

7. Создать аппаратный сурдопереводчик.

8. Использовать аппаратный сурдопереводчик в общении с глухонемыми людьми.

Методы: моделирование, анализ, синтез, сравнение, обобщение, интеграция, эксперимент.

Обзор имеющихся аппаратных сурдопереводчиков.

В 2014 году на конференции Intel ISEF Максим Смирнов представил работу: «Перчатка-переводчик». Перчатка состоит из четырех сенсоров, которые реагируют на изгиб пальца и датчика (гироскоп), который отслеживает положение перчатки. Все это подключено к плате, на которой установлена программа и дисплей.

Максим показывает жест ­ определенную букву, датчики считывают изгиб пальцев и положение руки, передают сигналы на компьютер, который переводит их в буквы. В будущем провода и датчики будут спрятаны в саму перчатку, а подключить ее можно будет, например, к мобильному телефону, рис. 1.

Трое студентов инженерного факультета корнельского университета, работают над собственным проектом устройства, которое переводит язык жестов в текст. Прототип оснащен акселерометром и датчиками давления, сигналы с которых преобразует электронный блок. Система работает автономно, питание осуществляется от одной 9В батареи рис.2.

Лаура Берг разработала устройство, которое может переводить язык жестов в слова. Устройство использует миниатюрные датчики, которые крепятся на кончики пальцев для отслеживания рук. Устройство может отправить перевод на телефон как голосовое сообщение или в текстовом формате. Также в браслет встроены динамики для общения с другими людьми на месте рис.3.

Вывод: В настоящие время существуют аппаратные сурдопереводчики, которые переводят жесты в буквы латинского алфавита. Полностью отсутствуют сурдопереводчики, которые переводят из букв латинского алфавита в жесты.

Существующие языки жестов.

Жестовая речь, дактильная азбука, чтение с губ и письмо — таковы простейшие способы преодоления помех, создаваемых глухотой. Выбор того или иного способа зависит, как правило, от цели и условий общения.

На улице при встрече с незнакомыми людьми, в магазине, в метро или автобусе чтение речи с губ является единственным средством общения. Но в полутемном зале театра или на собрании, когда расстояние от сцены до глухого зрителя велико, пользоваться этим способом трудно, а иногда невозможно. В таких условиях преимущества на стороне жестовой речи, дополняемой дактильной азбукой. Этот способ общения требует специальных переводчиков. Он остается незаменимым и, пожалуй, единственным при обучении глухих в техникумах или институтах.

Скорость восприятия и передачи речи у людей с нормальным слухом сравнительно велика. Дикторы радио читают свои тексты со скоростью 700—800 букв в минуту. При средней протяженности слов русского языка семь букв, такая скорость соответствует произнесению 100 слов в минуту. Скорость передачи и восприятия дактильной азбуки по крайней мере вдвое меньше этой величины. Она лежит в пределах 300—400 букв в минуту. Такова же скорость восприятия речи по губам и лицу говорящего. Любопытно, что эта величина — 300—400 букв в минуту — была получена советскими педагогами для русского языка и независимо от них американскими исследователями — для английского.

Остановимся еще на одном показателе — времени, необходимом для освоения того или иного способа общения глухих. С этой точки зрения три способа, с которыми мы познакомились, должны быть расположены в следующей последовательности: дактильная азбука (наименьшее время), жестовая речь, чтение с губ и лица говорящего (наибольшее время).

Дактилирование — наиболее простой и доступный способ общения. Грамотный осваивает этот способ за несколько дней, а упражнения на протяжении месяца позволяют добиться вполне приемлемой скорости передачи информации глухому.

Сложнее обстоит дело с жестовой речью. Вместо знаков, отображающих 33 буквы русского алфавита, здесь даже для простого разговора на бытовые темы надо знать около 200 жестовых образов. Чаще всего переводчиками, в совершенстве владеющими такой речью, работают близкие родственники глухих. Освоение жестовой символики с раннего детства позволяет таким людям правильно и быстро переводить речь окружающих. Чтение с губ говорящего является, пожалуй, самым трудным, но тем не менее важным и необходимым способом.

Квалифицированные переводчики, как правило, пользуются всеми тремя способами одновременно. Основой является жестовая речь, дополняемая по необходимости дактилированием и одновременным проговариванием слов без голоса. Такой способ перевода обеспечивает наряду с высокой скоростью, близкой к обычной речи, надежное восприятие сообщения [6].

Далеко не все педагоги и воспитатели глухих убеждены в необходимости использования трех или четырех способов общения.

Для многих стран разработана своя дактильная азбука. Самая распространённая азбука английского языка (латинский алфавит).

Вывод: Жестовая речь, дактильная азбука, чтение с губ – самые основные способы общения людей с глухотой. Т.к. воспроизведение дактильной азбуки с помощью жестов является самым медленным способом передачи информации глухому человеку и для воссоздания её требуется всего одна рука, данная азбука хорошо подходит для реализации её на аппаратном сурдопереводчике.

Общение с глухонемыми людьми для углубления знаний в области сурдоперевода.

Так как мы живём в отдалённом районе Красноярского края и не имеем возможность свободного перемещения в г. Красноярск, где находится школа глухонемых, поэтому общение происходило через интернет, а именно в группе «Глухонемые тоже люди» соц. сети «ВКонтакте». Представители данной группы рассказали нам о том, что латинский алфавит является самой распространённой дактильной азбукой. Также они говорили о том что, дактильная азбука редко используется в чистом виде, обычно она является дополнением основного языка жестов.

Мы рассказали об идеи создания аппаратного сурдопереводчика, идея была одобрена и очень им понравилась.

Вывод: После общения с глухонемыми людьми, мы четко определились с тем, что для реализации аппаратного сурдопереводчика будем использовать латинский алфавит (рис.4). Также наш сурдопереводчик должен имитировать правую руку человека.

Кинематическая схема сурдопереводчика. Используемое оборудование для реализации проекта. Карта подключения контактов.

Кинематическая схема сурдопереводчика была разработана на базе Power Point 2013 (рис.5). Манипулятор полностью повторяет человеческую правую руку. Для управления рукой будет использоваться блок оснащённый микропроцессором. Для питания будет использоваться блок, преобразующий переменное напряжение 220 Вольт в постоянное напряжение 12 Вольт.

Оборудование и материалы, используемые для создания аппаратного сурдопереводчика:

1. Лист фанеры 8 мм 1м x 1м

2. Arduino Mega 2560

3. Motor Shield (2 канала, 2 А) (3 шт.)

4. Multiservo Shield (1 шт.)

5. LCD дисплей MT-16S2H компании Мэлт (1 шт.)

6. Вентилятор 80 мм на 80 мм 12 V (1 шт.)

7. Матричная клавиатура 4x4 (2 шт.)

8. Сетевая розетка RJ-45 (18 шт).

9. Светодиод – Green 4.3 V (1 шт.)

10. Светодиод - Red 4.3 V (1 шт.)

11. Выключатель (1 шт.)

12. Компьютерный блок питания 300 W (1 шт.)

13. Соединительные провода

14. Сетевой провод витая пара

15. Алюминиевый профиль TETRIX (5 шт.)

16. DC мотор TETRIX 12V (1 шт.)

17. Медные втулки TETRIX (3 шт.)

18. Ось TETRIX (1 шт.)

19. Зубчатое колесо 84 зубца (1 шт.)

20. Зубчатое колесо 42 зубца (1шт.)

21. Микросервопривод FS90 (9 шт.)

22. Конструктор LEGO® Technic

23. Большой мотор Lego Mindstorms (1 шт.)

24. Малый мотор Lego Mindstorms (1 шт.)

25. Рыболовная леска

26. Канцелярская резинка (1 шт.)

Карта подключения контактов:

Для того чтобы правильно подключить все элементы и блоки сурдопереводчика пришлось составить карту подключения всех контактов к Arduino Mega 2560 (см. Приложение А).

Создание аппаратного сурдопереводчика.

Для построения аппаратного сурдопереводчика было использовано большое количество деталей. Общий вид переводчика представлен на рисунке 6.

Для размещения управляющей электроники был разработан специальный бокс (рис. 7).

На внешней части бокса находятся: джойстик, с помощью которого можно управлять рукой; дисплей для отображения введённых символов; выключатель размыкающий питание на плате Arduino Mega 2560; два светодиода сигнализирующие о готовности сурдопереводчика.

Внутри бокса находятся: Arduino Mega 2560, Motor Shield (2 канала, 2 А) (3 шт.), Multiservo Shield (1 шт.), соединительные провода, вентилятор 80 мм на 80 мм 12 V (1 шт.) (рис. 8).

Для удобного подключения манипулятора и джойстика к боксу управления были установлены сетевые розетки под коннектор RJ45 (Рис.9). Для подключения к розеткам используется сетевой кабель «витая пара» обжатый с обеих сторон по протоколу «А».

Для подключения компьютерного блока питания к боксу управления на самом боксе были установлены специальные разъёмы (рис. 10).

Сам манипулятор был разработан с использованием конструкторов TETRIX и Lego. Из конструктора TETRIX была собрана основа, на которой расположен DC мотор и зубчатая передача для перемещения манипулятора (рис. 11).

Благодаря использованию сервомоторов удалось создать манипулятор максимально повторяющий движение человеческой руки. Для управления манипулятором была написана программа на языке Arduino IDE. Вся система работает под управлением Arduino Mega 2560 (см. Приложение Б. Отрывок кода).

Аппаратный сурдопереводчик работает следующим образом: при нажатии клавиши на джойстике, которая соответствует необходимой букве латинского алфавита, сигнал, соответствующий данной кнопке поступает в Arduino Mega 2560. Программа анализирует сигнал и сопоставляет его с частью программного кода, который в дальнейшем запускает необходимую комбинацию положения сервомоторов и формирует на манипуляторе соответствующий нажатой клавише дактильный жест (рис.12). Жест задерживается на манипуляторе на 500 мс, после чего манипулятор принимает исходное положение. Скорость данного манипулятора 40-60 жестов в минуту.

Вывод:

Разработан аппаратный сурдопереводчик осуществляющий перевод из букв латинского алфавита в дактильную азбуку. Скорость данного переводчика 40-60 символов в минуту. Для увеличения скорости перевода нужны конструктивные изменения манипулятора.

Использование аппаратного сурдопереводчика в общении с глухонемыми людьми.

На данный момент тестирование манипулятора в общении с глухонемыми людьми не производилось, т.к. в нашем районе нет специальных центров для слабослышащих людей.

Вывод: Тестирование будет произведено при первой же возможности.

Результаты:

Разработан аппаратный сурдопереводчик латинского алфавита в дактильную азбуку. Скорость перевода составляет 40-60 символов в минуту. Данный переводчик является перепрограммируемым, поэтому его можно использовать для любого алфавита и для любой дактильной азбуки.

Заключение

По результатам данного исследования нами был разработан аппаратный сурдопереводчик. Скорость перевода составляет 40-60 символов в минуту. Для повышения скорости необходимы конструктивные изменения, а именно разработка составных частей с использованием лёгкого пластика и специального оборудования, такого как 3D-принтер и лазерный фрезер. В дальнейшем планируется разработка системы обучения манипулятора для лёгкого перепрограммирования на новые алфавиты и дактильные азбуки. Суть системы обучения заключается в следующем: на манипуляторе в ручную выставляется дактильный символ, при нажатии необходимой кнопки показания с манипулятора заносятся в память компьютера. В дальнейшем при нажатии той же кнопки манипулятор может самостоятельно повторить дактильный символ. Так же в дальнейшем планируется отказ от использования специального джойстика, символы будут вводиться с клавиатуры персонального компьютера, к которому будет подключен сурдопереводчик.

Возможные области применения:

Данный аппаратный сурдопереводчик можно применять в непосредственном общении с глухонемыми людьми. Так же его можно использовать при обучении дактильной азбуке.

Выводы:

1. Изучена литература по вопросу аппаратных сурдопереводчиков.

2. Провели обзор имеющихся аппаратных сурдопереводчиков.

3. Изучили существующие языки жестов.

4. В процессе общения с глухонемыми людьми убедились в необходимости нашей работы.

5. Разработали кинематическую схему аппаратного сурдопереводчика.

6. Разработали аппаратный сурдопереводчик.

7. Тестирование сурдопереводчика в общении с глухонемыми людьми не производилось.

Список литературы

Учебники и учебные пособия

1. Азбука для глухонемых в картинках/ Автор неизвестен. -53с.

Книги с одним автором 

1. И. Ф. Гейльман. Специфические средства общения глухих (дактилология и мимика). Язык жестов. Л.: ЛВЦ ВОГ, 1975 г.

2. Г. Л. Зайцева. Жестовая речь. Дактилология.- М.: Владос, 2004 г.

3. Г. Л. Зайцева. Дактилология. Жестовая речь.- М.: Просвещение, 1991 г.

4. И. Кузнецов. Современный язык жестов. – М: АСТ, Харвест 2006.-448c.
   
   

Книги двух, трех и более авторов

1. В. Крайнин, З. Крайнина. Человек не слышит – М: 1987.-144с.

1. Википедия Web : https://ru.wikipedia.org/wiki/
2. Азбука глухонемых за пол-часа.Web: http://www.illari.ru/article/nemo/

3. Форум глухонемых и слабослышащих.Web: http://gluhonemoy.ru/

4. Первый информационный сайт глухих, слабослышащих и всех в России (2016). Как общаться с глухими. Web: http://www.deafnet.ru/info.phtml?c=336

5. 24 GADGET. Новейшие технологии. Перчатка-сурдопереводчик (видео) (2012). Web: http://24gadget.ru/1161051049-perchatka-surdoperevodchik-video.html

6. Prolite. Smart Sign Language (Умный сурдопереводчик) (2014). Web: http://prolite.ru/2014/01/14/браслет-сурдопереводчик/

Приложение А. Карта подключения контактов.

Приложение Б. Часть программы. Символ «A».

void synbol_a() // S16, подаём на К(37), снимаем с БО(30)

{

digitalWrite(53,HIGH);

digitalWrite(52,LOW);

servo5.write(70);

servo4.write(160);

servo1.write(160);

servo2.write(140);

servo3.write(160);

delay(200);

while (lego1_angle

{

digitalWrite(22,HIGH);

analogWrite(8, 150);

}

analogWrite(8,0);

while (lego2_angle

{

digitalWrite(23,HIGH);

analogWrite(9, 150);

}

analogWrite(9,0);

while (lego3_angle

{

digitalWrite(24,HIGH);

analogWrite(4,150);

}

analogWrite(4,0);

servo7.write(12);

delay(100);

servo8.write(180);

delay(500);

lego1_angle = 0;

lego2_angle = 0;

lego3_angle = 0;

while (lego1_angle

{

digitalWrite(22,LOW);

analogWrite(8, 150);

}

analogWrite(8,0);

while (lego2_angle

{

digitalWrite(23,LOW);

analogWrite(9, 150);

}

analogWrite(9,0);

while (lego3_angle

{

digitalWrite(24,LOW);

analogWrite(4,150);

}

analogWrite(4,0);

servo1.write(25); //палец разогнут-25, палец согнут-160

servo2.write(50); //палец разогнут-50,палец согнут-140

servo3.write(40); //палец разогнут-40,палец согнут-160

servo4.write(40); //палец разогнут-40,палец согнут-155

servo5.write(140); //палец разогнут-150,палец согнут-70

servo7.write(95); //площадка у сервы параллельна самой серве-95,площадка перпендикулятрна самой серве к ладоне-180, площадка перпедикулярна самой серве от ладони-12

servo8.write(90);// серво вдоль пальца-90, к ладони-180, от ладони-0

servo9.write(110);//серво вдоль пальца-110, к ладони-180, от ладони-15

lego1_angle = 0;

lego2_angle = 0;

lego3_angle = 0;

}

23