Петербургские ученые создали систему управления техникой с помощью жестов

Ученые Петербургского исследовательского центра РАН разработали программное обеспечение, позволяющее управлять электроникой с помощью жестов. Интеллектуальный комплекс распознает движения по видео и может использоваться для дистанционного управления «умными» устройствами. Об этом сообщил в своем Telegram-канале вице-губернатор города Владимир Княгинин. 

Система определяет человека в кадре, фиксирует положение рук и распознает до 34 жестов — от простых команд вроде «лайка» до более сложных сигналов. С помощью разработки можно позвонить по телефону, поставить точку, выбрать предмет и даже продемонстрировать принятый в музыкальной культуре знак «rock». Для работы достаточно включить программу на компьютере и показать жест в камеру.

«Когда пользователь захочет позвонить или поставить лайк под фото в соцсети, ему достаточно показать в камеру большой палец. Кроме того, в медицине или на пищевом производстве дистанционное управление оборудованием при помощи жестов поможет обеспечить высокий уровень гигиеничности», — пояснил старший научный сотрудник Лаборатории речевых и многомодальных интерфейсов СПб ФИЦ РАН Дмитрий Рюмин. 

Точность распознавания программного обеспечения превышает 99,6 процентов. Этого удалось добиться благодаря использованию нейросетевой модели, которая строит трехмерную карту изображения и позволяет корректно распознавать жесты даже при сложном фоне.

Для обучения алгоритмов использовали более миллиона изображений людей разного возраста и внешности. Разработку планируют применять в системах «умного» дома и других цифровых сервисах.