Минчане создают приложение, которое умеет читать по губам

Минчане создают приложение Visper для людей, потерявших голос. Инновацией заинтересовались не только медики, но и разработчики: ребят профинансирует крупная компания Synesis. Об этом сообщает dev.by. 

В разработке участвуют Полина Сидорук и Дмитрий Клименков. Алгоритм будет при помощи фронтальной камеры телефона анализировать движение губ человека и распознавать слова, предложения и фразы. Беларусы говорят, что «подсмотрели» идею у британских ученых и решили привнести в нее нечто новое. К тому же, проблема актуальна: немые люди зачастую вынуждены общаться бумажными записками. А Visper поможет воспроизводить беззвучные реплики либо в синтезированную речь, либо в текст.

Первую модель нейросети подключили к Telegram-боту. Ее планируют сделать самостоятельным, отдельным приложением. ИИ обучают на основе десятков минут видеозаписей – нарезок, в которых люди раз за разом повторяют одни и те же слова. Вскоре ее «учителем» станет модель, которая будет работать с роликами из YouTube: расшивать их на видеоряд и субтитры, а после делиться данными с нейросетью.

Несколько месяцев назад на форуме разработчиков Social Weekend проект Visper получил две тысячи рублей от бизнесмена Юрия Мельничка. Теперь их проспонсирует компания Synesis. Клименков сообщает, что в скором времени появится тестовая группа – 70 ларингоэктомированных больных из США. Они проверят функционал Visper до запуска бета-версии. «В планах закончить рабочую версию осенью этого года. Тогда же мы начнём плотно работать с тестовой группой», – подытоживает руководитель инициативы.