В видеоплеере ВКонтакте появились автоматические субтитры

В обновлённом видеоплеере ВКонтакте начали работать автоматические субтитры на русском языке. Их создали на базе собственных технологий соцсети по распознаванию речи, алгоритмов машинного обучения и технологий интеллектуального шумоподавления, сообщили в пресс-службе ВКонтакте.

Новая технология автоматически генерирует текст, расставляет знаки препинания и заглавные буквы, размещает текст по кадрам и ставит субтитр в момент произнесения фразы. В ближайшем будущем появится функция разделения речи спикеров на разные реплики. 

Субтитры в уже доступны части аудитории в популярных роликах и видео в веб-версии и мобильном приложении. Они пригодятся, когда необходимо соблюдать тишину, нужно посмотреть видео без звука или не хочется мешать окружающим. Также технология будет полезна для людей с нарушениями слуха.

Аудиопоток проходит четыре этапа обработки. На первом — запись очищается от фоновых звуков, затем нейросеть распознаёт слова и создает из них текст. На третьем этапе работает пунктуационная модель: она расставляет знаки препинания и заглавные буквы. Все это ВКонтакте ранее применила для распознавания аудиосообщений, а для работы с видео добавили ещё одну функцию: методы машинного обучения распределяют текст по кадрам, чтобы фраза появлялась точно в момент, когда спикер её произносит.

В ближайшее время технологию создания автоматических субтитров дополнят диаризацией — это процесс, в котором аудиопоток делится на реплики в соответствии с конкретным спикером.

Сначала автоматические субтитры появятся в видео официальных сообществ, а также в самых популярных роликах. До конца года автоматические субтитры станут доступны в большинстве видео ВКонтакте.

Ранее Город+ сообщал, что в социальной сети «ВКонтакте» появилась бесплатная аудиоэкскурсия по Петербургу. Она доступна в сервисе «Шаги». С ее помощью пользователи смогут прогуляться по Петроградской стороне.