Представители компании «Яндекс» официально обнародовали технологию для перевода и озвучки любого видео в интернете. За основу ее строения взято машинное обучение.
В данной системе объединены машинный перевод, технология биометрии, распознавание и синтез речи. Благодаря новой разработке пользователи «Яндекс.Браузера» имеют возможность смотреть ролики на иностранном языке с автоматически сгенерированной закадровой озвучкой.
Несколько команд экспертных разработчиков трудились над созданием прототипа технологии. Им удалось получить систему, которая смогла автоматически определять пол говорящего в видео, после чего система подготавливала соответствующий голос.
Чтобы перевод был более точным и совпадал с изображением, система делает паузы, а в нужных местах ускоряет речь. При этом специальный алгоритм отслеживает и корректирует темп речи переводчика.
«В интернете очень много полезного контента, который недоступен людям из-за языкового барьера. И мы близки к тому, чтобы окончательно стереть все границы. Яндекс.Браузер давно умеет переводить тексты, в этом году стал переводить изображения, перевод видео — следующий этап. Это большая сложная задача, которую никто в мире еще не решил. Мы тоже в начале пути, но у нас уже есть прототип и понимание, куда двигаться дальше», — говорит Дэвид Талбот – руководитель направления обработки естественного языка в «Яндексе».
На данный момент технология перевода функционирует только с роликами на английском языке. Посмотреть работу прототипа можно уже сейчас.
