Tencent Hunyuan оприлюднила Hy-SimulMT — модель, яка перекладає мовлення між китайською та англійською в обох напрямках. Вона обробляє аудіопотік під час розмови та формує перекладений текст і голос. Спробувати технологію можна в мобільному застосунку Hy Translate для Android та iOS.
Джерело фото: Tencent Hunyuan
Розробники заявляють відставання близько трьох секунд у тесті RealSI. Йдеться про метрику StreamLAAL: вона оцінює, наскільки переклад відстає від вхідного аудіо. Це не час до першої звукової відповіді й не гарантія однакової швидкості в кожній розмові. Результати опублікувала сама команда Tencent.
Передбачено відтворення особливостей голосу співрозмовника. У відкритому репозиторії доступні засоби запуску та навчання, проте для озвучення і клонування голосу потрібен налаштований сервіс синтезу мовлення. Підтримка української в цьому релізі не заявлена: наразі це інструмент для китайсько-англійського спілкування.
Відгуки / Коментарі (0)
Коментарів поки немає.