Голос и речь в текст

Голос в текст — из записи, а не с микрофона

Мы распознаём речь из готовой записи, а не с микрофона в реальном времени — это разные задачи.

Голосовые помощники распознают речь на лету и по одному говорящему. Нам приходит готовая запись, где людей может быть несколько, они перебивают друг друга, а микрофон стоит далеко.

Поэтому распознавание речи здесь идёт вместе с разметкой времени и, по заказу, с определением говорящих. На выходе не поток слов, а разбитый на реплики текст, по которому можно искать и который читается как расшифровка.

Язык определяется автоматически. Лучше всего распознаются русский и английский; если говорят с сильным акцентом или переходят с языка на язык, точность ниже.

Какой голос переводим в текст

От чего зависит результат

Чем ближе микрофон к говорящему, тем разборчивее текст. Телефон посреди стола на восьмерых даёт заметно худший результат, чем он же в полуметре от человека.

Хуже всего распознаются имена собственные, названия и узкие термины. Обычная речь идёт хорошо, поэтому вычитка обычно сводится к сверке этих четырёх категорий.

Наложение голосов портит и распознавание, и разделение по говорящим: чистого куска голоса, по которому можно отличить одного от другого, просто не остаётся.

Как работает распознавание речи

Запись делится на короткие фрагменты, и нейросетевая модель превращает звук каждого в слова. Она учитывает контекст фразы и сама расставляет знаки препинания.

Затем у слов появляется время, а если заказано разделение по говорящим, отдельная модель определяет, чей это голос, и подписывает реплики.

Всё это идёт на наших серверах: телефон и компьютер не нагружаются, а приложение можно закрыть — бот пришлёт сообщение, когда текст будет готов.

Смотрите также

Что обычно спрашивают