Хабрахабр

Мы опубликовали современные STT модели сравнимые по качеству с Google

Мы наконец опубликовали наш набор высококачественных пре-тренированных моделей для распознавания речи (т.е. сравнимых по качеству с премиум-моделями Google) для следующих языков:

  • Английский;
  • Немецкий;
  • Испанский;

Вы можете найти наши модели в нашем репозитории вместе с примерами и метриками качества и скорости. Мы также постарались сделать начало работы с нашими моделями как можно более простым — выложили примеры на Collab и чекпойнты для PyTorch, ONNX и TensorFlow. Модели также можно загружать через TorchHub.

Распознавание речи традиционно имело высокие барьеры на вход по ряду причин:

  • Данные сложно собирать;
  • Разметка на сравнимую единицу данных стоит сильно дороже чем в компьютерном зрении;
  • Высокие требования по вычислительной мощности и устаревшие технологии;

Вот перечень типовых проблем, с которыми сталкивались существующие решения для распознавания речи до нашего релиза:

  • Исследования в этой сфере обычно делаются на огромных вычислительных мощностях;
  • Пре-тренированные модели и готовые рецепты обычно имеют сильные проблемы с генерализацией, их тяжело использовать "как есть", много зависимостей от устаревших технологий;
  • До недавнего времени сообщество не имело доступа к простым в использовании, но качественным пре-тренированным моделям для распознавания речи;

Для начала мы попробовали решить какие-то из этих проблем, опубликовав самый большой в мире речевой корпус для русского языка (смотрите наш пост на Хабре тут). В этот раз мы делаем свой вклад в решение этих проблем следующим образом:

  • Мы публикуем набор высококачественных пре-тренированных моделей для популярных языков;
  • Наши модели быстрые и могут работать на обычном железе;
  • Наши модели легко использовать;
  • Наши модели пре-тренированы на огромных и разнообразных речевых корпусах;
  • Мы строили наши модели так, чтобы они были устойчивы к разным доменам, насколько это возможно;

Нам кажется, что современные технологии должны быть безумно простыми в использовании. В нашей работе мы следуем следующим принципам:

  • Скорость и компактность;
  • Генерализация между разными доменами. Должно существовать одно общее решение, которое незначительными усилиями настраивается на конкретные домены, а не наоборот;
  • Максимальная простота в использовании ("1 строка кода");

Сейчас наименьший размер, до которого мы смогли ужать наши модели — в районе 50 мегабайт.
В среднесрочной перспективе — планка сжатия до 10-20 мегабайт без потери качества кажется нам выполнимой.
Также мы планируем добавлять другие популярные языки.

Показать больше

Похожие публикации

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»