seq2seq
-
Хабрахабр
Могут ли компьютеры изобретать? Создаем аналог ТРИЗ на нейронных сетях архитектуры Трансформер
Современные языковые модели достигли впечатляющих результатов в некоторых задачах, которые раньше были под силу только человеческому разуму. Так, например, некоторые модели могут без затруднений искать ответы на вопросы, сформулированные на естественном языке в огромных массивах текстовой информации, при этом они не "подсматривают" во внешние источники, а хранят все знания в своей памяти (например, некоторые модели архитектуры T5). Можно пойти дальше…
Читать далее » -
Хабрахабр
[Из песочницы] Нормализация текста в задачах распознавания речи
При решении задач, связанных с распознаванием (Speech-To-Text) и генерацией (Text-To-Speech) речи важно, чтобы транскрипт соответствовал тому, что произнёс говорящий — то есть реально устной речи. Это означает, что прежде чем письменная речь станет нашим транскриптом, её нужно нормализовать. Другими словами, текст нужно провести через несколько этапов: Замена числа прописью: 1984 год -> тысяча девятьсот восемьдесят четвёртый год; Расшифровка сокращений: 2…
Читать далее » -
Хабрахабр
Как сделать из нейросети журналиста, или «Секреты сокращения текста на Хабре без лишних слов»
Только не удивляйтесь, но второй заголовок к этому посту сгенерировала нейросеть, а точнее алгоритм саммаризации. А что такое саммаризация? Она заключается в создании алгоритма, который принимает на вход текст и на выходе выдаёт его сокращённую версию. Это одна из ключевых и классических задач Natural Language Processing (NLP). Причем в ней сохраняется корректная структура (соответствующая нормам языка) и правильно передается основная…
Читать далее » -
Хабрахабр
[Перевод] Модели Sequence-to-Sequence Ч.1
Всем добрый день! Ну и как обычно интересные открытые уроки и подборки интересных материалов. И у нас снова открыт новый поток на доработанный курс «Data scientist»: ещё один отличный преподаватель, чуть доработанная исходя из обновлений программа. Сегодня мы начнём разбор seq2seq моделей от Tensor Flow. Поехали. И возникает интересный вопрос: возможно ли обучение сети на определенных данных для генерации осмысленного…
Читать далее »