seq2seq

  • ХабрахабрФото Могут ли компьютеры изобретать? Создаем аналог ТРИЗ на нейронных сетях архитектуры Трансформер

    Могут ли компьютеры изобретать? Создаем аналог ТРИЗ на нейронных сетях архитектуры Трансформер

    Современные языковые модели достигли впечатляющих результатов в некоторых задачах, которые раньше были под силу только человеческому разуму. Так, например, некоторые модели могут без затруднений искать ответы на вопросы, сформулированные на естественном языке в огромных массивах текстовой информации, при этом они не "подсматривают" во внешние источники, а хранят все знания в своей памяти (например, некоторые модели архитектуры T5). Можно пойти дальше…

    Читать далее »
  • ХабрахабрФото [Из песочницы] Нормализация текста в задачах распознавания речи

    [Из песочницы] Нормализация текста в задачах распознавания речи

    При решении задач, связанных с распознаванием (Speech-To-Text) и генерацией (Text-To-Speech) речи важно, чтобы транскрипт соответствовал тому, что произнёс говорящий — то есть реально устной речи. Это означает, что прежде чем письменная речь станет нашим транскриптом, её нужно нормализовать. Другими словами, текст нужно провести через несколько этапов: Замена числа прописью: 1984 год -> тысяча девятьсот восемьдесят четвёртый год; Расшифровка сокращений: 2…

    Читать далее »
  • ХабрахабрФото Как сделать из нейросети журналиста, или «Секреты сокращения текста на Хабре без лишних слов»

    Как сделать из нейросети журналиста, или «Секреты сокращения текста на Хабре без лишних слов»

    Только не удивляйтесь, но второй заголовок к этому посту сгенерировала нейросеть, а точнее алгоритм саммаризации. А что такое саммаризация? Она заключается в создании алгоритма, который принимает на вход текст и на выходе выдаёт его сокращённую версию. Это одна из ключевых и классических задач Natural Language Processing (NLP). Причем в ней сохраняется корректная структура (соответствующая нормам языка) и правильно передается основная…

    Читать далее »
  • ХабрахабрФото [Перевод] Модели Sequence-to-Sequence Ч.1

    [Перевод] Модели Sequence-to-Sequence Ч.1

    Всем добрый день! Ну и как обычно интересные открытые уроки и подборки интересных материалов. И у нас снова открыт новый поток на доработанный курс «Data scientist»: ещё один отличный преподаватель, чуть доработанная исходя из обновлений программа. Сегодня мы начнём разбор seq2seq моделей от Tensor Flow. Поехали. И возникает интересный вопрос: возможно ли обучение сети на определенных данных для генерации осмысленного…

    Читать далее »


Кнопка «Наверх»