BERT

  • Хабрахабр

    Простое руководство по дистилляции BERT

    Если вы интересуетесь машинным обучением, то наверняка слышали про BERT и трансформеры. BERT — это языковая модель от Google, показавшая state-of-the-art результаты с большим отрывом на целом ряде задач. BERT, и вообще трансформеры, стали совершенно новым шагом развития алгоритмов обработки естественного языка (NLP). Статью о них и «турнирную таблицу» по разным бенчмаркам можно найти на сайте Papers With Code. С BERT есть одна проблема: её проблематично…

    Подробнее »
  • Хабрахабр

    Искусственный интеллект с фломастером. Как мы тренировали нейросеть BERT находить опечатки в новостях

    Мы часто рассказываем о технологиях и библиотеках, которые зародились и сформировались в Яндексе. На самом деле мы ничуть не реже применяем и развиваем сторонние решения. Вы узнаете, зачем мы научили нейросеть BERT находить опечатки в заголовках новостей, а не воспользовались готовой моделью, почему нельзя взять и запустить BERT на нескольких видеокартах и как мы использовали ключевую особенность этой технологии —…

    Подробнее »
  • Хабрахабр

    Julia NLP. Обрабатываем тексты

    На сегодня хотелось бы поговорить о средствах решения для решения этой задачи, именно, на языке Julia. Анализ и обработка текстов на естественном языке является постоянно актуальной задачей, которая решалась, решается и будет решаться всеми доступными способами. Однако, даже уже разработанные библиотеки, вполне могут использоваться как для решения типовых задач, так и быть рекомендованными в качестве точки входа для студентов, которым…

    Подробнее »
  • Хабрахабр

    XLNet против BERT

    Это предобученная модель для решения разных задач обработки естественного языка. В конце июня коллектив из Carnegie Mellon University показал нам XLNet, сразу выложив публикацию, код и готовую модель (XLNet-Large, Cased: 24-layer, 1024-hidden, 16-heads). Они пишут, что XLNet превосходит BERT в большом количестве задач. В публикации они сразу же обозначили сравнение своей модели с гугловым BERT-ом. И показывает в 18 задачах…

    Подробнее »
  • Хабрахабр

    [Из песочницы] BERT — state-of-the-art языковая модель для 104 языков. Туториал по запуску BERT локально и на Google Colab

    С помощью BERT можно создавать программы с ИИ для обработки естественного языка: отвечать на вопросы, заданные в произвольной форме, создавать чат-ботов, автоматические переводчики, анализировать текст и так далее. BERT — это нейронная сеть от Google, показавшая с большим отрывом state-of-the-art результаты на целом ряде задач. Поэтому в этом туториале мы научимся запускать нейронную сеть BERT на локальном компьютере, а также…

    Подробнее »


Кнопка «Наверх»
Закрыть