BERT

  • ХабрахабрФото Люди ломаются на логике, роботы — на всем понемногу. Экзамены по русскому для NLP-моделей

    Люди ломаются на логике, роботы — на всем понемногу. Экзамены по русскому для NLP-моделей

    Чтобы машины могли обрабатывать текст на русском и «понимать» его, в NLP используются универсальные языковые модели и трансформеры — BERT, RoBERTa, XLNet и другие — архитектуры от 100 миллионов параметров, обученные на миллиардах слов. Все оригинальные модели появляются обычно для английского, показывают state-of-the-art в какой-нибудь прикладной задаче и только спустя полгода-год появляются и для русского языка, без тюнинга архитектуры. Чтобы…

    Читать далее »
  • ХабрахабрФото [Перевод] Ваш первый BERT: иллюстрированное руководство

    [Перевод] Ваш первый BERT: иллюстрированное руководство

    Прогресс в области машинного обучения для обработки естественного языка существенно ускорился за последние несколько лет. Модели покинули исследовательские лаборатории и стали основой ведущих цифровых продуктов. Хорошей иллюстрацией этому служит недавнее заявление о том, что основным компонентом, стоящим за поиском Google, стала модель BERT. Google верит, что этот шаг (т.е. внедрение передовой модели понимания естественного языка в поисковую систему) представляет собой…

    Читать далее »
  • ХабрахабрФото Простое руководство по дистилляции BERT

    Простое руководство по дистилляции BERT

    Если вы интересуетесь машинным обучением, то наверняка слышали про BERT и трансформеры. BERT — это языковая модель от Google, показавшая state-of-the-art результаты с большим отрывом на целом ряде задач. BERT, и вообще трансформеры, стали совершенно новым шагом развития алгоритмов обработки естественного языка (NLP). Статью о них и «турнирную таблицу» по разным бенчмаркам можно найти на сайте Papers With Code. С BERT есть одна проблема: её проблематично…

    Читать далее »
  • ХабрахабрФото Искусственный интеллект с фломастером. Как мы тренировали нейросеть BERT находить опечатки в новостях

    Искусственный интеллект с фломастером. Как мы тренировали нейросеть BERT находить опечатки в новостях

    Мы часто рассказываем о технологиях и библиотеках, которые зародились и сформировались в Яндексе. На самом деле мы ничуть не реже применяем и развиваем сторонние решения. Вы узнаете, зачем мы научили нейросеть BERT находить опечатки в заголовках новостей, а не воспользовались готовой моделью, почему нельзя взять и запустить BERT на нескольких видеокартах и как мы использовали ключевую особенность этой технологии —…

    Читать далее »
  • ХабрахабрФото Julia NLP. Обрабатываем тексты

    Julia NLP. Обрабатываем тексты

    На сегодня хотелось бы поговорить о средствах решения для решения этой задачи, именно, на языке Julia. Анализ и обработка текстов на естественном языке является постоянно актуальной задачей, которая решалась, решается и будет решаться всеми доступными способами. Однако, даже уже разработанные библиотеки, вполне могут использоваться как для решения типовых задач, так и быть рекомендованными в качестве точки входа для студентов, которым…

    Читать далее »
  • ХабрахабрФото XLNet против BERT

    XLNet против BERT

    Это предобученная модель для решения разных задач обработки естественного языка. В конце июня коллектив из Carnegie Mellon University показал нам XLNet, сразу выложив публикацию, код и готовую модель (XLNet-Large, Cased: 24-layer, 1024-hidden, 16-heads). Они пишут, что XLNet превосходит BERT в большом количестве задач. В публикации они сразу же обозначили сравнение своей модели с гугловым BERT-ом. И показывает в 18 задачах…

    Читать далее »
  • ХабрахабрФото [Из песочницы] BERT — state-of-the-art языковая модель для 104 языков. Туториал по запуску BERT локально и на Google Colab

    [Из песочницы] BERT — state-of-the-art языковая модель для 104 языков. Туториал по запуску BERT локально и на Google Colab

    С помощью BERT можно создавать программы с ИИ для обработки естественного языка: отвечать на вопросы, заданные в произвольной форме, создавать чат-ботов, автоматические переводчики, анализировать текст и так далее. BERT — это нейронная сеть от Google, показавшая с большим отрывом state-of-the-art результаты на целом ряде задач. Поэтому в этом туториале мы научимся запускать нейронную сеть BERT на локальном компьютере, а также…

    Читать далее »


Кнопка «Наверх»