градиентный спуск

  • ХабрахабрФото Градиентный спуск простыми словами

    Градиентный спуск простыми словами

    Машинное обучение произвело революцию в том, как мы обрабатываем и анализируем данные, затронув отрасли от финансов до здравоохранения. Благодаря своей способности выявлять закономерности, которые в противном случае остались бы незамеченными, он стал краеугольным камнем современных технологий. Но по мере того, как эта область продолжает расти и расширяться, растет и потребность в глубоком понимании ее возможностей и ограничений. Для меня это…

    Читать далее »
  • ХабрахабрФото Матрица-Перематрица

    Матрица-Перематрица

    Тензор превращается в матрицу Работа нейронной сети основана на манипуляциях с матрицами. Для обучения используются разнообразные методы, многие из которых выросли из метода градиентного спуска, где необходимо умение обращаться с матрицами, вычислять градиенты (производные по матрицам). Если заглянуть “под капот” нейронной сети, можно увидеть цепочки из матриц, выглядящие зачастую устрашающе. Проще говоря, “нас всех подстерегает матрица”. Пора познакомиться поближе. Для…

    Читать далее »
  • ХабрахабрФото [Перевод] Анимации градиентного спуска и ландшафта потерь нейронных сетей на Python

    [Перевод] Анимации градиентного спуска и ландшафта потерь нейронных сетей на Python

    Во время изучения различных алгоритмов машинного обучения я наткнулся на ландшафт потерь нейронных сетей с их горными территориями, хребтами и долинами. Эти ландшафты потерь сильно отличались от выпуклых и гладких ландшафтов потерь, с которыми я столкнулся при использовании линейной и логистической регрессий. Здесь мы создадим ландшафты потерь нейронных сетей и анимированного градиентного спуска с помощью датасета MNIST. Рисунок 1 —…

    Читать далее »
  • ХабрахабрФото [Из песочницы] Конспект по «Машинному обучению». Математический анализ. Градиентный спуск

    [Из песочницы] Конспект по «Машинному обучению». Математический анализ. Градиентный спуск

    Вспомним математический анализ Непрерывность функции и производная Пусть $inline$E \subseteq \mathbb$inline$, $inline$a$inline$ — предельная точка множества $inline$E$inline$ (т.е. $inline$a \in E, \forall \varepsilon > 0 \space\space |(a - \varepsilon, a + \varepsilon) \cap E| = \infty$inline$), $inline$f \colon E \to \mathbb{R}$inline$. Определение 1 (предел функции по Коши): Функция $inline$f \colon E \to \mathbb{R}$inline$ стремится к $inline$A$inline$ при $inline$x$inline$, стремящемся к…

    Читать далее »
  • ХабрахабрФото Ох уж этот метод Ньютона

    Ох уж этот метод Ньютона

    О методах численной оптимизации написано много. Это и понятно, особенно на фоне тех успехов, которые в последнее время демонстрируют глубокие нейронные сети. И очень отрадно, что хотя бы часть энтузиастов интересуется не только тем, как забомбить свою нейросеточку на набравшей в этих ваших интернетах популярность фреймворках, но и тем, как и почему все это вообще работает. Однако мне в последнее…

    Читать далее »
  • ХабрахабрФото [Из песочницы] Обзор градиентных методов в задачах математической оптимизации

    [Из песочницы] Обзор градиентных методов в задачах математической оптимизации

    Предисловие В этой статье речь пойдет о методах решения задач математической оптимизации, основанных на использовании градиента функции. Основная цель — собрать в статье все наиболее важные идеи, которые так или иначе связаны с этим методом и его всевозможными модификациями. Примечание от автора На момент написания я защитил диссертацию, задача которой требовала от меня глубокое понимание теоретических основно методов математической оптимизации.…

    Читать далее »
  • ХабрахабрФото [Перевод] Применяем градиентный спуск на реальной Земле

    [Перевод] Применяем градиентный спуск на реальной Земле

    Обычная аналогия для объяснения градиентного спуска такая: человек застрял в горах во время сильного тумана и должен спуститься вниз. Самый логичный способ — осмотреть поверхность вокруг и медленно проложить путь, следуя вниз по склону. Хотя обычно это не становится проблемой, потому что градиентный спуск, кажется, работает вполне нормально. Такова суть градиентного спуска, но аналогия всегда разваливается, когда мы переходим в…

    Читать далее »


Кнопка «Наверх»