градиентный спуск
-
Хабрахабр
Градиентный спуск простыми словами
Машинное обучение произвело революцию в том, как мы обрабатываем и анализируем данные, затронув отрасли от финансов до здравоохранения. Благодаря своей способности выявлять закономерности, которые в противном случае остались бы незамеченными, он стал краеугольным камнем современных технологий. Но по мере того, как эта область продолжает расти и расширяться, растет и потребность в глубоком понимании ее возможностей и ограничений. Для меня это…
Читать далее » -
Хабрахабр
Матрица-Перематрица
Тензор превращается в матрицу Работа нейронной сети основана на манипуляциях с матрицами. Для обучения используются разнообразные методы, многие из которых выросли из метода градиентного спуска, где необходимо умение обращаться с матрицами, вычислять градиенты (производные по матрицам). Если заглянуть “под капот” нейронной сети, можно увидеть цепочки из матриц, выглядящие зачастую устрашающе. Проще говоря, “нас всех подстерегает матрица”. Пора познакомиться поближе. Для…
Читать далее » -
Хабрахабр
[Перевод] Анимации градиентного спуска и ландшафта потерь нейронных сетей на Python
Во время изучения различных алгоритмов машинного обучения я наткнулся на ландшафт потерь нейронных сетей с их горными территориями, хребтами и долинами. Эти ландшафты потерь сильно отличались от выпуклых и гладких ландшафтов потерь, с которыми я столкнулся при использовании линейной и логистической регрессий. Здесь мы создадим ландшафты потерь нейронных сетей и анимированного градиентного спуска с помощью датасета MNIST. Рисунок 1 —…
Читать далее » -
Хабрахабр
[Из песочницы] Конспект по «Машинному обучению». Математический анализ. Градиентный спуск
Вспомним математический анализ Непрерывность функции и производная Пусть $inline$E \subseteq \mathbb$inline$, $inline$a$inline$ — предельная точка множества $inline$E$inline$ (т.е. $inline$a \in E, \forall \varepsilon > 0 \space\space |(a - \varepsilon, a + \varepsilon) \cap E| = \infty$inline$), $inline$f \colon E \to \mathbb{R}$inline$. Определение 1 (предел функции по Коши): Функция $inline$f \colon E \to \mathbb{R}$inline$ стремится к $inline$A$inline$ при $inline$x$inline$, стремящемся к…
Читать далее » -
Хабрахабр
Ох уж этот метод Ньютона
О методах численной оптимизации написано много. Это и понятно, особенно на фоне тех успехов, которые в последнее время демонстрируют глубокие нейронные сети. И очень отрадно, что хотя бы часть энтузиастов интересуется не только тем, как забомбить свою нейросеточку на набравшей в этих ваших интернетах популярность фреймворках, но и тем, как и почему все это вообще работает. Однако мне в последнее…
Читать далее » -
Хабрахабр
[Из песочницы] Обзор градиентных методов в задачах математической оптимизации
Предисловие В этой статье речь пойдет о методах решения задач математической оптимизации, основанных на использовании градиента функции. Основная цель — собрать в статье все наиболее важные идеи, которые так или иначе связаны с этим методом и его всевозможными модификациями. Примечание от автора На момент написания я защитил диссертацию, задача которой требовала от меня глубокое понимание теоретических основно методов математической оптимизации.…
Читать далее » -
Хабрахабр
[Перевод] Применяем градиентный спуск на реальной Земле
Обычная аналогия для объяснения градиентного спуска такая: человек застрял в горах во время сильного тумана и должен спуститься вниз. Самый логичный способ — осмотреть поверхность вокруг и медленно проложить путь, следуя вниз по склону. Хотя обычно это не становится проблемой, потому что градиентный спуск, кажется, работает вполне нормально. Такова суть градиентного спуска, но аналогия всегда разваливается, когда мы переходим в…
Читать далее »