методы оптимизации
-
Хабрахабр
Пора забывать GridSearch — встречайте ProgressiveGridSearch. Фракталы в ML, постепенно увеличиваем разрешение
Здравствуйте, меня зовут Николай Стрекопытов и я придумал как подбирать гиперпараметры бескомпромиссно лучше GridSearch’а. Нужно лишь изменить порядок вычислений. И да, это заявка на обновление индустриального стандарта - скоро вы сможете улучшить свои ML-пайплайны заменой нескольких строчек кода. Сначала коротко Разберем как проводит вычисления GridSearch, а как ProgressiveGridSearch. Первый перебирает все возможные комбинации стандартным вложенным циклом, то есть если нужно…
Читать далее » -
Хабрахабр
Как мы создаём корпоративную почтовую систему нового поколения Mailion. Оптимизация стоимости хранения данных
Каждый из нас сталкивался с необходимостью настройки сложного ПО, интенсивно потребляющего ресурсы компьютера. Как правило, у такого софта довольно объёмная конфигурация, и из-за этого бывает трудно подобрать комбинацию параметров, при которой этот софт демонстрировал бы высокую производительность при минимальной утилизации железа. Одна из наиболее ресурсоемких категорий софта сегодня — это системы хранения данных. К ним можно отнести как классические СУБД,…
Читать далее » -
Хабрахабр
Как работает метод Левенберга-Марквардта
Алгоритм Левенберга-Марквардта прост. Алгоритм Левенберга-Марквардта эффективен. Ну, с методом Ньютона и его связью с градиентным спуском вроде как разобрались. А еще о нем говорят, что он где-то посередине между градиентным спуском и методом Ньютона, что бы это ни значило. Попробуем слегка подразобраться.В своих статьях товарищ Левенберг [Levenberg, K. Но что имеют в виду когда произносят эту глубокомысленную фразу? Quart. A…
Читать далее » -
Хабрахабр
Ох уж этот метод Ньютона
О методах численной оптимизации написано много. Это и понятно, особенно на фоне тех успехов, которые в последнее время демонстрируют глубокие нейронные сети. И очень отрадно, что хотя бы часть энтузиастов интересуется не только тем, как забомбить свою нейросеточку на набравшей в этих ваших интернетах популярность фреймворках, но и тем, как и почему все это вообще работает. Однако мне в последнее…
Читать далее »