Главная » Хабрахабр » Теория счастья. Статистика, как научный способ чего-либо не знать

Теория счастья. Статистика, как научный способ чего-либо не знать

Продолжаю знакомить читателей Хабра с главами из своей книжки «Теория счастья» с подзаголовком «Математические основы законов подлости». Это ещё не изданная научно-популярная книжка, очень неформально рассказывающая о том, как математика позволяет с новой степенью осознанности взглянуть на мир и жизнь людей. Она для тех кому интересна наука и для тех, кому интересна жизнь. А поскольку жизнь наша сложна и, по большому счёту, непредсказуема, упор в книжке делается, в основном, на теорию вероятностей и математическую статистику. Здесь не доказываются теоремы и не даются основы науки, это ни в коем случае не учебник, а то, что называется recreational science. Но именно такой почти игровой подход позволяет развить интуицию, скрасить яркими примерами лекции для студентов и, наконец, объяснить нематематикам и нашим детям, что же такого интересного мы нашли в своей сухой науке.

Опубликованные главы:

Речь в этой главе пойдёт о статистике, о погоде и даже о философии. Не пугайтесь, совсем чуть-чуть. Не более того, что можно использовать для tabletalk в приличном обществе.

Цифры обманчивы, особенно когда я сам ими занимаюсь; по этому поводу справедливо высказывание, приписываемое Дизраэли: «Существует три вида лжи: ложь, наглая ложь и статистика».
Марк Твен

И ладно бы это случалось раз или два за сезон, порою складывается впечатление, что непогода преследует именно выходные дни, раз за разом попадая на субботу или воскресенье! Как часто летом мы планируем на свои выходные дни выезд на природу, прогулку в парке или пикник, а потом дождь разбивает наши планы, заточая нас в доме!

Её подхватили новостные издания и перепечатали результаты с таким заголовком: «Вам не кажется! Сравнительно недавно вышла статья австралийских исследователей: «Недельные циклы пиковой температуры и интенсивность городских тепловых островов». В цитируемой работе приводится статистика температуры и осадков за много лет в нескольких городах Австралии, и вправду, выявляющая понижение температуры на в определённые часы субботы и воскресенья. Учёные выяснили: погода на выходных, действительно хуже, чем в будние дни». Незадолго до этого, подобное исследование проводилось в Германии и привело примерно к тем же выводам. После чего этому даётся объяснение, связывающее локальную погоду с уровнем загрязнённости воздуха из-за возрастающего транспортного потока.

Сетуя на непогоду в долгожданную субботу, мы обсуждаем, был ли день солнечным или дождливым, это обстоятельство проще зарегистрировать, а позже вспомнить, даже не обладая точными приборами. Согласитесь, доли градуса — это весьма тонкий эффект. Исследования с отрицательным результатом обычно не попадают на страницы журналов и в новостные ленты, но нам с вами важно понять, на каком основании я, вообще, могу что-то уверенно заявлять о случайных процессах. Мы проведём собственное небольшое исследование на эту тему и получим замечательный результат: можно уверенно утверждать, что мы не знаем, связаны ли на Камчатке, день недели и непогода. И в этом плане отрицательный результат становится ничуть не хуже положительного.

Слово в защиту статистики

Статистику обвиняют в массе грехов: и во лжи и в возможностях манипуляций и, наконец, в непонятности. Но мне очень хочется реабилитировать эту область знаний, показать, насколько сложна задача, для которой она предназначена и сколь непросто бывает понять ответ, который даёт статистика.

Ещё раз подчеркну, что располагать точным знанием о случайной величине возможно. Теория вероятностей оперирует точными знаниями о случайных величинах в виде распределений или исчерпывающих комбинаторных подсчётов. У разработчика нового лекарства есть какое-то ограниченное число испытаний, у создателя системы управления транспортным потоком — лишь ряд измерений на реальной дороге, у социолога – результаты опросов, причём, он может быть уверен в том, что отвечая на какие-то вопросы, респонденты попросту соврали. Но что если это точное знание нам недоступно, а единственное чем мы располагаем — это наблюдения?

Два – немногим больше, чем ничего, три, четыре… сто… сколько нужно наблюдений чтобы получить какое-либо знание о случайной величине, в котором можно было бы быть уверенным с математической точностью? Понятно, что одно наблюдение не даёт ровным счётом ничего. Скорее всего, оно будет представлено в виде таблицы или гистограммы, дающей возможность оценить некоторые параметры случайной величины, их называют статистиками (например, область определения, среднее или дисперсия, асимметричность и т.д.). И что это будет за знание? Но внимание! Быть может, глядя на гистограмму удастся угадать точную форму распределения. Пока мы не владеем точным знанием о распределении, все результаты наблюдений дают нам лишь вероятностное описание случайного процесса! — все результаты наблюдений сами будут случайными величинами! Случайное описание случайного процесса — ещё бы здесь не запутаться, а то и захотеть запутать намеренно!

Её методы позволяют заключить наше незнание в чётко ограниченные рамки и дать вычислимую меру уверенности в том, что в этих рамках наше знание согласуется с фактами. Что же делает математическую статистику точной наукой? Такой подход очень полезен в философии, психологии или социологии, где очень легко пуститься в пространные рассуждения и дискуссии без всякой надежды на получение позитивного знания и, тем более, на доказательство. Это язык, на котором можно рассуждать о неизвестных случайных величинах так, чтобы рассуждения имели смысл. Грамотной статистической обработке данных посвящена масса литературы, ведь это абсолютно необходимый инструмент для медиков, социологов, экономистов, физиков, психологов… словом, для всех научно исследующих так называемый «реальный мир», отличающийся от идеального математического лишь степенью нашего незнания о нём.

Это ли не главный закон подлости мироздания! Теперь ещё раз взгляните на эпиграф к этой главе и осознайте, что статистика, которую так пренебрежительно называют третьей степенью лжи, это единственное, чем располагают естественные науки. В повседневности наш разум делает обобщения и подмечает закономерности, выделяет и распознаёт повторяющиеся образы, это, наверное, лучшее, что умеет человеческий мозг. Все известные нам законы природы, от физических до экономических, строятся на математических моделях и их свойствах, но поверяются они статистическими методами в ходе измерений и наблюдений. Но разум экономит свои силы и склонен делать выводы по единичным наблюдениям, не сильно беспокоясь о точности или обоснованности этих выводов. Это именно то, чему в наши дни учат искусственный интеллект. По крайней мере, я делаю именно так». По этому поводу есть замечательное самосогласованное утверждение из книги Стивена Браста «Исола»: «Все делают общие выводы из одного примера. Однако при строительстве самолёта, организации диспетческой службы аэропорта или тестировании нового лекарства, уже нельзя сослаться на то, что «мне так кажется», «интуиция подсказывает» и «в жизни всякое бывает». И пока речь идёт об искусстве, характере домашних любимцев или обсуждении политики, об этом можно сильно не беспокоиться. Тут приходится ограничивать свой разум рамками строгих математических методов.

Но мне хотелось бы показать ход рассуждений и форму результатов, характерных для этой области знания. Наша книжка не учебник, и мы не будем детально изучать статистические методы и ограничимся лишь одним — техникой проверкой гипотез. И что именно мы узнаём, используя статистические данные? И, возможно, кому-то из читателей, будущему студенту, не только станет понятно зачем его мучают матстатистикой, всеми этими QQ-диаграммами, t- и F-распределениями, но придёт в голову другой важный вопрос: а как вообще это возможно знать что-нибудь наверняка о случайном явлении?

Три кита статистики

Основными столпами математической статистики являются теория вероятности, Закон больших чисел и центральная предельная теорема.

Иными словами, гистограмма наблюдаемых величин при бесконечном числе данных, почти наверняка стремится к тому распределению, которое мы можем считать истинным. Закон больших чисел, в вольной трактовке, говорит о том, что большое число наблюдений случайной величины почти наверняка отражает её распределение, так что наблюдаемые статистики: среднее, дисперсия и прочие характеристики, стремятся к точным значениям, соответствующим случайной величине. Именно этот закон связывает «бытовое» частотное толкование вероятности и теоретическое, как меры на вероятностном пространстве.

Точная формулировка звучит иначе: среднее значение большого числа идентично распределённых вещественных случайных величин, вне зависимости от их распределения, описывается нормальным распределением. Эту теорему обычно доказывают, применяя методы функционального анализа, но мы увидим позже, что её можно понять и даже расширить, введя понятие энтропии, как меры вероятности состояния системы: нормальное распределение имеет наибольшую энтропию при наименьшем числе ограничений. Центральная предельная теорема, опять же, в вольной трактовке, говорит, что одной из наиболее вероятных форм распределения случайной величины является нормальное (гауссово) распределение. В этом смысле, оно оптимально при описании неизвестной случайной величины, либо случайной величины, являющейся совокупностью многих других величин, распределение которых тоже неизвестно.

Здесь речь идёт о статистическом подтверждении или опровержении предположения, которое можно сделать из каких-то общих оснований и математической модели. Эти два закона лежат в основе количественных оценок достоверности наших знаний, основанных на наблюдениях. Набор фактов превращается в знание лишь после построения связей между фактами, образующих определённую структуру. Это может показаться странным, но сама по себе, статистика не производит новых знаний. Такие предположения называются гипотезами. Именно эти структуры и связи позволяют делать предсказания и выдвигать общие предположения, основанные на чём-то, выходящем за пределы статистики. Самое время вспомнить один из законов мерфологии, постулат Персига:

Число разумных гипотез, объясняющих любое данное явление, бесконечно.

Задача математической статистики ограничить это бесконечное число, а вернее свести их к одной, причём вовсе не обязательно верной. Для перехода к более сложной (и часто, более желанной) гипотезе, необходимо, используя данные наблюдений, опровергнуть более простую и общую гипотезу, либо подкрепить её и отказаться от дальнейшего развития теории. Часто проверяемую таким образом гипотезу называют нулевой, и в этом есть глубокий смысл.

В определённом смысле, все что угодно, любое утверждение, но при условии, что его удастся перевести на язык измерения. Что может выступить в роли нулевой гипотезы? Иногда предполагается вид распределения, случайного процесса, предлагается какая-то математическая модель. Чаще всего, гипотезой служит ожидаемое значение какого-то параметра, который превращается в случайную величину в ходе измерения, либо отсутствие связи (корреляции) между двумя случайными величинами. Точнее, с какой долей уверенности мы можем утверждать, что наблюдения нельзя получить, исходя из нулевой гипотезы? Классическая постановка вопроса при этом такова: позволяют ли наблюдения отвергнуть нулевую гипотезу или нет? При этом, если мы не смогли опираясь на статистические данные доказать, что нулевая гипотеза ложна, то она принимается истинной.

Классический пример — слова, сказанные сенатором Джозефом Маккарти, когда его попросили предъявить факты для поддержки выдвинутого им обвинения, что некий человек является коммунистом: «У меня немного информации по этому вопросу, за исключением того общего заявления компетентных органов, что в его досье нет ничего, чтобы исключало его связи с коммунистами». И тут можно подумать, что исследователи вынуждены совершать одну из классических логических ошибок, которая носит звучное латинское имя ad ignorantiam. Это аргументация истинности некоторого утверждения, основанная на отсутствии доказательства его ложности. Выявление разницы между научной гипотезой и подобными уловками составляет предмет целой области философии: методологии научного познания. Или ещё ярче: «Снежный человек существует, поскольку никто не доказал обратного». Этот критерий призван разделять научное знание от ненаучного, и, на первый взгляд, он кажется парадоксальным:
Одним из её ярких результатов является критерий фальсифицируемости, выдвинутый замечательным философом Карлом Поппером в первой половине XX века.

Теория или гипотеза может считаться научной, только если существует, пусть даже гипотетически, способ её опровергнуть.

Чем не закон подлости! Получается, что любая научная теория автоматически потенциально неверна, а теория, верная «по определению», не может считаться научной. Более того, этому критерию не удовлетворяют такие науки как математика и логика. Впрочем, их относят не к естественным наукам, а к формальным, не требующим проверки на фальсифицируемость. А если к этому добавить ещё один результат того же времени: принцип неполноты Гёделя, утверждающий, что в рамках любой формальной системы можно сформулировать утверждение, которое невозможно ни доказать, ни опровергнуть, то может стать непонятно зачем, вообще, заниматься всей этой наукой. Однако важно понимать, что принцип фальсифицируемости Поппера ничего не говорит об истинности теории, а только о том является она научной или нет. Он может помочь определить, даёт ли некая теория язык, на котором имеет смысл рассуждать о мире или нет.

Дело в том, что статистическая гипотеза берётся не из желания исследователя или его предпочтений, она должна вытекать из каких-либо общих формальных законов. Но всё же, почему, если мы не можем на базе статистических данных отвергнуть гипотезу, мы в праве принять её истинной? Эти законы корректно отражают степень нашего незнания, не добавляя, без необходимости, лишних предположений или гипотез. Например, из Центральной предельной теоремы, либо из принципа максимальной энтропии. В известном смысле, это прямое использование знаменитого философского принципа, известного как бритва Оккама:

Что может быть сделано на основе меньшего числа предположений, не следует делать, исходя из большего.

Таким образом, когда мы принимаем нулевую гипотезу, основываясь на отсутствии её опровержения, мы формально и честно показываем, что в результате эксперимента степень нашего незнания осталась на прежнем уровне. В примере же со снежным человеком, явно или неявно, но предполагается обратное: отсутствие доказательств того, что этой загадочной твари не существует представляется чем-то, что может увеличить степень нашего знания о ней.

В тоже время, утверждение об отсутствии чего-либо можно легко опровергнуть предоставив экземпляр, косвенное свидетельство, либо доказав существование по построению. Вообще, с точки зрения принципа фальсифицируемости, любое утверждение о существовании чего-либо ненаучно, ибо отсутствие свидетельства ничего не доказывает. Именно этим в полной мере оправдывается термин «нулевая гипотеза»: она содержит необходимый минимум знаний о системе. И в этом смысле, статистическая проверка гипотез анализирует утверждения об отсутствии искомого эффекта и может предоставить в известном смысле, точное опровержение этого утверждения.

Как запутать статистикой и как распутаться

Очень важно подчеркнуть, что если статистические данные говорят о том, что нулевая гипотеза может быть отвергнута, то это не значит, что мы тем самым доказали истинность какой-либо альтернативной гипотезы. Статистику не следует путать с логикой, в этом кроется масса трудноуловимых ошибок, особенно, когда в дело вступают условные вероятности для зависимых событий. Например: очень маловероятно, что человек может быть Папой Римским ($\sim 1/7$ млрд), следует ли из этого, что Папа Иоанн Павел II не был человеком? Утверждение кажется абсурдным, но, к сожалению, столь же неверным является и такой «очевидный» вывод: проверка показала, что мобильный тест на содержание алкоголя в крови даёт не более $1\%$ как ложных положителых, так и ложных отрицательных результатов, следовательно, в $98\%$ случаев он верно выявит пьяного водителя. Давайте протестируем $1000$ водителей, и пусть $100$ из будут, действительно, пьяны. В результате мы получим $900\times1\%=9$ ложных положительных и $100\times1\%=1$ ложноотрицательный результат: то есть, на одного проскочившего пьяницу придётся девять невинно обвинённых случайных водителей. Чем не закон подлости! Паритет будет наблюдаться только если доля пьяных водителей будет равна $1/2$, либо если отношение долей ложноположительных и ложноотрицательных результатов будет близким к реальному отношению пьяных водителей к трезвым. Причём, чем трезвее обследуемая нация, тем несправедливей будет применение описанного нами прибора!

Помните, в колмогоровском определении вероятности говорилось о способе сложения вероятности объединения событий: вероятность объединения двух событий равна сумме их вероятностей за вычетом вероятности их пересечения. Здесь мы столкнулись с зависимыми событиями. Для этого вводится новое понятие: условная вероятность и на передний план выходит зависимость событий друг от друга.
Вероятность пересечения событий A и B определяется как произведение вероятности события B и вероятности события $A$, если известно, что случилось событие $B$: Однако о том, как вычисляется вероятность пересечение событий, эти определения не говорят.

$P(A \cap B) = P(B)P(A|B).$

Теперь можно определить независимость событий тремя эквивалентными способами: Cобытия $A$ и $B$ независимы, если $P(A|B) = P(A)$, или $P(B|A) = P(B)$, или $P(A\cap B) = P(A)P(B)$.
Тем самым мы завершаем формальное определение вероятности, начатое в первой главе.

Отсюда немедленно следует теорема Байеса: Пересечение — операция коммутативная, то есть $P(A\cap B) = P(B\cap A)$.

$P(A|B)P(B) = P(B|A)P(A),$

которую можно использовать для исчисления условных вероятностей.

Вероятности: <img src="https://habrastorage.org/getpro/habr/formulas/bd9/cd0/23c/bd9cd023cb29c3e31b7a490357af5166.svg" alt="$P(A) = 0. В нашем примере с водителями и тестом на алкоголь мы имеем cобытия: $A$ — водитель пьян, $B$ — тест выдал положительный результат. Вычислим $P(B)$ — вероятность получить положительный результат теста на дороге: 1$" data-tex="inline"/> — вероятность того, остановленный водитель пьян; $P(B|A) = 99\%$ — вероятность того, что тест выдаст положительный результат, если известно, что водитель пьян (исключается $1\%$ ложноотрицателых результатов), $P(A|B) = 99\%$ — вероятность того, что тестируемый пьян, если тест дал положительный результат (исключается $1%$ ложноположительных результатов).

1$" data-tex="display"/> <img src="https://habrastorage.org/getpro/habr/formulas/3ce/821/4ae/3ce8214ae3de5312c52cfb1186b8946b.svg" alt="$P(B) = \frac{P(B|A)} = P(A) = 0.

Теперь наши рассуждения стали формализованными и, как знать, быть может, для кого-то более понятными. Понятие условной вероятности позволяет логически рассуждать на языке тории вероятностей. Неудивительно, что теорема Байеса нашла широкое применение в теории принятия решений, в системах распознавания образов, в спам-фильтрах, программах, проверяющих тесты на плагиат и во многих других информационных технологиях.

Но, боюсь, что журналистам или политикам не преподают ни математическую статистику ни теорию вероятности, зато они охотно апеллируют к статистическим данным, вольно интерпретируют их и несут полученное «знание» в массы. Эти примеры тщательно разбираются студентами, изучающими медицинские тесты, или юридические практики. Другого противоядия невежеству я не вижу. Поэтому я призываю своего читателя: разобрался в математике сам, помоги разобраться другому!

Измеряем нашу доверчивость

Мы рассмотрим и применим на практике только одно из множества статистических методик: проверку статистических гипотез. Для тех, кто уже связал свою жизнь с естественными или социальными науками в этих примерах не будет чего-то ошеломительно нового.

Согласно Центральной предельной теореме, наблюдаемое среднее значение будет распределено нормально. Предположим, что мы многократно измеряем случайную величину, имеющую среднее значение $\mu$ и стандартное отклонение $\sigma$. Стандартное отклонение можно рассматривать как абсолютную погрешность измерения среднего, относительная погрешность при этом будет равна $\delta = \sigma/(\sqrt{n}\mu)$. Из закона больших чисел следует, что его среднее будет стремиться к $\mu$, а из свойств нормального распределения следует, что после $n$ измерений наблюдаемая дисперсия среднего будет уменьшаться как $\sigma/\sqrt{n}$. Из них следуют два полезных правила (не закона): Это весьма общие выводы, не зависящие для достаточно больших $n$ от конкретной формы распределения исследуемой случайной величины.

Минимальное число испытаний $n$ должно диктоваться желаемой относительной погрешностью $\delta$. 1. При этом, если

$n \geq \left(\frac{2\sigma}{\mu\delta}\right)^2,$

то вероятность того, что наблюдаемое среднее останется в пределах заданной погрешности будет не менее $95\%$. При $\mu$ близком к нулю, относительную погрешность лучше заменить на абсолютную.

Пусть нулевой гипотезой будет предположение, что наблюдаемое среднее значение равно $\mu$. 2. Тогда, если наблюдаемое среднее не выходит за пределы $\mu \pm 2\sigma/\sqrt{n}$, то вероятность того что нулевая гипотеза верна, будет не менее $95\%$.

7\%$" data-tex="inline"/>, это очень сильное правило $3\sigma$, которое в физических науках отделяет предположения от экспериментально установленного факта. Если заменить в этих правилах $2\sigma$ на $3\sigma$, то степень уверенности вырастет до <img src="https://habrastorage.org/getpro/habr/formulas/e93/502/be1/e93502be184fdb7c8ce880cc37fde49d.svg" alt="$99.

В этом случае $\mu = p$ и $\sigma = \sqrt{p(1-p)}$, так что для необходимого числа экспериментов и доверительного интервала получим Для нас полезным будет рассмотреть приложение этих правил к распределению Бернулли, описывающему случайную величину, которая принимает ровно два значения, условно называемые «успех» и «неудача», с заданной вероятностью успеха $p$.

$n \geq \frac{4}{\delta^2}\frac{1-p}{p}\quad и\quad np \pm 2\sqrt{np(1-p)}.$

Правило $2\sigma$ для распределения Бернулли можно использовать для определения доверительного интервала при построении гистограмм. По существу, каждый столбик гистограммы представляет случайную величину с двумя значениями: «попал» – «не попал», где вероятность попадания соответствует моделируемой функции вероятности. В качестве демонстрации, сгенерируем множество выборок для трёх распределений: равномерного, геометрического и нормального, после чего сравним оценки разброса наблюдаемых данных с наблюдаемым разбросом. И здесь мы вновь видим отголоски центральной предельной теоремы, проявляющиеся в том, что распределение данных вокруг средних значений в гистограммах близко к нормальному. Однако, вблизи нуля разброс становится несимметричным и приближается к другому очень вероятному распределению – экспоненциальному. Этот пример хорошо показывает, что я имел в виду, говоря, что в статистике мы имеем дело со случайными значениями параметров случайной величины. 

Пример, показывающий соотношение оценки разброса, сделанной по правилу $2\sigma$ и наблюдаемого разброса для трёх случайных величин.

Они не гарантируют истинности какого-либо утверждения, не являются доказательствами. Важно понимать, что правила $2\sigma$ и даже $3\sigma$ не избавляют нас от ошибок. Статистика ограничивает степень недоверия к гипотезе, и не более того.

Представьте себе научный журнал, редакция которого приняла волевое решение: принимать к печати исключительно статьи с положительными результатами, которые удовлетворяют правилу $2\sigma$ или строже. Математик и автор прекрасного курса теории вероятностей Джиан-Карло Рота, на своих лекциях по теории вероятности в MIT приводил такой пример. Увы, это утверждение легко опровергнуть теми же рассуждениями, что привели нас к вопиющей несправедливости при тестировании водителей на алкоголь. При этом в редакционной колонке указано, что читатели могут быть уверены, что с вероятностью $95\%$ читатель не встретит на страницах этого журнала неверный результат! Исходя из смысла проверки гипотез, можно ожидать, что <img src="https://habrastorage.org/getpro/habr/formulas/8ac/3d1/b4e/8ac3d1b4e0d2f812d075af6cceb04c73.svg" alt="$900\times0. Пусть $1000$ исследователей, подвергнут опыту $1000$ гипотез, из которых верна лишь какая-то часть, скажем, $10\%$. 95=95$" data-tex="inline"/> верными результатами. 05=45$" data-tex="inline"/> из неверных гипотез ошибочно не будут отвергнуты, и войдут в журнал наряду с <img src="https://habrastorage.org/getpro/habr/formulas/392/bc1/13b/392bc113b8434c2c31b3093bebd02da9.svg" alt="$100\times0. Итого, из $130$ результатов добрая треть окажется неверной!

Этот пример прекрасно демонстрирует наш отечественный закон подлости, который не вошёл пока в хрестоматии мерфологии, закон Черномырдина:

Хотели как лучше, а получилось, как всегда.

Легко получить общую оценку доли неверных результатов, которые войдут в выпуски журнала, при предположении, что доля верных гипотез равна $0<\alpha<1$ и вероятность принятия ошибочной гипотезы равна $p$:

$x =\frac{(1-\alpha)p}{\alpha(1-p)+(1-\alpha)p}.$

Области, ограничивающие долю заведомо неверных результатов, которые смогут быть опубликованы в журнале, показаны на рисунке.

Оценка доли публикаций, содержащих заведомо неверные результаты при принятии различных критериев проверки гипотез. Видно, что принимать гипотезы по правилу $2\sigma$ может быть рисковано, тогда как критерий $4\sigma$ уже может считаться весьма сильным.

Можно ограничить себя жёсткими рамками критерия $4\sigma$, но он требует очень большого числа испытаний. Конечно, мы не знаем этого $\alpha$, и не узнаем никогда, но оно заведомо меньше единицы, а значит, в любом случае, утверждение из редакционной колонки нельзя принимать всерьёз. На это и направлены стандартные подходы научного метода познания – логическая непротиворечивость гипотез, их согласованность с фактами и теориями, доказавшими свою применимость, опора на математические модели и критическое мышление. Значит, надо увеличивать долю верных гипотез во множестве возможных предположений.

И снова о погоде

В начале главы мы говорили о том, что выходные и непогода совпадают чаще, чем хотелось бы. Давайте постараемся завершить это исследование. Каждый дождливый день можно рассматривать как наблюдение случайной величины — дня недели, подчиняющегося распределению Бернулли с вероятностью $1/7$. Примем в качестве нулевой гипотезы предположение, что все дни недели одинаковы с точки зрения погоды и дождь может пойти в любой из них равновероятно. Выходных у нас два, итого, получаем ожидаемую вероятность совпадения непогожего дня и выходного равной $2/7$, эта величина будет параметром распределения Бернулли. Как часто идёт дождь? В разное время года по-разному, конечно, но в Петропавловске-Камчатском, в среднем, наблюдается девяносто дождливых или снежных дней в году. Так что поток дней с осадками имеет интенсивность около $90/365\approx1/4$. Давайте посчитаем, какое количество дождливых выходных мы должны зарегистрировать, для того, чтобы быть уверенным в том, что существует некоторая закономерность. Результаты приведены в таблице.

Если вам кажется, что который год подряд «лета не было», что злой рок преследует ваши выходные, насылая на них дождь, это можно проверить и подтвердить. О чем говорят эти цифры? Нулевая же гипотеза предполагает, что только четверть выходных должна совпасть с ненастной погодой. Однако в течение лета уличить злой рок можно лишь если больше двух пятых всех выходных окажутся дождливыми. За пять лет наблюдений уже можно надеяться подметить тонкие отклонения, выходящие за пределы $5\%$ и, при необходимости, приступать к их объяснению.

Это, действительно, больше ожидаемого числа на $11$ дней, но значимые отклонения начинаются с $19$ дней, так что это, как мы говорили в детстве: «не считается». Я воспользовался школьным дневником погоды, который велся с 2014 по 2018 год, и выяснил, что за эти пять лет случилось $459$ ненастных дней из них $141$ пришлись на выходные. Горизонтальными линиями на гистограмме отмечен интервал в котором может наблюдаться случайное отклонение от равномерного распределения при том же объёме данных. Вот как выглядит ряд данных и гистограмма, показывающая распределение непогоды по дням недели.


Исходный ряд данных и распределение непогожих дней по дням недели, полученные за пять лет наблюдений.

Но для поиска причины этому росту предпосылок недостаточно: такой же результат можно получать, просто перебирая случайные числа. Видно, что начиная с пятницы, действительно, наблюдается увеличение числа дней с плохой погодой. Вывод: за пять лет наблюдения за погодой, я накопил почти две тысячи записей, но ничего нового о распределении погоды по дням недели не узнал.

Это как-то влияет на результат? При взгляде на записи в дневнике явно бросается в глаза, что непогода приходит не по одиночке, а двух-трёхдневными периодами или даже недельными циклонами. 7$" data-tex="inline"/> дней), тогда вероятность перекрыть выходные увеличивается до $3/7$. Можно попробовать принять это наблюдение во внимание, и предположить, что дожди идут в среднем по два дня (на самом деле, <img src="https://habrastorage.org/getpro/habr/formulas/09a/b7c/713/09ab7c713af92038ede9002d30342e2b.svg" alt="$1. Наблюдённая величина $141$ не входит в этот диапазон и значит, гипотезу об эффекте сдвоенных дней непогоды можно смело отвергать. При такой вероятности, ожидаемое число совпадений для пяти лет должно составить $195\pm21$, то есть от $174$ до $216$ раз. Да, узнали: казалось бы, очевидная особенность процесса не влечёт за собой никакого эффекта. Узнали ли мы что-то новое? Но главный вывод: какие-то более тонкие эффекты рассматривать нет резона, поскольку наблюдения и, что самое главное, их количество, согласованно говорят в пользу самого простого объяснения. Об этом стоит поразмыслить, и мы это сделаем чуть позже.

Обидно, когда дождь идёт на выходных три или четыре раза подряд! Но недовольство у нас вызывает не пятилетняя и даже не годовая статистика, человеческая память не столь долгая. Особенно, если вспомнить, что гадкая погода не приходит в одиночку. Как часто это может наблюдаться? Это значит, что в среднем, четверть дней любого периода будет непогожей. Задачу можно сформулировать так: «Какова вероятность того, что выходных подряд окажутся дождливыми?» Разумно предположить, что непогожие дни образуют пуассоновский поток с интенсивностью $1/4$. Итак, выдвигаем нулевую гипотезу: поток ненастья пуассоновский, с известным параметром, а значит, интервалы между пуассоновскими событиями описываются экспоненциальным распределением. Наблюдая только за выходными, мы не должны изменить интенсивность потока и из всех выходных непогожие должны составить, в среднем, тоже четверть. поэтому мы можем воспользоваться дискретным аналогом экспоненциального распределения — геометрическим распределением с параметром $1/4$. Нас интересуют дискретные интервалы: $0,\ 1,\ 2,\ 3$ дня и т. д. На рисунке показано, что у нас получилось и видно, что предположение о том, что мы наблюдаем пуассоновский процесс нет резона отвергать.

Наблюдаемое распределение длины цепочек неудавшихся выходных и теоретическое. Тонкой линией показаны допустимые отклонения при том количестве наблюдений, что мы имеем.

Это легко посчитать: наблюдаемая вероятность <img src="https://habrastorage.org/getpro/habr/formulas/065/b26/fb0/065b26fb000b560de5b5d7de5a7e8313.svg" alt="$141/459=0. Можно задаться, таким вопросом: сколько лет нужно вести наблюдения, для того, чтобы замеченную нами разницу в $11$ дней можно было бы уверенно подтвердить или отвергнуть, как случайное отклонение? 286$" data-tex="inline"/> на $0. 307$ отличается от ожидаемой <img src="https://habrastorage.org/getpro/habr/formulas/c45/e2b/bcf/c45e2bbcf4703ea49780fcc4e6a9d8f4.svg" alt="$2/7=0. Для фиксирования различия в сотых, требуется абсолютная погрешность, не превышающая $0. 02$. 75\%$" data-tex="inline"/> от измеряемой величины. 005$" data-tex="inline"/>, что составляет $1. 0175^2 \cdot 2/7) \approx 32000$ дождливых дней. Отсюда получаем, необходимый объём выборки <img src="https://habrastorage.org/getpro/habr/formulas/4a7/35c/d2c/4a735cd2c6ac08b7bb99efc86cff9cb4.svg" alt="$n \geq (4 \cdot 5/7)/ (0. Увы, это больше чем время, которое Камчатка находится в составе России, так что шансов выяснить, как обстоят дела «на самом деле» у меня нет. Это потребует около $4\cdot 32000/365 \approx 360$ лет непрерывных метеорологических наблюдений, ведь только каждый четвёртый день идёт дождь или снег. Особенно, если принять во внимание, что за это время климат успел измениться разительно — из Малого ледникового периода природа выходила в очередной оптимум.

Дело в том, что ими использовались часовые данные температуры, которые не были «прорежены» каким-либо случайным процессом. Так как же австралийским исследователям удалось зафиксировать отклонение температуры в доли градуса и почему имеет смысл рассматривать это исследование? Этого вполне достаточно, чтобы говорить о точности в десятые доли градуса. Таким образом, за $30$ лет метеонаблюдений удалось накопить более четверти миллиона отсчётов, что позволяет уменьшить стандартное отклонение среднего в $500$ раз по отношению к стандартному суточному отклонению температуры. Такое перемешивание сохраняет статистические свойства, такие как интенсивность потока, однако «стирает» временные закономерности, делая процесс истинно пуассоновским. Кроме того, авторы использовали ещё один красивый метод, подтверждающий наличие временного цикла: случайное перемешивание временного ряда. Таким же образом сейсмологом А. А. Гусевым было показано, что землетрясения в каком-либо районе, образуют своеобразный самоподобный поток со свойствами кластеризации. Сравнение множества синтетических рядов и экспериментального позволяет убедиться в том, что замеченные отклонения процесса от пуассоновского значимы. Позже выяснилось, что последовательность крупных вулканических извержений обладает таким же свойством. Это означает, что землетрясения имеют обыкновение группироваться во времени, образуя весьма неприятные уплотнения потока.

Ещё один источник случайности

Конечно же, погоду, как и землетрясения, нельзя описывать пуассоновским процессом — это динамические процессы, в которых текущее состояние является функцией предыдущих. Почему же наши наблюдения за погодой на выходных говорят в пользу простой стохастической модели? Дело в том, что мы отображаем закономерный процесс формирования осадков на множество из семи дней, или, говоря на языке математики, на систему вычетов по модулю семь. Этот процесс проекции способен порождать хаос из вполне упорядоченных рядов данных. Отсюда, к примеру, происходит видимая случайность в последовательности цифр десятичной записи большинства вещественных чисел.

Они имеют внутреннюю структуру, которая определяется двумя числами: числителем и знаменателем. Мы уже говорили о рациональных числах, тех, которые выражаются целочисленными дробями. 5\overline{0}$" data-tex="inline"/>, или $1/3=0.\overline{3}$ до периодичного повторения, уже вполне беспорядочных последовательностей в таких числах как $1/17=0.\overline{0588235294117647}$. Но при записи в десятичной форме можно наблюдать скачки от регулярности в представлении таких чисел, как <img src="https://habrastorage.org/getpro/habr/formulas/13e/6c2/466/13e6c24666e624f4780e557b1c4256d1.svg" alt="$1/2=0. Но это не значит, что в этих числах нет порядка! Иррациональные числа не имеют конечной или периодической записи в десятичной форме и в этом случае в последовательности цифр, чаще всего, царит хаос. Однако, с другой стороны, это число можно представить в виде бесконечной цепной дроби: Например, первое встретившееся математикам иррациональное число $\sqrt{2}$ в десятичной записи порождает хаотический набор цифр.

$" data-tex="display"/> <img src="https://habrastorage.org/getpro/habr/formulas/77b/2c7/2ac/77b2c72ac9a8cf65ff5f9f852b631ac2.svg" alt="$\sqrt{2} = 1 + \frac{1}{2+\frac{1}{2+ \frac{1}{2+ ...}}}.

Нетрудно показать, что эта цепочка, действительно равна корню из двух, решив уравнение:

$" data-tex="display"/> <img src="https://habrastorage.org/getpro/habr/formulas/f0a/6a1/8bb/f0a6a18bb119f65326df1a445a098ad9.svg" alt="$x-1 = 1 + \frac{1}{2+(x-1)}.

Цепные дроби с повторяющимися коэффициентами записывают коротко, подобно периодическим десятичным дробям, например: $\sqrt{2}=[1,\bar{2}]$, $\sqrt{3}=[1,\overline{1,2}]$. Знаменитое золотое сечение в этом смысле представляет собой самое просто устроенное иррациональное число: $\varphi = [1,\bar{1}]$. Все рациональные числа представляются в виде конечных цепных дробей, часть иррациональных — в виде бесконечных, но периодических, их называют алгебраическими, те же, что не имеют конечной записи даже в такой форме — трансцендентными. Самое знаменитое из трансцендентных — число $\pi$, оно порождает хаос как в десятичной записи, так и в виде цепной дроби: $\pi \approx [3, 7,15,1,292,1,1,1,2,1,3,1,14,2,1 , … ]$. А вот число Эйлера $e$, оставаясь трансцендентным, в форме цепной дроби проявляет внутреннюю структуру, скрытую в десятичной записи: $e\approx[2,1,2,1,1,4,1,1,6,1,1,8,1,1,10 , … ]$.

Конечно, его можно представить в виде сумм вполне изящных числовых рядов но эти ряды напрямую не говорят о природе этого числа и они не универсальны. Наверное, не один математик, начиная с Пифагора, подозревал мир в коварстве, обнаруживая, что такое нужное, такое фундаментальное число $\pi$ имеет столь неуловимо сложную хаотическую структуру. Я верю, что математикам будущего откроется какое-нибудь новое представление чисел, столь же универсальное, как цепные дроби, которое позволит выявить строгий порядок, скрытых природой в числе.

$*\ *\ *$

И как автор, желающий удивить читателя скрытыми закономерностями и неожиданными открытиями, я сомневался, стоит ли включать её в книжку. Результаты этой главы, по большей части, отрицательные. Но наш разговор о погоде ушёл в очень важную тему – о ценности и осмысленности естественнонаучного подхода.

Реальный мир зыбок и норовит спрятаться за сложностью, видимой случайностью и ненадёжностью измерений. Одна мудрая девочка, Соня Шаталова, глядя на мир сквозь призму аутизма, в десятилетнем возрасте дала очень лаконичное и точное определение: «Наука – это система знаний, основанных на сомнении». Математика представляется царством определённости, в котором, кажется, можно забыть о сомнении. Сомнение в естественных науках неизбежно. Но всё же, математика является наукой и сомнение в ней – это глубокая внутренняя честность, не дающая покоя до тех пор, пока математическое построение не очистится от дополнительных предположений и лишних гипотез. И очень заманчиво спрятаться за стенами этого царства; рассматривать вместо труднопознаваемого мира модели, которые можно исследовать досконально; считать и вычислять, благо формулы готовы переварить что угодно. Очень важно хоть немного познакомиться с этим языком, чтобы не давать цифрам выдавать себя за статистику, не позволять фактам притворяться знанием, а невежеству и манипуляциям противопоставлять настоящую науку. В царстве математики говорят на сложном, но стройном языке, пригодном для рассуждений о реальном мире.


Оставить комментарий

Ваш email нигде не будет показан
Обязательные для заполнения поля помечены *

*

x

Ещё Hi-Tech Интересное!

[Из песочницы] Прибыльность сайтов и сервисов

Эта статья будет полезна всем, кто хочет сделать собственный бизнес на веб-сайтах и сервисах. Здесь приведены примеры прибыльности и средней посещаемости сайтов через год работы. Основная цель статьи — дать приблизительное представление о сложности развития проектов для тех, кто задумал ...

Прошлое и будущее Java в интервью с Саймоном Риттером из Azul

Представляем вам интервью с Саймоном Риттером — человеком, который работал над Java с самого начала и продолжает делать это в роли заместителя технического директора Azul — компании, работающей над виртуальной машиной Zing JVM и одним из лучших сборщиков мусора, C4 ...