Вероятность и статистика

Почему условие меняет вероятность, а одинаковое среднее не означает одинаковые данные?

Вероятность и статистика1

Вероятность и статистика

Слово «приз» встретилось и в спаме, и в обычных сообщениях. Можно ли по нему судить о классе? Для ответа нужно уточнить, среди каких сообщений мы считаем долю. Этот вопрос приведёт нас к вероятности и статистике.

Вероятность и статистика2

Событие и частота

Бросим обычный шестигранный кубик. Результат — одно из чисел от одного до шести. Событие объединяет результаты, которые нас интересуют. Например, «выпало чётное число» включает два, четыре и шесть. Если все шесть исходов равновероятны, вероятность события равна трём шестым, то есть одной второй.

Вероятность описывает модель случайного опыта. Частота описывает уже наблюдавшиеся результаты: сколько раз событие произошло, делённое на число попыток. Если в десяти бросках чётное выпало семь раз, частота равна 0,7. Это не противоречит вероятности 0,5: короткая серия может заметно отклониться от неё.

Вероятность и статистика3

Событие и частота

У вероятности значения от нуля до единицы. Сумма вероятностей всех взаимоисключающих исходов равна единице. Вероятность дополнения события равна единице минус вероятность события. Если шанс дождя по модели 0,3, шанс отсутствия дождя в той же постановке равен 0,7.

Но складывать вероятности произвольных событий без поправки нельзя. На кубике «чётное» и «больше трёх» пересекаются в четырёх и шести. Простая сумма посчитала бы эти исходы дважды. Сначала перечислите исходы объединения: два, четыре, пять и шесть. Его вероятность равна четырём шестым.

Вероятность и статистика4

Пример

Событие и частота

Если события «выпало один» и «выпало два» относятся к одному броску, они несовместны: не произойдут одновременно. Это не означает независимость: знание первого сразу исключает второе.

Вероятность и статистика5

Обсудим

Событие и частота

В 20 попытках событие произошло 4 раз. Какова наблюдаемая частота? Ответьте числом от 0 до 1.

Вероятность и статистика6

Условие меняет знаменатель

Рассмотрим учебную группу из ста сообщений. Двадцать из них спам. Слово «приз» встретилось в восьми спам-сообщениях и двух обычных. Остальные двенадцать спам-сообщений и семьдесят восемь обычных этого слова не содержат. Числа придуманы для ручного расчёта.

Вероятность и статистика7

Условие меняет знаменатель

Есть «приз» Нет «приз» Всего
Спам 8 12 20
Обычные 2 78 80
Всего 10 90 100
Вероятность и статистика8

Условие меняет знаменатель

Вопрос «какова доля спама среди сообщений со словом „приз“?» ограничивает группу десятью сообщениями. Восемь из них спам, поэтому получаем 80 процентов. Это пример условной вероятности, оценённой по частотам. Условие «слово присутствует» выбирает новый знаменатель.

Обратный вопрос даёт другое число: «какова доля сообщений со словом „приз“ среди спама?» Теперь группа состоит из двадцати спам-сообщений; восемь содержат слово. Получается 40 процентов. Совпадает числитель, но знаменатель различается. Поменять местами условие и событие без пересчёта нельзя.

Вероятность и статистика9

Условие меняет знаменатель

В опыте меняется число обычных сообщений с этим словом. Число спам-сообщений со словом остаётся восемью. Когда обычных становится восемь, доля спама среди сообщений со словом падает до половины. Само слово не даёт гарантии класса: его полезность зависит от того, насколько часто оно встречается в обеих группах.

Вероятность и статистика10

Условие меняет знаменатель

Проверьте свой прогноз

Проверьте свой прогноз
Вероятность и статистика11

Эксперимент

Проверьте свой прогноз

Восемь спам-сообщений со словом сохраняются. Меняйте число обычных со словом и следите за долей спама.
Вероятность и статистика12

Обсудим

Условие меняет знаменатель

Из 15 сообщений со словом «скидка» 9 оказались спамом. Какова доля спама среди сообщений с этим словом?

Вероятность и статистика13

Профи

Формула Байеса: как пересчитать условие в обратную сторону

Условная вероятность по частотам — отношение двух долей: P(A\mid B)=P(A\cap B)/P(B). В таблице из ста сообщений «спам и „приз“» встречается в 8 случаях из 100, «приз» — в 10 из 100, значит P(\text{спам}\mid\text{приз})=0{,}08/0{,}10=0{,}8. Та же дробь, записанная через другое условие, даёт формулу Байеса:

Вероятность и статистика14

Профи

Формула Байеса: как пересчитать условие в обратную сторону

P(\text{спам}\mid\text{приз})=\frac{P(\text{приз}\mid\text{спам})\,P(\text{спам})}{P(\text{приз})}.
Вероятность и статистика15

Профи

Формула Байеса: как пересчитать условие в обратную сторону

Проверим: 0{,}4\cdot0{,}2/0{,}1=0{,}8. Формула нужна, когда известна «прямая» доля P(\text{приз}\mid\text{спам}), а требуется обратная.

Ответ зависит от доли спама в группе. Пусть в другой группе спама 5 %, а слово по-прежнему встречается в 40 % спама и в 2,5 % обычных сообщений. Знаменатель собираем из двух частей: P(\text{приз})=0{,}4\cdot0{,}05+0{,}025\cdot0{,}95=0{,}02+0{,}02375=0{,}04375. Тогда P(\text{спам}\mid\text{приз})=0{,}02/0{,}04375\approx0{,}46. То же слово, те же прямые доли — а шанс спама упал с 80 % до 46 %.

Вероятность и статистика16

Профи

Формула Байеса: как пересчитать условие в обратную сторону

Типичная ошибка — взять P(\text{приз}\mid\text{спам})=0{,}4 за ответ на вопрос «спам ли сообщение со словом». Ловится она просто: проверьте, что в знаменателе стоит именно группа, заданная условием.

Вероятность и статистика17

Профи · Обсудим

Формула Байеса: как пересчитать условие в обратную сторону

В группе из 200 сообщений 30 спам, остальные обычные. Слово «бонус» встречается в половине спам-сообщений и в 5 % обычных. Какова доля спама среди сообщений со словом «бонус»? Ответ с точностью до сотых.

Вероятность и статистика18

Эпик

Слово помогает в каждом канале и мешает в сумме

Фильтр работает в двух каналах: SMS и почта. Подсчёт по каналам:

Вероятность и статистика19

Эпик

Слово помогает в каждом канале и мешает в сумме

Канал Со словом: спам / всего Без слова: спам / всего
SMS 9 / 10 70 / 100
Почта 10 / 100 1 / 20
Вероятность и статистика20

Эпик

Слово помогает в каждом канале и мешает в сумме

В SMS доля спама среди сообщений со словом 0{,}9 против 0{,}7 без слова; в почте 0{,}1 против 0{,}05. В обоих каналах слово повышает шанс спама. Теперь сложите каналы и посчитайте те же две доли для всех 230 сообщений вместе. Без слова получится 71/120\approx0{,}59, а со словом — заметно меньше. Знак эффекта перевернулся: это парадокс Симпсона.

Вероятность и статистика21

Эпик

Слово помогает в каждом канале и мешает в сумме

Причина не в арифметике, а в скрытом условии. Слово почти всегда приходит из почты, где спама мало, поэтому «сообщение со словом» в объединённой группе — почти синоним «сообщение из почты». Складывая каналы, мы незаметно сравнили разные группы. Правило «условие выбирает знаменатель» ломается, когда знаменатели составлены из неравных частей.

Перенос: та же ловушка возникает при сравнении двух школ по среднему баллу, если в одной больше старших классов, или двух больниц по смертности, если в одну везут тяжёлых пациентов. Прежде чем складывать, спросите, одинаков ли состав групп.

Вероятность и статистика22

Эпик · Обсудим

Слово помогает в каждом канале и мешает в сумме

В SMS слово встретилось в 10 сообщениях, из них 9 спам. В почте слово встретилось в 100 сообщениях, из них 10 спам. Какова доля спама среди всех 110 сообщений со словом по обоим каналам вместе? Ответ с точностью до сотых.

Вероятность и статистика23

Независимость и ожидание

События независимы, если знание одного не меняет вероятность другого. Для двух отдельных бросков честного кубика знание результата первого не изменяет вероятность чётного во втором. Тогда вероятность совместного события можно получить произведением вероятностей: одна вторая умножить на одну вторую равно одной четверти.

Несовместность устроена иначе: если произошло одно событие, другое в том же опыте невозможно. Два несовместных события с положительными вероятностями не независимы, потому что знание первого уменьшает условную вероятность второго до нуля. Эти слова описывают разные отношения.

Вероятность и статистика24

Независимость и ожидание

Случайная величина присваивает исходу число. Допустим, игра приносит ноль баллов с вероятностью 0,75 и четыре балла с вероятностью 0,25. Её математическое ожидание равно сумме значений, умноженных на вероятности: 0 * 0.75 + 4 * 0.25 = 1. Это среднее по распределению.

Ожидание не обязано быть возможным результатом одной попытки. В этой игре нельзя получить ровно один балл, но при большом числе независимых одинаково устроенных попыток средний выигрыш обычно приближается к единице. Ожидание не обещает выигрыш в конкретной серии и не описывает величину колебаний вокруг среднего.

Вероятность и статистика25

Пояснение

Независимость и ожидание

Условную вероятность по частотам нельзя считать, если условная группа пуста. Деление на ноль означает, что для этого вопроса нет наблюдений; это не вероятность ноль.

Вероятность и статистика26

Обсудим

Независимость и ожидание

Игра даёт 0 баллов с вероятностью 0,5, 2 балла с вероятностью 0,25 и 6 баллов с вероятностью 0,25. Найдите ожидание.

Вероятность и статистика27

Среднее, медиана и разброс

Для наблюдений 1, 1, 3, 3 среднее равно двум. Отклонения от среднего равны −1, −1, 1, 1. Если их просто сложить, положительные и отрицательные части взаимно уничтожатся. Поэтому для измерения разброса удобно возвести отклонения в квадрат и усреднить.

Так получается описательная дисперсия: среднее квадратов отклонений от среднего. В нашем наборе каждый квадрат равен единице, значит дисперсия равна единице. Стандартное отклонение — квадратный корень из дисперсии; оно возвращает исходные единицы измерения. Если числа были минутами, дисперсия измеряется в квадратных минутах, стандартное отклонение в минутах.

Вероятность и статистика28

Среднее, медиана и разброс

Набор 2, 2, 2, 2 имеет такое же среднее два, но нулевую дисперсию. Набор 0, 0, 4, 4 тоже имеет среднее два, однако дисперсия равна четырём. Одно среднее не различает эти три ситуации. Для содержательного отчёта полезно рассмотреть и середину, и разброс.

Здесь делим сумму квадратов на число наблюдений. При оценке неизвестной дисперсии по случайной выборке часто используют деление на число наблюдений минус один. Это другая задача и другая формула. У библиотечных функций проверьте, какая нормировка выбрана по умолчанию: одинаковое название не гарантирует одинаковый делитель.

Вероятность и статистика29

Источники

Среднее, медиана и разброс

Python: statistics различает pvariance с делением на число значений и variance с делением на число значений минус один.

Вероятность и статистика30

Профи

Вторая формула дисперсии и когда ей нельзя верить

Раскроем квадрат отклонения: (x-m)^2=x^2-2mx+m^2, где m — среднее. Усредним по всем наблюдениям: среднее x^2 минус 2m\cdot m плюс m^2. Получается

Вероятность и статистика31

Профи

Вторая формула дисперсии и когда ей нельзя верить

\operatorname{Var}=\overline{x^2}-m^2,
Вероятность и статистика32

Профи

Вторая формула дисперсии и когда ей нельзя верить

дисперсия равна среднему квадратов минус квадрат среднего. Для 1, 1, 3, 3 среднее квадратов (1+1+9+9)/4=5, квадрат среднего 4, разность 1 — совпало с расчётом через отклонения. Для 0, 0, 4, 4: 8-4=4.

Вероятность и статистика33

Профи

Вторая формула дисперсии и когда ей нельзя верить

Формула удобна: не нужно сначала находить среднее, а потом второй раз проходить по данным. Но у неё есть ловушка. Если наблюдения — большие числа с маленьким разбросом, например 1000001 и 1000003, оба слагаемых около 10^{12}, а их разность — единица. В арифметике с ограниченной точностью такое вычитание теряет верные цифры, и дисперсия может выйти даже отрицательной. Поймать ошибку просто: дисперсия никогда не меньше нуля, а результаты двух формул на одних данных обязаны совпасть.

Вероятность и статистика34

Профи · Python

Две формулы — один ответ

Вычислите дисперсию через среднее квадратов и сравните с расчётом через отклонения.

Вероятность и статистика35

Эпик

Что гарантирует дисперсия: оценка худшего случая

Среднее и дисперсия не говорят, как именно устроены данные, но дают гарантию. Пусть у набора среднее m и дисперсия s^2. Какая доля наблюдений может отстоять от среднего на t и больше?

Каждое наблюдение с |x-m|\ge t вносит в среднее квадратов не меньше t^2, остальные — не меньше нуля. Если таких наблюдений доля q, то s^2\ge q\,t^2, откуда

Вероятность и статистика36

Эпик

Что гарантирует дисперсия: оценка худшего случая

q\le\frac{s^2}{t^2}.
Вероятность и статистика37

Эпик

Что гарантирует дисперсия: оценка худшего случая

Это неравенство Чебышёва в описательной форме. Оно выполняется для любого набора — распределение знать не нужно.

Пример: страница загружается в среднем за 50 мс при стандартном отклонении 5 мс. Доля загрузок, отклоняющихся на 20 мс и больше, не превосходит 25/400=0{,}0625. Это оценка сверху, а не точное значение: для колоколообразных данных реальная доля много меньше.

В худшем случае оценка точна. Возьмите десять значений: восемь нулей, -2 и 2. Среднее 0, дисперсия 8/10=0{,}8. При t=2 граница даёт 0{,}8/4=0{,}2 — ровно два наблюдения из десяти отстоят на 2. Улучшить неравенство без дополнительных сведений нельзя.

Вероятность и статистика38

Эпик

Что гарантирует дисперсия: оценка худшего случая

Перенос: детектор аномалий «дальше трёх стандартных отклонений» отмечает не больше 1/9 наблюдений при любом распределении — и именно поэтому его граница бывает слишком грубой.

Вероятность и статистика39

Эпик · Обсудим

Что гарантирует дисперсия: оценка худшего случая

Среднее время ответа сервера 120 мс, стандартное отклонение 7 мс. Какую верхнюю границу доли запросов, отклоняющихся от среднего на 20 мс и больше, даёт неравенство Чебышёва? Ответ долей от 0 до 1 с точностью до сотых.

Вероятность и статистика40

Выборка ограничивает вывод

Представьте опрос о времени в телефоне, проведённый только в чате любителей мобильных игр. Участников может быть много, но способ отбора выделяет определённую группу. Увеличение числа ответов из того же чата само по себе не превращает результат в описание всех школьников.

Случайные колебания и смещение отбора требуют разных решений. Больше независимых наблюдений может уменьшить случайную неопределённость среднего, но не исправляет систематическое исключение части людей. В отчёте укажите, кого и как отбирали, кто мог не ответить и на какую группу переносите вывод.

Вероятность и статистика41

Выборка ограничивает вывод

В лаборатории посчитайте описательную дисперсию. Среднее уже вычислено. Исправьте сумму отклонений так, чтобы каждое отклонение сначала возводилось в квадрат. Затем проверьте постоянный набор: у него должно получиться ноль. Пустой набор потребовал бы отдельной обработки, потому что среднее и деление на количество там не определены.

Вероятность и статистика42

Python

Посчитать разброс

Вычислите среднее квадратов отклонений от среднего.

Вероятность и статистика43

История

Выборка ограничивает вывод

Вероятностные методы развивались вместе с задачами игр и наблюдений; современная статистика различает модель случайности и способ получения выборки. OpenStax: вводная статистика соединяет эти темы с примерами.

Вероятность и статистика44

Вопрос для обсуждения

Выборка ограничивает вывод

Если опросили всех участников одного игрового чата, ошибки выборки относительно этого чата нет. Но перенос результата на всех школьников всё ещё требует обоснования.

Вероятность и статистика45

Выборка ограничивает вывод

Практическая проверка вывода начинается не с формулы, а с вопроса о группе. К кому относится знаменатель? Какие исходы возможны? Что произошло с отсутствующими ответами? После этого вероятность, ожидание и дисперсия становятся точными инструментами описания, а не числами без ясного смысла.

Сначала определите исходы и группу наблюдений. Вероятность, среднее и разброс отвечают на разные вопросы об этой группе.

  • Вычислить частоту и условную вероятность по числам наблюдений.
  • Найти ожидание и описательную дисперсию.
  • Объяснить, почему способ отбора ограничивает вывод.
Вероятность и статистика46

Домашняя работа

  1. Найдите ожидание: 1 с вероятностью 0,6 и 6 с вероятностью 0,4.
  2. Найдите описательную дисперсию чисел 2 и 6.
  3. ★ Можно ли по ста ответам друзей оценить мнение всего города? Назовите ограничение.
Вероятность и статистика47

Источники