Регрессия: предсказать число

Завтра +24°. Сколько прокатов ждать за день? Построим прогноз по пяти прошлым дням и проверим, насколько он ошибается.

Регрессия: предсказать число1

Регрессия: предсказать число

Лето, вы подрабатываете в велопрокате у парка. Менеджер планирует завтрашнюю смену: если клиентов много, нужен помощник на выдаче. Прогноз обещает +24°. Сколько прокатов ждать за день? В журнале за прошлую неделю пять строк: температура и число прокатов. Попробуем получить прогноз из этих примеров. Число прокатов не равно нужному запасу велосипедов: один велосипед могут арендовать несколько раз.

Регрессия: предсказать число2

Регрессия: предсказать число

В прошлом уроке ответом был класс: спам или нет. Здесь ответ — число, и «угадал / не угадал» уже не работает: прогноз 320 при факте 328 — отличный, прогноз 200 — плохой, хотя оба «не угадали». Значит, нужны две вещи: правило, которое из температуры делает число, и линейка, которой измеряют промах.

Регрессия: предсказать число3

Вопрос «сколько?»

В 1.1 мы уже разделили два вопроса: «какой?» — классификация, и «сколько?» — регрессия (regression), ответ-число на шкале: сколько прокатов, через сколько минут приедет такси, сколько стоит квартира. Разница не в признаках, а в ответе: у класса нет «чуть-чуть мимо» (письмо либо спам, либо нет), а у числа есть — ошибка становится расстоянием, а не «да/нет». Сегодня мы впервые построим само правило, которое это число считает.

Регрессия: предсказать число4

История

Вопрос «сколько?»

Откуда слово. Фрэнсис Гальтон в 1886 году сравнивал рост родителей и детей и заметил: у очень высоких родителей дети в среднем ниже их, у очень низких — выше. Он назвал это «регрессией к посредственности». Слово прижилось, хотя сегодня регрессия — любое предсказание числа (Wikipedia).

Регрессия: предсказать число5

Обсудим

Вопрос «сколько?»

Настоящее число прокатов — 250. Модель A предсказала 235, модель B — 300. Как правильно сравнить их ответы?

  1. Обе ошиблись — значит, обе одинаково плохи
  2. По расстоянию до факта: |250−235| = 15 у A, |250−300| = 50 у B — A точнее
  3. Побеждает та, что предсказала больше
  4. Сравнивать нельзя: ни одна не угадала точно
  5. Побеждает та модель, что дала целое число
Регрессия: предсказать число6

Вопрос «сколько?»

Регрессия — это когда ответ можно промахнуть на чуть-чуть.

Регрессия: предсказать число7

Прямая как модель

Допустим, журнал за пять дней выглядит так (температура днём и число прокатов):

Регрессия: предсказать число8

Прямая как модель

День Температура x, °C Прокатов y
Пн 10 170
Вт 15 200
Ср 20 280
Чт 25 360
Пт 30 390
Регрессия: предсказать число9

Прямая как модель

Теплее — больше прокатов, и рост похож на равномерный. Самое простое правило, которое это выражает, — прямая:

Регрессия: предсказать число10

Прямая как модель

\hat y = kx + b
Регрессия: предсказать число11

Обозначения

Прямая как модель

Символ Смысл
x температура, °C
y прокатов по факту
\hat y прогноз прокатов
k наклон, прокатов на °C
b прогноз при x = 0
Регрессия: предсказать число12

Прямая как модель

Крышка над y — знак «так говорит модель», в отличие от факта y. Число k — наклон (slope): на сколько прокатов вырастает прогноз при потеплении на один градус. Число b — сдвиг (intercept): прогноз при нуле градусов; в наших данных нет ни одного дня с такой температурой, поэтому этот прогноз пока не проверен. Сдвиг позволяет поднять или опустить всю прямую.

Возьмём k = 12, b = 40. Тогда при +24° модель говорит 40 + 12 \cdot 24 = 328 прокатов. При +10° — 160 (факт был 170, близко). При +30° — 400 (факт 390).

Регрессия: предсказать число13

Схема

Прямая как модель

x, °C y 10 20 30 e = −20 e = +20

Пять дней, прямая ŷ = 12x + 40 и остатки — вертикальные отрезки от точки до прямой. Среда лежит на прямой: остаток 0.

Регрессия: предсказать число14

Обсудим

Прямая как модель

Модель проката: \hat y = 13x + 60, где x — температура в градусах, \hat y — число прокатов за день. Прогноз погоды: +14°. Сколько прокатов предскажет модель?

Регрессия: предсказать число15

Прямая как модель

Два числа, k и b, — и это вся модель.

Регрессия: предсказать число16

Остаток — мера промаха

Сравним прогнозы на двух днях. У модели А промахи равны 10 и 30 прокатам, у модели Б — 20 и 0. Если складывать расстояния от прогноза до факта, получится 40 у А и 20 у Б: на этих двух днях точнее Б. Один удачный день ещё не делает модель лучшей — сравниваем все выбранные дни по одному правилу.

Знак промаха тоже полезен. При факте 170 и прогнозе 160 модель недооценила спрос на 10. При факте 200 и прогнозе 220 — переоценила на 20. Такие разности «факт минус прогноз» называют остатками. На графике это вертикальные отрезки между точками и прямой.

Регрессия: предсказать число17

Обсудим

Остаток — мера промаха

За два дня было 170 и 200 прокатов. Модель А предсказала 160 и 230, модель Б — 150 и 200. Выбирают меньшую сумму расстояний между прогнозом и фактом. Какая модель точнее на этих днях?

  1. А: её первый прогноз ближе к факту
  2. Б: сумма промахов 20, а у А — 40
  3. Модели одинаковы: каждая ошиблась хотя бы раз
  4. Б обязательно будет точнее на всех будущих днях
Регрессия: предсказать число18

Профи

Как посчитать MSE и RMSE

Насколько прямая k = 12, b = 40 хороша? Для каждого дня посчитаем остаток (residual) — факт минус прогноз, e = y - \hat y:

Регрессия: предсказать число19

Профи

Как посчитать MSE и RMSE

x y \hat y = 12x + 40 e = y - \hat y e^2
10 170 160 +10 100
15 200 220 −20 400
20 280 280 0 0
25 360 340 +20 400
30 390 400 −10 100
Регрессия: предсказать число20

Профи

Как посчитать MSE и RMSE

x, °C y, прокатов 10 20 30 e²=100 e²=400 e²=400 e²=100 e=0
Та же прямая, что и в таблице выше: на каждом остатке построен квадрат со стороной |e|. Площадь квадрата — это e², а сумма площадей — сумма квадратов остатков: 100 + 400 + 0 + 400 + 100 = 1000.
Регрессия: предсказать число21

Профи

Как посчитать MSE и RMSE

Сумма остатков равна нулю — но это не значит, что прямая идеальна: +20 и -20 просто погасили друг друга. В выводе МНК в шаге 5 станет ясно, что этот ноль не случаен.

Чтобы промахи не прятались за знаком, их возводят в квадрат — на рисунке выше это в буквальном смысле площадь. Сумма квадратов здесь 100 + 400 + 0 + 400 + 100 = 1000, а её среднее — среднеквадратичная ошибка (mean squared error, MSE): 1000 / 5 = 200. Корень из неё, \sqrt{200} \approx 14, — это RMSE (root mean squared error), величина ошибки в прокатах, тогда как сама MSE измеряется в прокатах в квадрате.

Регрессия: предсказать число22

Профи

Как посчитать MSE и RMSE

RMSE около 14 описывает ошибки на выбранных примерах. Это не гарантия, что ошибка прогноза на завтра окажется в пределах ±14.

Регрессия: предсказать число23

Профи · Пояснение

Как посчитать MSE и RMSE

Почему квадрат, а не модуль? Можно взять и модули: средняя абсолютная ошибка MAE здесь (10 + 20 + 0 + 20 + 10)/5 = 12. Но квадрат сильнее наказывает большие промахи (промах 20 «стоит» в 4 раза дороже промаха 10) и, главное, даёт формулу для лучшей прямой — шаг 5. А вот такой же короткой формулы через средние для модулей не существует — прямую с наименьшей суммой модулей ищут численно.

Регрессия: предсказать число24

Профи

Как посчитать MSE и RMSE

Тот же расчёт кодом:

Регрессия: предсказать число25

Профи · Python

Остатки, MSE и RMSE на пяти днях

Запустите и сверьте напечатанные числа с таблицей остатков выше

Регрессия: предсказать число26

Профи · Python · продолжение 2/2

Остатки, MSE и RMSE на пяти днях

    print(f"{xi:3d} {yi:6d} {y_hat:6d} {e:+6d} {e * e:6d}")

mse = sse / len(x)                # средний квадрат промаха
rmse = math.sqrt(mse)             # тот же промах, снова в прокатах
print(f"Σe = {summa_e}: плюсы погасили минусы — вот зачем нужен квадрат")
print(f"Σe² = {sse}")
print(f"MSE = {sse} / {len(x)} = {mse:.0f} (прокатов в квадрате)")
print(f"RMSE = √MSE ≈ {rmse:.1f} проката — величина ошибки")
print(f"Прогноз на завтра, +24°: {k * 24 + b} проката")
Регрессия: предсказать число27

Остаток — мера промаха

В опыте ниже используется другой показатель — MSE: среднее квадратов промахов. Он сильнее штрафует большие ошибки. Считать его вручную сейчас не нужно: меняйте линию и наблюдайте за числом. На тех же точках меньший показатель означает более точную подгонку.

Сначала запишите, какой прогноз даёт ваша линия на +24°. Затем попробуйте уменьшить MSE и сравните свой результат с кнопкой «Подобрать МНК»: она выбирает прямую с наименьшим значением этого показателя. Прогноз может измениться, хотя сами точки остались прежними.

Регрессия: предсказать число28

Пробная прямая и её ошибки

Прямая, прогноз и цена ошибки

Прямая, прогноз и цена ошибки
Регрессия: предсказать число29

Прямая с наименьшей ошибкой

Прямая, прогноз и цена ошибки

Прямая, прогноз и цена ошибки
Регрессия: предсказать число30

Как ошибка зависит от наклона

Прямая, прогноз и цена ошибки

Прямая, прогноз и цена ошибки
Регрессия: предсказать число31

Эксперимент

Прямая, прогноз и цена ошибки

Тяните один конец прямой: второй остаётся на месте. Ползунок выбирает температуру для прогноза, пустой кружок показывает ответ модели. Ниже — ошибка при разных наклонах и текущем сдвиге. Попробуйте уменьшить MSE, затем сравните результат с кнопкой «Подобрать МНК».
Регрессия: предсказать число32

Профи · Обсудим

Проверка расчёта ошибки

За пять дней температура x и число прокатов y составили: (10°; 170), (15°; 200), (20°; 280), (25°; 360), (30°; 390). Модель прогнозирует \hat y = 10x + 80. Чему равна её MSE — среднее квадратов разностей между фактом и прогнозом?

Регрессия: предсказать число33

Остаток — мера промаха

На одном и том же наборе дней меньшая MSE означает более точную подгонку. Для выбора прогноза на будущее понадобится проверка на новых днях.

Регрессия: предсказать число34

Эксперимент на настоящих данных

Пять дней были учебным примером. Теперь откроем все 731 наблюдение из файла day.csv набора Bike Sharing. Каждая точка — один день; по вертикали — поездки всей сети Capital Bikeshare за сутки. Температура записана в исходной шкале от 0 до 1: больше — теплее. Это не градусы Цельсия.

Перед подбором посмотрите на дни с похожей температурой. Одинаковое ли у них число поездок? Прямая даёт один прогноз, а наблюдения заметно различаются: одной температуры недостаточно, чтобы объяснить весь спрос.

Регрессия: предсказать число35

Цитата

Эксперимент на настоящих данных

«Все модели неверны, но некоторые полезны.» — Джордж Бокс и Норман Дрейпер, Empirical Model-Building and Response Surfaces, 1987 (источник)

Регрессия: предсказать число36

Пробная прямая и её ошибки

731 день настоящего велопроката

731 день настоящего велопроката
Регрессия: предсказать число37

Прямая с наименьшей ошибкой

731 день настоящего велопроката

731 день настоящего велопроката
Регрессия: предсказать число38

Эксперимент

731 день настоящего велопроката

Сначала подберите прямую руками, затем нажмите «Подобрать МНК». Включите отрезки ошибок: даже лучшая прямая не попадёт во все точки. MSE измеряет подгонку по этим дням, а не качество прогноза на будущие дни.
Регрессия: предсказать число39

Эксперимент на настоящих данных

Скачать исходные 731 наблюдение. Ползунок показывает ответ модели для выбранной температуры; нового измерения спроса при этом не возникает.

Регрессия: предсказать число40

Профи

Что меняет сдвиг прямой

В прошлой лаборатории вы двигали и наклон, и сдвиг сразу. Разделим их: проверьте, что делает с остатками только сдвиг прямой вверх-вниз, отдельно от наклона.

Регрессия: предсказать число41

Профи · Обсудим

Что меняет сдвиг прямой

Прогноз задан прямой \hat y = kx + b, остаток — e = y - \hat y (факт минус прогноз). Сдвиг b увеличили на 20, не меняя наклона и наблюдений. Что произойдёт с остатками?

  1. Каждый остаток уменьшится ровно на 20 — и может стать отрицательным
  2. Каждый остаток увеличится ровно на 20
  3. Остатки изменятся по-разному: у крайних точек сильнее, чем у средних
  4. Остатки не изменятся, изменится только MSE
  5. Сумма квадратов остатков обязательно уменьшится
Регрессия: предсказать число42

Обсудим

Эксперимент на настоящих данных

В журнале при одной температуре было 300 и 500 поездок. Модель использует только температуру и всегда даёт одному входу один ответ. Что следует из этого?

  1. В обоих днях факт обязательно записан с ошибкой
  2. Одним прогнозом нельзя точно попасть в оба значения спроса
  3. Нужно провести прямую через каждую точку одновременно
  4. Температура вообще не может быть полезным признаком
Регрессия: предсказать число43

Эксперимент на настоящих данных

Реальное облако шире: полезный прогноз может ошибаться, а точность нужно измерять.

Регрессия: предсказать число44

Проверка на новых днях

Кнопка подбора уменьшает ошибку на уже известных точках. Но завтра появится новая точка. Чтобы проверить пользу модели, запишем прогнозы заранее, дождёмся факта и сравним их на днях, по которым линию не настраивали.

Представим две модели проката. На старых днях А ошибалась меньше. Для двух следующих дней прогнозы зафиксировали заранее:

Регрессия: предсказать число45

Проверка на новых днях

Новый день Факт Прогноз А Прогноз Б
Суббота 300 290 280
Воскресенье 360 310 350
Регрессия: предсказать число46

Проверка на новых днях

Расстояния до факта: у А — 10 и 50, у Б — 20 и 10. По сумме этих расстояний на новых днях выигрывает Б: 30 против 60. На меньшей ошибке по старому журналу выбор не заканчивается.

Регрессия: предсказать число47

Обсудим

Проверка на новых днях

На двух новых днях промахи модели А составили 10 и 50 прокатов, модели Б — 20 и 10. На старых днях, использованных для настройки, А была точнее. Какой вывод подтверждает новая проверка по сумме промахов?

  1. А лучше: ошибка на старых днях важнее любой новой проверки
  2. На этих двух новых днях Б точнее, но двух дней мало для гарантии на будущее
  3. Б теперь всегда будет точнее А
  4. Ни одну модель нельзя применять, пока все промахи не равны нулю
Регрессия: предсказать число48

Проверка на новых днях

Если после просмотра этой таблицы поправить модель, таблица станет частью настройки. Для следующей независимой проверки нужны другие дни. Это полезная привычка и без формул: сначала прогноз, потом факт, затем честный разбор ошибки.

Есть и границы применения. В учебном журнале температура была от +10° до +30°. При +45° формула всё ещё выдаст число, но наблюдений для проверки такого режима у нас нет. Перед использованием спросите: похожи ли новые условия на те, по которым модель строилась?

Регрессия: предсказать число49

Профи

Формула метода наименьших квадратов

Подбирать прямую вручную — долго, и нет гарантии, что нашли лучшую. К счастью, у задачи «минимальная сумма квадратов остатков» есть точный ответ — метод наименьших квадратов (least squares, МНК). Нужны средние \bar x и \bar y и отклонения от них:

Регрессия: предсказать число50

Профи

Формула метода наименьших квадратов

\boxed{\;k = \frac{\sum (x_i - \bar x)(y_i - \bar y)}{\sum (x_i - \bar x)^2}, \qquad b = \bar y - k\,\bar x\;}
Регрессия: предсказать число51

Профи

Формула метода наименьших квадратов

Почему именно эта пара k, b даёт наименьшую сумму квадратов среди всех прямых — докажем в следующем блоке; пока проверим расчёт на пяти днях. И ещё: делить на \sum(x_i-\bar x)^2 можно, только если температуры не все одинаковы — иначе знаменатель равен нулю, а по одной температуре наклон не определить.

Регрессия: предсказать число52

Профи · Обозначения

Формула метода наименьших квадратов

Символ Смысл
\bar x, \bar y средние по всем n дням
\sum сумма по всем дням
n число дней
e^2 квадрат остатка
\text{MSE} \sum e^2 / n — средний квадрат промаха
S_{xx}, S_{xy} \sum(x_i-\bar x)^2 и \sum(x_i-\bar x)(y_i-\bar y)
Регрессия: предсказать число53

Профи

Формула метода наименьших квадратов

Здесь \bar x — средняя температура, \bar y — средний спрос, x_i, y_i — i-й день, \sum — сумма по всем дням. Числитель показывает, насколько x и y отклоняются от средних вместе; знаменатель — насколько разбросан сам x.

Пересчитаем для пяти дней. \bar x = (10 + 15 + 20 + 25 + 30)/5 = 20, \bar y = 1400/5 = 280.

Регрессия: предсказать число54

Профи

Формула метода наименьших квадратов

x_i - \bar x y_i - \bar y произведение (x_i - \bar x)^2
−10 −110 1100 100
−5 −80 400 25
0 0 0 0
5 80 400 25
10 110 1100 100
Сумма 0 3000 250
Регрессия: предсказать число55

Профи

Формула метода наименьших квадратов

y x 10 20 30 x̄=20 ȳ=280 y−ȳ x−x̄ 1100 400 0 400 1100
Слева — пять дней в осях (x, y), пунктир — точка средних (x̄, ȳ) = (20, 280). Справа — те же точки в осях отклонений (x−x̄, y−ȳ): подписаны произведения (xᵢ−x̄)(yᵢ−ȳ) из таблицы выше. Наклон k = 3000/250 — это то, насколько облако «повёрнуто» вокруг своего центра.
Регрессия: предсказать число56

Профи

Формула метода наименьших квадратов

k = 3000/250 = 12, b = 280 - 12 \cdot 20 = 40. Прямая из шага 2 и есть прямая наименьших квадратов. Формула даёт MSE = 200; доказательство ниже устанавливает, что меньшей MSE на этих пяти днях у прямой со свободным сдвигом быть не может.

Регрессия: предсказать число57

Профи

Формула метода наименьших квадратов

Заметьте: b = \bar y - k\bar x означает, что при x = \bar x прогноз равен \bar y. Прямая МНК всегда проходит через точку средних (\bar x, \bar y) — у нас через (20, 280), и это среда, где остаток 0.

Регрессия: предсказать число58

Профи · Обсудим

Формула метода наименьших квадратов

У другого проката средняя температура \bar x = 17, средний спрос \bar y = 398, а наклон МНК уже посчитан: k = 10. Найдите сдвиг b.

Регрессия: предсказать число59

Профи

Формула метода наименьших квадратов

5000 1000 S(k) k 8 12 16 S(12) = 1000 S(10)=2000 S(14)=2000
Сумма квадратов остатков S(k) при подставленном b = ȳ − k·x̄ — парабола по k. Вершина в k = 12 даёт минимум S = 1000; в k = 10 и k = 14 сумма одинаково хуже — 2000. «Минимум» — это буквально дно этой параболы.
Регрессия: предсказать число60

Профи · Обсудим

Формула метода наименьших квадратов

У другого набора дней S_{xy} = \sum (x_i-\bar x)(y_i-\bar y) = 206, а S_{xx} = \sum (x_i-\bar x)^2 = 39. Чему равен наклон k прямой наименьших квадратов?

Регрессия: предсказать число61

Профи

Формула метода наименьших квадратов

Теперь напишите формулу сами:

Регрессия: предсказать число62

Профи · Python

Формула наименьших квадратов своими руками

Допишите две строки в mnk, чтобы функция считала наклон и сдвиг МНК на данных с разными значениями признака

Регрессия: предсказать число63

Профи · Python · продолжение 2/2

Формула наименьших квадратов своими руками

    b = y_sr - k * x_sr           # прямая проходит через точку средних
    return k, b

k, b = mnk(x, y)
mse = sum((yi - (k * xi + b)) ** 2 for xi, yi in zip(x, y)) / len(x)
print(f"k = {k:.2f} прокатов на градус, b = {b:.2f}")
print(f"MSE = {mse:.0f}; у прямой ŷ = 12x + 40 из шага 3 было 200")
print(f"Прогноз при +24°: {k * 24 + b:.0f} проката")
Регрессия: предсказать число64

Профи

Вывод формулы МНК без производных: две параболы

Сумма квадратов остатков как функция двух чисел k и b:

S(k, b) = \sum_{i=1}^{n} (y_i - kx_i - b)^2.

Регрессия: предсказать число65

Профи

Вывод формулы МНК без производных: две параболы

Шаг 1: фиксируем k, ищем лучший b. Раскроем квадраты и соберём по степеням b:

S = n b^2 - 2b \sum (y_i - kx_i) + \text{const}.
Это парабола по b с ветвями вверх (n > 0); её вершина — в точке b = \frac{1}{n}\sum (y_i - kx_i) = \bar y - k\bar x. Это и есть вторая формула.

Регрессия: предсказать число66

Профи

Вывод формулы МНК без производных: две параболы

Для любых k и b верно S(k, b) \ge S(k, b^*(k)), где b^*(k) — вершина этой параболы по b; значит минимум S по обеим переменным равен минимуму S(k) = S(k, b^*(k)) по одному k — его и ищем дальше.

Регрессия: предсказать число67

Профи

Вывод формулы МНК без производных: две параболы

Шаг 2: подставляем и ищем k. С таким b остаток переписывается через отклонения: y_i - kx_i - b = (y_i - \bar y) - k(x_i - \bar x). Обозначим S_{xx} = \sum (x_i - \bar x)^2, S_{xy} = \sum (x_i - \bar x)(y_i - \bar y), S_{yy} = \sum (y_i - \bar y)^2. Тогда

S(k) = S_{yy} - 2k\,S_{xy} + k^2 S_{xx}
— снова парабола, теперь по k. При S_{xx} > 0 её вершина находится в k = S_{xy}/S_{xx}. Первая формула доказана.

Регрессия: предсказать число68

Профи

Вывод формулы МНК без производных: две параболы

Если все x_i одинаковы, то S_{xx}=S_{xy}=0: после выбора b=\bar y-k\bar x значение S(k)=S_{yy} постоянно. Минимум достигается при любом k с соответствующим b; данные не определяют единственный наклон.

Бонус: чему равен минимум. Подставив вершину, получаем S_{\min} = S_{yy} - S_{xy}^2 / S_{xx}. Для наших пяти дней: S_{yy} = 110^2 + 80^2 + 0 + 80^2 + 110^2 = 37000, S_{xy} = 3000, S_{xx} = 250: S_{\min} = 37000 - 9\,000\,000/250 = 1000. Ровно то, что мы насчитали в таблице — теперь с гарантией, что меньше нельзя.

Регрессия: предсказать число69

Профи

Вывод формулы МНК без производных: две параболы

Доля объяснённого разброса R^2 = 1 - S_{\min}/S_{yy} = 1 - 1000/37000 \approx 0{,}973: температура «объясняет» 97 % разброса спроса в учебном примере. На реальных данных одной температуры недостаточно: дни с похожей температурой имеют разный спрос. Проверить вклад дождя или выходных можно, добавив эти признаки и сравнив качество на новых днях; по одному облаку точек причину разброса установить нельзя.

Регрессия: предсказать число70

Профи · Обсудим

Вывод формулы МНК без производных: две параболы

Все значения y умножили на 2 (считаем прокаты не в штуках, а в «полуштуках»). Что случится с прямой МНК?

  1. k и b удвоятся, остатки удвоятся, R^2 не изменится
  2. Удвоится только b, наклон сохранится
  3. Удвоится только k, сдвиг сохранится
  4. Ничего не изменится: МНК не зависит от масштаба
  5. R^2 удвоится
Регрессия: предсказать число71

Эпик

Четыре свойства прямой наименьших квадратов

Пусть \bar x, \bar y — средние, S_{xx}=\sum_i(x_i-\bar x)^2>0, S_{xy}=\sum_i(x_i-\bar x)(y_i-\bar y), S_{yy}=\sum_i(y_i-\bar y)^2>0. Прямая МНК имеет коэффициенты k=S_{xy}/S_{xx}, b=\bar y-k\bar x, прогнозы \hat y_i=kx_i+b и остатки e_i=y_i-\hat y_i. Доля объяснённого разброса: R^2=1-\sum_i e_i^2/S_{yy}. Докажите:

Регрессия: предсказать число72

Эпик

Четыре свойства прямой наименьших квадратов

  1. \sum e_i = 0 — остатки в сумме дают ноль.
  2. \sum x_i e_i = 0 — остатки «не коррелируют» с признаком.
  3. S_{yy} = \sum (\hat y_i - \bar y)^2 + \sum e_i^2 — полный разброс распадается на объяснённый и необъяснённый. Отсюда 0 \le R^2 \le 1.
  4. Если построить регрессию наоборот — x по y, с наклоном k', — то k \cdot k' = R^2.

Затем посчитайте R^2 двумя способами (через п. 3 и через п. 4) для пяти пар «температура; число прокатов»: (10°; 170), (15°; 200), (20°; 280), (25°; 360), (30°; 390).

Регрессия: предсказать число73

Эпик · Решение

Четыре свойства прямой наименьших квадратов

1. \sum e_i = \sum y_i - k\sum x_i - nb = n\bar y - nk\bar x - n(\bar y - k\bar x) = 0.

2. Подставим b = \bar y - k\bar x: e_i = (y_i - \bar y) - k(x_i - \bar x). Тогда \sum x_i e_i = \sum x_i (y_i - \bar y) - k \sum x_i (x_i - \bar x). Заметим, что \sum \bar x (y_i - \bar y) = 0 и \sum \bar x (x_i - \bar x) = 0, поэтому \sum x_i(y_i - \bar y) = S_{xy} и \sum x_i (x_i - \bar x) = S_{xx}. Получаем S_{xy} - k S_{xx} = 0 по определению k.

Регрессия: предсказать число74

Эпик · Решение

Четыре свойства прямой наименьших квадратов

3. y_i - \bar y = (\hat y_i - \bar y) + e_i. Возведём в квадрат и просуммируем; перекрёстный член 2\sum (\hat y_i - \bar y) e_i = 2\sum (kx_i + b - \bar y)e_i = 2k\sum x_i e_i + 2(b - \bar y)\sum e_i = 0 по пп. 1–2. Значит S_{yy} = \text{SSR} + \text{SSE}, где \text{SSR} = \sum(\hat y_i - \bar y)^2 \ge 0 и \text{SSE} = \sum e_i^2 \ge 0. Поэтому R^2 = 1 - \text{SSE}/S_{yy} = \text{SSR}/S_{yy} \in [0, 1].

Регрессия: предсказать число75

Эпик · Решение

Четыре свойства прямой наименьших квадратов

4. k = S_{xy}/S_{xx}, по симметрии k' = S_{xy}/S_{yy}, произведение S_{xy}^2/(S_{xx}S_{yy}). С другой стороны, \hat y_i - \bar y = k(x_i - \bar x), поэтому \text{SSR} = k^2 S_{xx} = S_{xy}^2/S_{xx} и R^2 = \text{SSR}/S_{yy} = S_{xy}^2/(S_{xx}S_{yy}). Совпало.

Числа. S_{xx} = 250, S_{xy} = 3000, S_{yy} = 37000. Через п. 3: \text{SSR} = 144 \cdot 250 = 36000, R^2 = 36000/37000 \approx 0{,}973. Через п. 4: k' = 3000/37000 \approx 0{,}0811, k \cdot k' = 12 \cdot 0{,}0811 \approx 0{,}973. Заодно видно, почему две регрессии — y по x и x по y — это разные прямые: они совпадают только при R^2 = 1.

Регрессия: предсказать число76

Эпик · Обсудим

Четыре свойства прямой наименьших квадратов

Для прямой МНК со свободным сдвигом известны суммы S_{xx}=\sum_i(x_i-\bar x)^2=44, S_{xy}=\sum_i(x_i-\bar x)(y_i-\bar y)=72, S_{yy}=\sum_i(y_i-\bar y)^2=398. Здесь \bar x и \bar y — средние. Найдите R^2, долю объяснённого разброса, с точностью до сотых.

Регрессия: предсказать число77

Проверка на новых днях

Подбор линии — только начало. Полезность прогноза проверяют по наблюдениям, которые не участвовали в настройке.

Регрессия: предсказать число78

Где это встретится дальше

Сумма квадратов остатков — пример функции потерь: по ней сравнивают настройки модели. В уроке «Обучение нейронных сетей: функция потерь» этот вопрос разбирается на других примерах. После первых четырёх уроков можно перейти к уроку «Ближайшие соседи: чей это цветок?»: другой способ прогноза опирается на похожие наблюдения. Для любого способа остаётся одна проверка: как он работает на данных, по которым его не настраивали.

Регрессия: предсказать число79

Проверка на новых днях

  • Построили прогноз — правило «умножить температуру на 12 и прибавить 40» даёт 328 прокатов при +24°. Это ответ модели, а не известный факт.
  • Сравнили ошибки — расстояния от прогнозов до наблюдений позволяют сопоставить модели. Сравнивать нужно на одних данных и по одному правилу.
  • Проверили границу вывода — хорошая подгонка старого журнала не гарантирует точности завтра. Нужны новые дни и проверка условий применения.
Регрессия: предсказать число80

Профи · Обсудим

Самостоятельно подобрать прямую

Журнал проката за четыре дня: x = 1, 2, 3, 4 часа солнца, соответствующий спрос y = 3, 5, 8, 10 прокатов. Найдите наклон k прямой МНК \hat y=kx+b со свободным сдвигом. Ответ с точностью до сотых.

Регрессия: предсказать число81

Обсудим

Домашняя работа

Модель цены квартиры: \hat y = 150\,S + 1200, где \hat y — цена в тысячах рублей, S — площадь в м². Что означает коэффициент 150?

  1. Каждый дополнительный квадратный метр добавляет к прогнозу 150 тысяч
  2. Квартира площадью 1 м² стоит 150 тысяч
  3. Модель ошибается в среднем на 150 тысяч
  4. 150 квартир участвовало в обучении
  5. Прогноз для несуществующей квартиры площадью 0 м²
Регрессия: предсказать число82

Домашняя работа

  • На двух новых днях столовая продала 20 и 30 порций. Модель А заранее предсказала 18 и 26, модель Б — 15 и 30. На бумаге отметьте факт и оба прогноза; выберите модель по сумме расстояний до факта. Объясните, почему одного точного попадания недостаточно.
  • Для прогноза поездок предложите один признак кроме температуры. Объясните, как его записать в таблицу и какие новые дни понадобятся, чтобы проверить, стало ли лучше. Направление влияния пока считайте предположением.
Регрессия: предсказать число83

Источники

Регрессия: предсказать число84

Источники