Регрессия: предсказать число
Завтра +24°. Сколько прокатов ждать за день? Построим прогноз по пяти прошлым дням и проверим, насколько он ошибается.
Регрессия: предсказать число
Лето, вы подрабатываете в велопрокате у парка. Менеджер планирует завтрашнюю смену: если клиентов много, нужен помощник на выдаче. Прогноз обещает +24°. Сколько прокатов ждать за день? В журнале за прошлую неделю пять строк: температура и число прокатов. Попробуем получить прогноз из этих примеров. Число прокатов не равно нужному запасу велосипедов: один велосипед могут арендовать несколько раз.
Регрессия: предсказать число
В прошлом уроке ответом был класс: спам или нет. Здесь ответ — число, и «угадал / не угадал» уже не работает: прогноз 320 при факте 328 — отличный, прогноз 200 — плохой, хотя оба «не угадали». Значит, нужны две вещи: правило, которое из температуры делает число, и линейка, которой измеряют промах.
Вопрос «сколько?»
В 1.1 мы уже разделили два вопроса: «какой?» — классификация, и «сколько?» — регрессия (regression), ответ-число на шкале: сколько прокатов, через сколько минут приедет такси, сколько стоит квартира. Разница не в признаках, а в ответе: у класса нет «чуть-чуть мимо» (письмо либо спам, либо нет), а у числа есть — ошибка становится расстоянием, а не «да/нет». Сегодня мы впервые построим само правило, которое это число считает.
История
Вопрос «сколько?»
Откуда слово. Фрэнсис Гальтон в 1886 году сравнивал рост родителей и детей и заметил: у очень высоких родителей дети в среднем ниже их, у очень низких — выше. Он назвал это «регрессией к посредственности». Слово прижилось, хотя сегодня регрессия — любое предсказание числа (Wikipedia).
Обсудим
Вопрос «сколько?»
Настоящее число прокатов — 250. Модель A предсказала 235, модель B — 300. Как правильно сравнить их ответы?
- Обе ошиблись — значит, обе одинаково плохи
- По расстоянию до факта: |250−235| = 15 у A, |250−300| = 50 у B — A точнее
- Побеждает та, что предсказала больше
- Сравнивать нельзя: ни одна не угадала точно
- Побеждает та модель, что дала целое число
Вопрос «сколько?»
Регрессия — это когда ответ можно промахнуть на чуть-чуть.
Прямая как модель
Допустим, журнал за пять дней выглядит так (температура днём и число прокатов):
Прямая как модель
| День | Температура x, °C | Прокатов y |
|---|---|---|
| Пн | 10 | 170 |
| Вт | 15 | 200 |
| Ср | 20 | 280 |
| Чт | 25 | 360 |
| Пт | 30 | 390 |
Прямая как модель
Теплее — больше прокатов, и рост похож на равномерный. Самое простое правило, которое это выражает, — прямая:
Прямая как модель
Обозначения
Прямая как модель
| Символ | Смысл |
|---|---|
| x | температура, °C |
| y | прокатов по факту |
| \hat y | прогноз прокатов |
| k | наклон, прокатов на °C |
| b | прогноз при x = 0 |
Прямая как модель
Крышка над y — знак «так говорит модель», в отличие от факта y. Число k — наклон (slope): на сколько прокатов вырастает прогноз при потеплении на один градус. Число b — сдвиг (intercept): прогноз при нуле градусов; в наших данных нет ни одного дня с такой температурой, поэтому этот прогноз пока не проверен. Сдвиг позволяет поднять или опустить всю прямую.
Возьмём k = 12, b = 40. Тогда при +24° модель говорит 40 + 12 \cdot 24 = 328 прокатов. При +10° — 160 (факт был 170, близко). При +30° — 400 (факт 390).
Схема
Прямая как модель
Пять дней, прямая ŷ = 12x + 40 и остатки — вертикальные отрезки от точки до прямой. Среда лежит на прямой: остаток 0.
Обсудим
Прямая как модель
Модель проката: \hat y = 13x + 60, где x — температура в градусах, \hat y — число прокатов за день. Прогноз погоды: +14°. Сколько прокатов предскажет модель?
Прямая как модель
Два числа, k и b, — и это вся модель.
Остаток — мера промаха
Сравним прогнозы на двух днях. У модели А промахи равны 10 и 30 прокатам, у модели Б — 20 и 0. Если складывать расстояния от прогноза до факта, получится 40 у А и 20 у Б: на этих двух днях точнее Б. Один удачный день ещё не делает модель лучшей — сравниваем все выбранные дни по одному правилу.
Знак промаха тоже полезен. При факте 170 и прогнозе 160 модель недооценила спрос на 10. При факте 200 и прогнозе 220 — переоценила на 20. Такие разности «факт минус прогноз» называют остатками. На графике это вертикальные отрезки между точками и прямой.
Обсудим
Остаток — мера промаха
За два дня было 170 и 200 прокатов. Модель А предсказала 160 и 230, модель Б — 150 и 200. Выбирают меньшую сумму расстояний между прогнозом и фактом. Какая модель точнее на этих днях?
- А: её первый прогноз ближе к факту
- Б: сумма промахов 20, а у А — 40
- Модели одинаковы: каждая ошиблась хотя бы раз
- Б обязательно будет точнее на всех будущих днях
Профи
Как посчитать MSE и RMSE
Насколько прямая k = 12, b = 40 хороша? Для каждого дня посчитаем остаток (residual) — факт минус прогноз, e = y - \hat y:
Профи
Как посчитать MSE и RMSE
| x | y | \hat y = 12x + 40 | e = y - \hat y | e^2 |
|---|---|---|---|---|
| 10 | 170 | 160 | +10 | 100 |
| 15 | 200 | 220 | −20 | 400 |
| 20 | 280 | 280 | 0 | 0 |
| 25 | 360 | 340 | +20 | 400 |
| 30 | 390 | 400 | −10 | 100 |
Профи
Как посчитать MSE и RMSE
Профи
Как посчитать MSE и RMSE
Сумма остатков равна нулю — но это не значит, что прямая идеальна: +20 и -20 просто погасили друг друга. В выводе МНК в шаге 5 станет ясно, что этот ноль не случаен.
Чтобы промахи не прятались за знаком, их возводят в квадрат — на рисунке выше это в буквальном смысле площадь. Сумма квадратов здесь 100 + 400 + 0 + 400 + 100 = 1000, а её среднее — среднеквадратичная ошибка (mean squared error, MSE): 1000 / 5 = 200. Корень из неё, \sqrt{200} \approx 14, — это RMSE (root mean squared error), величина ошибки в прокатах, тогда как сама MSE измеряется в прокатах в квадрате.
Профи
Как посчитать MSE и RMSE
RMSE около 14 описывает ошибки на выбранных примерах. Это не гарантия, что ошибка прогноза на завтра окажется в пределах ±14.
Профи · Пояснение
Как посчитать MSE и RMSE
Почему квадрат, а не модуль? Можно взять и модули: средняя абсолютная ошибка MAE здесь (10 + 20 + 0 + 20 + 10)/5 = 12. Но квадрат сильнее наказывает большие промахи (промах 20 «стоит» в 4 раза дороже промаха 10) и, главное, даёт формулу для лучшей прямой — шаг 5. А вот такой же короткой формулы через средние для модулей не существует — прямую с наименьшей суммой модулей ищут численно.
Профи
Как посчитать MSE и RMSE
Тот же расчёт кодом:
Профи · Python
Остатки, MSE и RMSE на пяти днях
Запустите и сверьте напечатанные числа с таблицей остатков выше
import math
x = [10, 15, 20, 25, 30] # температура, °C — признак
y = [170, 200, 280, 360, 390] # прокатов — факт из журнала
k, b = 12, 40 # прямая из шага 2: ŷ = 12x + 40
sse = 0 # Σe² — сумма квадратов остатков
summa_e = 0 # Σe — та же сумма, но без квадратов
print(f"{'x':>3} {'y':>6} {'ŷ':>6} {'e':>6} {'e²':>6}")
for xi, yi in zip(x, y):
y_hat = k * xi + b # прогноз модели на этот день
e = yi - y_hat # остаток: факт минус прогноз
sse += e * e
summa_e += eПрофи · Python · продолжение 2/2
Остатки, MSE и RMSE на пяти днях
print(f"{xi:3d} {yi:6d} {y_hat:6d} {e:+6d} {e * e:6d}")
mse = sse / len(x) # средний квадрат промаха
rmse = math.sqrt(mse) # тот же промах, снова в прокатах
print(f"Σe = {summa_e}: плюсы погасили минусы — вот зачем нужен квадрат")
print(f"Σe² = {sse}")
print(f"MSE = {sse} / {len(x)} = {mse:.0f} (прокатов в квадрате)")
print(f"RMSE = √MSE ≈ {rmse:.1f} проката — величина ошибки")
print(f"Прогноз на завтра, +24°: {k * 24 + b} проката")Остаток — мера промаха
В опыте ниже используется другой показатель — MSE: среднее квадратов промахов. Он сильнее штрафует большие ошибки. Считать его вручную сейчас не нужно: меняйте линию и наблюдайте за числом. На тех же точках меньший показатель означает более точную подгонку.
Сначала запишите, какой прогноз даёт ваша линия на +24°. Затем попробуйте уменьшить MSE и сравните свой результат с кнопкой «Подобрать МНК»: она выбирает прямую с наименьшим значением этого показателя. Прогноз может измениться, хотя сами точки остались прежними.
Пробная прямая и её ошибки
Прямая, прогноз и цена ошибки
Прямая с наименьшей ошибкой
Прямая, прогноз и цена ошибки
Как ошибка зависит от наклона
Прямая, прогноз и цена ошибки
Эксперимент
Прямая, прогноз и цена ошибки
Профи · Обсудим
Проверка расчёта ошибки
За пять дней температура x и число прокатов y составили: (10°; 170), (15°; 200), (20°; 280), (25°; 360), (30°; 390). Модель прогнозирует \hat y = 10x + 80. Чему равна её MSE — среднее квадратов разностей между фактом и прогнозом?
Остаток — мера промаха
На одном и том же наборе дней меньшая MSE означает более точную подгонку. Для выбора прогноза на будущее понадобится проверка на новых днях.
Эксперимент на настоящих данных
Пять дней были учебным примером. Теперь откроем все 731 наблюдение из файла day.csv набора Bike Sharing. Каждая точка — один день; по вертикали — поездки всей сети Capital Bikeshare за сутки. Температура записана в исходной шкале от 0 до 1: больше — теплее. Это не градусы Цельсия.
Перед подбором посмотрите на дни с похожей температурой. Одинаковое ли у них число поездок? Прямая даёт один прогноз, а наблюдения заметно различаются: одной температуры недостаточно, чтобы объяснить весь спрос.
Цитата
Эксперимент на настоящих данных
«Все модели неверны, но некоторые полезны.» — Джордж Бокс и Норман Дрейпер, Empirical Model-Building and Response Surfaces, 1987 (источник)
Пробная прямая и её ошибки
731 день настоящего велопроката
Прямая с наименьшей ошибкой
731 день настоящего велопроката
Эксперимент
731 день настоящего велопроката
Эксперимент на настоящих данных
Скачать исходные 731 наблюдение. Ползунок показывает ответ модели для выбранной температуры; нового измерения спроса при этом не возникает.
Профи
Что меняет сдвиг прямой
В прошлой лаборатории вы двигали и наклон, и сдвиг сразу. Разделим их: проверьте, что делает с остатками только сдвиг прямой вверх-вниз, отдельно от наклона.
Профи · Обсудим
Что меняет сдвиг прямой
Прогноз задан прямой \hat y = kx + b, остаток — e = y - \hat y (факт минус прогноз). Сдвиг b увеличили на 20, не меняя наклона и наблюдений. Что произойдёт с остатками?
- Каждый остаток уменьшится ровно на 20 — и может стать отрицательным
- Каждый остаток увеличится ровно на 20
- Остатки изменятся по-разному: у крайних точек сильнее, чем у средних
- Остатки не изменятся, изменится только MSE
- Сумма квадратов остатков обязательно уменьшится
Обсудим
Эксперимент на настоящих данных
В журнале при одной температуре было 300 и 500 поездок. Модель использует только температуру и всегда даёт одному входу один ответ. Что следует из этого?
- В обоих днях факт обязательно записан с ошибкой
- Одним прогнозом нельзя точно попасть в оба значения спроса
- Нужно провести прямую через каждую точку одновременно
- Температура вообще не может быть полезным признаком
Эксперимент на настоящих данных
Реальное облако шире: полезный прогноз может ошибаться, а точность нужно измерять.
Проверка на новых днях
Кнопка подбора уменьшает ошибку на уже известных точках. Но завтра появится новая точка. Чтобы проверить пользу модели, запишем прогнозы заранее, дождёмся факта и сравним их на днях, по которым линию не настраивали.
Представим две модели проката. На старых днях А ошибалась меньше. Для двух следующих дней прогнозы зафиксировали заранее:
Проверка на новых днях
| Новый день | Факт | Прогноз А | Прогноз Б |
|---|---|---|---|
| Суббота | 300 | 290 | 280 |
| Воскресенье | 360 | 310 | 350 |
Проверка на новых днях
Расстояния до факта: у А — 10 и 50, у Б — 20 и 10. По сумме этих расстояний на новых днях выигрывает Б: 30 против 60. На меньшей ошибке по старому журналу выбор не заканчивается.
Обсудим
Проверка на новых днях
На двух новых днях промахи модели А составили 10 и 50 прокатов, модели Б — 20 и 10. На старых днях, использованных для настройки, А была точнее. Какой вывод подтверждает новая проверка по сумме промахов?
- А лучше: ошибка на старых днях важнее любой новой проверки
- На этих двух новых днях Б точнее, но двух дней мало для гарантии на будущее
- Б теперь всегда будет точнее А
- Ни одну модель нельзя применять, пока все промахи не равны нулю
Проверка на новых днях
Если после просмотра этой таблицы поправить модель, таблица станет частью настройки. Для следующей независимой проверки нужны другие дни. Это полезная привычка и без формул: сначала прогноз, потом факт, затем честный разбор ошибки.
Есть и границы применения. В учебном журнале температура была от +10° до +30°. При +45° формула всё ещё выдаст число, но наблюдений для проверки такого режима у нас нет. Перед использованием спросите: похожи ли новые условия на те, по которым модель строилась?
Профи
Формула метода наименьших квадратов
Подбирать прямую вручную — долго, и нет гарантии, что нашли лучшую. К счастью, у задачи «минимальная сумма квадратов остатков» есть точный ответ — метод наименьших квадратов (least squares, МНК). Нужны средние \bar x и \bar y и отклонения от них:
Профи
Формула метода наименьших квадратов
Профи
Формула метода наименьших квадратов
Почему именно эта пара k, b даёт наименьшую сумму квадратов среди всех прямых — докажем в следующем блоке; пока проверим расчёт на пяти днях. И ещё: делить на \sum(x_i-\bar x)^2 можно, только если температуры не все одинаковы — иначе знаменатель равен нулю, а по одной температуре наклон не определить.
Профи · Обозначения
Формула метода наименьших квадратов
| Символ | Смысл |
|---|---|
| \bar x, \bar y | средние по всем n дням |
| \sum | сумма по всем дням |
| n | число дней |
| e^2 | квадрат остатка |
| \text{MSE} | \sum e^2 / n — средний квадрат промаха |
| S_{xx}, S_{xy} | \sum(x_i-\bar x)^2 и \sum(x_i-\bar x)(y_i-\bar y) |
Профи
Формула метода наименьших квадратов
Здесь \bar x — средняя температура, \bar y — средний спрос, x_i, y_i — i-й день, \sum — сумма по всем дням. Числитель показывает, насколько x и y отклоняются от средних вместе; знаменатель — насколько разбросан сам x.
Пересчитаем для пяти дней. \bar x = (10 + 15 + 20 + 25 + 30)/5 = 20, \bar y = 1400/5 = 280.
Профи
Формула метода наименьших квадратов
| x_i - \bar x | y_i - \bar y | произведение | (x_i - \bar x)^2 |
|---|---|---|---|
| −10 | −110 | 1100 | 100 |
| −5 | −80 | 400 | 25 |
| 0 | 0 | 0 | 0 |
| 5 | 80 | 400 | 25 |
| 10 | 110 | 1100 | 100 |
| Сумма | 0 | 3000 | 250 |
Профи
Формула метода наименьших квадратов
Профи
Формула метода наименьших квадратов
k = 3000/250 = 12, b = 280 - 12 \cdot 20 = 40. Прямая из шага 2 и есть прямая наименьших квадратов. Формула даёт MSE = 200; доказательство ниже устанавливает, что меньшей MSE на этих пяти днях у прямой со свободным сдвигом быть не может.
Профи
Формула метода наименьших квадратов
Заметьте: b = \bar y - k\bar x означает, что при x = \bar x прогноз равен \bar y. Прямая МНК всегда проходит через точку средних (\bar x, \bar y) — у нас через (20, 280), и это среда, где остаток 0.
Профи · Обсудим
Формула метода наименьших квадратов
У другого проката средняя температура \bar x = 17, средний спрос \bar y = 398, а наклон МНК уже посчитан: k = 10. Найдите сдвиг b.
Профи
Формула метода наименьших квадратов
Профи · Обсудим
Формула метода наименьших квадратов
У другого набора дней S_{xy} = \sum (x_i-\bar x)(y_i-\bar y) = 206, а S_{xx} = \sum (x_i-\bar x)^2 = 39. Чему равен наклон k прямой наименьших квадратов?
Профи
Формула метода наименьших квадратов
Теперь напишите формулу сами:
Профи · Python
Формула наименьших квадратов своими руками
Допишите две строки в mnk, чтобы функция считала наклон и сдвиг МНК на данных с разными значениями признака
x = [10, 15, 20, 25, 30] # те же пять дней из журнала
y = [170, 200, 280, 360, 390]
def mnk(x, y):
"""Наклон k и сдвиг b прямой наименьших квадратов (формула шага 5)."""
n = len(x)
x_sr = sum(x) / n # x̄ — средняя температура
y_sr = sum(y) / n # ȳ — средний спрос
s_xy = 0.0 # S_xy = Σ(xᵢ−x̄)(yᵢ−ȳ) — числитель
s_xx = 0.0 # S_xx = Σ(xᵢ−x̄)² — знаменатель
for xi, yi in zip(x, y):
s_xy += 0.0 # TODO: прибавьте произведение отклонений от средних
s_xx += 1.0 # TODO: прибавьте квадрат отклонения по x
k = s_xy / s_xxПрофи · Python · продолжение 2/2
Формула наименьших квадратов своими руками
b = y_sr - k * x_sr # прямая проходит через точку средних
return k, b
k, b = mnk(x, y)
mse = sum((yi - (k * xi + b)) ** 2 for xi, yi in zip(x, y)) / len(x)
print(f"k = {k:.2f} прокатов на градус, b = {b:.2f}")
print(f"MSE = {mse:.0f}; у прямой ŷ = 12x + 40 из шага 3 было 200")
print(f"Прогноз при +24°: {k * 24 + b:.0f} проката")Профи
Вывод формулы МНК без производных: две параболы
Сумма квадратов остатков как функция двух чисел k и b:
Профи
Вывод формулы МНК без производных: две параболы
Шаг 1: фиксируем k, ищем лучший b. Раскроем квадраты и соберём по степеням b:
Профи
Вывод формулы МНК без производных: две параболы
Для любых k и b верно S(k, b) \ge S(k, b^*(k)), где b^*(k) — вершина этой параболы по b; значит минимум S по обеим переменным равен минимуму S(k) = S(k, b^*(k)) по одному k — его и ищем дальше.
Профи
Вывод формулы МНК без производных: две параболы
Шаг 2: подставляем и ищем k. С таким b остаток переписывается через отклонения: y_i - kx_i - b = (y_i - \bar y) - k(x_i - \bar x). Обозначим S_{xx} = \sum (x_i - \bar x)^2, S_{xy} = \sum (x_i - \bar x)(y_i - \bar y), S_{yy} = \sum (y_i - \bar y)^2. Тогда
Профи
Вывод формулы МНК без производных: две параболы
Если все x_i одинаковы, то S_{xx}=S_{xy}=0: после выбора b=\bar y-k\bar x значение S(k)=S_{yy} постоянно. Минимум достигается при любом k с соответствующим b; данные не определяют единственный наклон.
Бонус: чему равен минимум. Подставив вершину, получаем S_{\min} = S_{yy} - S_{xy}^2 / S_{xx}. Для наших пяти дней: S_{yy} = 110^2 + 80^2 + 0 + 80^2 + 110^2 = 37000, S_{xy} = 3000, S_{xx} = 250: S_{\min} = 37000 - 9\,000\,000/250 = 1000. Ровно то, что мы насчитали в таблице — теперь с гарантией, что меньше нельзя.
Профи
Вывод формулы МНК без производных: две параболы
Доля объяснённого разброса R^2 = 1 - S_{\min}/S_{yy} = 1 - 1000/37000 \approx 0{,}973: температура «объясняет» 97 % разброса спроса в учебном примере. На реальных данных одной температуры недостаточно: дни с похожей температурой имеют разный спрос. Проверить вклад дождя или выходных можно, добавив эти признаки и сравнив качество на новых днях; по одному облаку точек причину разброса установить нельзя.
Профи · Обсудим
Вывод формулы МНК без производных: две параболы
Все значения y умножили на 2 (считаем прокаты не в штуках, а в «полуштуках»). Что случится с прямой МНК?
- k и b удвоятся, остатки удвоятся, R^2 не изменится
- Удвоится только b, наклон сохранится
- Удвоится только k, сдвиг сохранится
- Ничего не изменится: МНК не зависит от масштаба
- R^2 удвоится
Эпик
Четыре свойства прямой наименьших квадратов
Пусть \bar x, \bar y — средние, S_{xx}=\sum_i(x_i-\bar x)^2>0, S_{xy}=\sum_i(x_i-\bar x)(y_i-\bar y), S_{yy}=\sum_i(y_i-\bar y)^2>0. Прямая МНК имеет коэффициенты k=S_{xy}/S_{xx}, b=\bar y-k\bar x, прогнозы \hat y_i=kx_i+b и остатки e_i=y_i-\hat y_i. Доля объяснённого разброса: R^2=1-\sum_i e_i^2/S_{yy}. Докажите:
Эпик
Четыре свойства прямой наименьших квадратов
- \sum e_i = 0 — остатки в сумме дают ноль.
- \sum x_i e_i = 0 — остатки «не коррелируют» с признаком.
- S_{yy} = \sum (\hat y_i - \bar y)^2 + \sum e_i^2 — полный разброс распадается на объяснённый и необъяснённый. Отсюда 0 \le R^2 \le 1.
- Если построить регрессию наоборот — x по y, с наклоном k', — то k \cdot k' = R^2.
Затем посчитайте R^2 двумя способами (через п. 3 и через п. 4) для пяти пар «температура; число прокатов»: (10°; 170), (15°; 200), (20°; 280), (25°; 360), (30°; 390).
Эпик · Решение
Четыре свойства прямой наименьших квадратов
1. \sum e_i = \sum y_i - k\sum x_i - nb = n\bar y - nk\bar x - n(\bar y - k\bar x) = 0.
2. Подставим b = \bar y - k\bar x: e_i = (y_i - \bar y) - k(x_i - \bar x). Тогда \sum x_i e_i = \sum x_i (y_i - \bar y) - k \sum x_i (x_i - \bar x). Заметим, что \sum \bar x (y_i - \bar y) = 0 и \sum \bar x (x_i - \bar x) = 0, поэтому \sum x_i(y_i - \bar y) = S_{xy} и \sum x_i (x_i - \bar x) = S_{xx}. Получаем S_{xy} - k S_{xx} = 0 по определению k.
Эпик · Решение
Четыре свойства прямой наименьших квадратов
3. y_i - \bar y = (\hat y_i - \bar y) + e_i. Возведём в квадрат и просуммируем; перекрёстный член 2\sum (\hat y_i - \bar y) e_i = 2\sum (kx_i + b - \bar y)e_i = 2k\sum x_i e_i + 2(b - \bar y)\sum e_i = 0 по пп. 1–2. Значит S_{yy} = \text{SSR} + \text{SSE}, где \text{SSR} = \sum(\hat y_i - \bar y)^2 \ge 0 и \text{SSE} = \sum e_i^2 \ge 0. Поэтому R^2 = 1 - \text{SSE}/S_{yy} = \text{SSR}/S_{yy} \in [0, 1].
Эпик · Решение
Четыре свойства прямой наименьших квадратов
4. k = S_{xy}/S_{xx}, по симметрии k' = S_{xy}/S_{yy}, произведение S_{xy}^2/(S_{xx}S_{yy}). С другой стороны, \hat y_i - \bar y = k(x_i - \bar x), поэтому \text{SSR} = k^2 S_{xx} = S_{xy}^2/S_{xx} и R^2 = \text{SSR}/S_{yy} = S_{xy}^2/(S_{xx}S_{yy}). Совпало.
Числа. S_{xx} = 250, S_{xy} = 3000, S_{yy} = 37000. Через п. 3: \text{SSR} = 144 \cdot 250 = 36000, R^2 = 36000/37000 \approx 0{,}973. Через п. 4: k' = 3000/37000 \approx 0{,}0811, k \cdot k' = 12 \cdot 0{,}0811 \approx 0{,}973. Заодно видно, почему две регрессии — y по x и x по y — это разные прямые: они совпадают только при R^2 = 1.
Эпик · Обсудим
Четыре свойства прямой наименьших квадратов
Для прямой МНК со свободным сдвигом известны суммы S_{xx}=\sum_i(x_i-\bar x)^2=44, S_{xy}=\sum_i(x_i-\bar x)(y_i-\bar y)=72, S_{yy}=\sum_i(y_i-\bar y)^2=398. Здесь \bar x и \bar y — средние. Найдите R^2, долю объяснённого разброса, с точностью до сотых.
Проверка на новых днях
Подбор линии — только начало. Полезность прогноза проверяют по наблюдениям, которые не участвовали в настройке.
Где это встретится дальше
Сумма квадратов остатков — пример функции потерь: по ней сравнивают настройки модели. В уроке «Обучение нейронных сетей: функция потерь» этот вопрос разбирается на других примерах. После первых четырёх уроков можно перейти к уроку «Ближайшие соседи: чей это цветок?»: другой способ прогноза опирается на похожие наблюдения. Для любого способа остаётся одна проверка: как он работает на данных, по которым его не настраивали.
Проверка на новых днях
- Построили прогноз — правило «умножить температуру на 12 и прибавить 40» даёт 328 прокатов при +24°. Это ответ модели, а не известный факт.
- Сравнили ошибки — расстояния от прогнозов до наблюдений позволяют сопоставить модели. Сравнивать нужно на одних данных и по одному правилу.
- Проверили границу вывода — хорошая подгонка старого журнала не гарантирует точности завтра. Нужны новые дни и проверка условий применения.
Профи · Обсудим
Самостоятельно подобрать прямую
Журнал проката за четыре дня: x = 1, 2, 3, 4 часа солнца, соответствующий спрос y = 3, 5, 8, 10 прокатов. Найдите наклон k прямой МНК \hat y=kx+b со свободным сдвигом. Ответ с точностью до сотых.
Обсудим
Домашняя работа
Модель цены квартиры: \hat y = 150\,S + 1200, где \hat y — цена в тысячах рублей, S — площадь в м². Что означает коэффициент 150?
- Каждый дополнительный квадратный метр добавляет к прогнозу 150 тысяч
- Квартира площадью 1 м² стоит 150 тысяч
- Модель ошибается в среднем на 150 тысяч
- 150 квартир участвовало в обучении
- Прогноз для несуществующей квартиры площадью 0 м²
Домашняя работа
- На двух новых днях столовая продала 20 и 30 порций. Модель А заранее предсказала 18 и 26, модель Б — 15 и 30. На бумаге отметьте факт и оба прогноза; выберите модель по сумме расстояний до факта. Объясните, почему одного точного попадания недостаточно.
- Для прогноза поездок предложите один признак кроме температуры. Объясните, как его записать в таблицу и какие новые дни понадобятся, чтобы проверить, стало ли лучше. Направление влияния пока считайте предположением.
Источники
- D2L: Linear Regression: линейный прогноз, квадратичная ошибка и подбор параметров.
- Bike Sharing Dataset — UCI Machine Learning Repository — данные Capital Bikeshare за 2011–2012: 731 день, погода и число прокатов.
- Simple linear regression — Wikipedia — формулы МНК для одного признака, свойства остатков, R^2.
- Least squares — Wikipedia — история: Лежандр, Гаусс и Церера.
Источники
- scikit-learn: Linear Models — та же регрессия в коде.
- Учебник по машинному обучению Яндекса: линейные модели — МНК для многих признаков, регуляризация.
- Anscombe's quartet — Wikipedia — четыре разных облака точек с одинаковой прямой МНК: почему нужно смотреть на картинку.