Градиентный спуск
Веса можно подбирать вручную, глядя на карту. А как программа сама решает, в какую сторону и насколько их сдвинуть?
Градиентный спуск
В ручном опыте мы меняли веса, смотрели на границу и сравнивали среднюю ошибку. Теперь поручим этот поиск программе. Карта, координаты и правильные метки остаются прежними; меняются параметры модели. Для одного нейрона это два веса и смещение, для сети со скрытыми слоями — много таких чисел.
Начнём с двух облаков. Модель уже умеет проводить подходящую прямую, поэтому можно сосредоточиться на обучении. Нам предстоит понять, как алгоритм выбирает направление изменения и почему более крупное обновление не всегда полезнее.
Как понять, куда менять вес
Зафиксируем обучающие точки и все параметры, кроме первого веса. Мысленно чуть увеличим этот вес и пересчитаем среднюю ошибку. Если она растёт, полезное локальное направление — уменьшать вес. Если падает — увеличивать. Это та же проверка, которую мы делали ползунком, но программе нужна численная подсказка.
Градиент содержит для каждого параметра такую подсказку: насколько и в какую сторону изменяется ошибка при небольшом изменении этого параметра. Он относится к текущим весам и текущим примерам. После обновления подсказки нужно вычислить заново.
Как понять, куда менять вес
Градиентный спуск меняет параметры в противоположную сторону — против локального роста ошибки. Если для первого веса подсказка положительная, вес уменьшают; если отрицательная — увеличивают. Остальные веса могут в тот же момент двигаться в другие стороны.
Это не движение робота по местности. Точки карты остаются на своих координатах. Меняются числа внутри нейрона, а значит, меняется его ответ сразу во многих местах и движется цветная граница. Не стоит также путать градиент ошибки по весам с направлением на север или юг на карте.
Обсудим
Как понять, куда менять вес
При текущей настройке небольшое увеличение первого веса повышает ошибку на обучающих точках. В какую сторону направлен локальный шаг спуска по этому весу?
- Всегда в сторону увеличения
- Всегда к нулю
- К большему номеру примера
- В сторону уменьшения веса
Насколько большим будет изменение
Скорость обучения \eta — коэффициент, которым масштабируют градиент. Для одного веса обновление можно записать так:
w_{\text{новый}}=w_{\text{старый}}-\eta g.
Здесь g — подсказка градиента для этого веса. Например, при w=0{,}5, g=-0{,}4 и \eta=0{,}25 новый вес равен 0{,}6: вычитание отрицательного числа увеличило вес. Если величина градиента станет меньше, при той же скорости изменение тоже уменьшится. Поэтому скорость обучения не означает фиксированное расстояние каждого шага.
Насколько большим будет изменение
Попробуйте. В тренажёре оставьте «Два облака», выполните несколько отдельных проходов кнопкой ▸|. После каждого смотрите на веса, смещение, ошибку выбранной точки и среднюю ошибку. Затем запустите непрерывное обучение и остановите его, когда граница разделит облака.
Насколько большим будет изменение
Алгоритм меняет веса на знакомой карте
Эксперимент
Алгоритм меняет веса на знакомой карте
Насколько большим будет изменение
Сначала запишите начальные веса и ошибки. Для сравнения скоростей нажмите сброс, убедитесь, что исходные веса те же, измените только скорость обучения и выполните такое же число проходов. Например, сравните 0{,}001, 0{,}03 и 1. Координаты и метки не меняйте: иначе будет трудно понять причину различий.
Насколько большим будет изменение
Малый коэффициент обычно даёт меньшие обновления, но результат зависит и от величины градиента. Большой коэффициент может быстрее уменьшить ошибку или перескочить полезную область. На простых облаках даже большой шаг иногда работает хорошо — не нужно искать обязательную поломку. Вывод делайте по фактическим параметрам и обеим ошибкам в своём запуске.
Обсудим
Насколько большим будет изменение
Вес был 0{,}5, после обновления стал 0{,}6. На сколько он увеличился за это обновление?
Пояснение
Насколько большим будет изменение
Один проход по данным и одно обновление — разные действия. В этом опыте внутри прохода веса несколько раз меняются по порциям из десяти примеров.
Один цикл обучения
Сначала сеть получает координаты обучающих точек и вычисляет выходы. Это прямой проход: от входов через нейроны к ответу. Затем функция потерь сравнивает выходы с известными метками +1 и -1.
Чтобы узнать влияние каждого веса на ошибку, используют обратное распространение ошибки. Метод проходит цепочку вычислений в обратном порядке: от ошибки к выходу, затем к более ранним нейронам и их параметрам. Он вычисляет градиенты. Само изменение весов выполняет алгоритм оптимизации, например градиентный спуск.
Один цикл обучения
x_1, x_2
a
\ell=(a-y)^2/2
по весам
параметров
После обновления подаём координаты снова: сеть вычислит ответы уже с новыми весами. Известные метки остаются прежними.
Один цикл обучения
В нашем Playground алгоритм берёт порцию из десяти обучающих точек, вычисляет средний градиент для неё и обновляет параметры. Затем обрабатывает следующую порцию. Один проход на счётчике означает обход всего обучающего набора, а не одно изменение веса. Поэтому после нажатия ▸| вы видите результат нескольких обновлений.
График ошибки по проходам тоже имеет свой смысл: по горизонтали — ход обучения, по вертикали — ошибка текущей модели. Это не сама карта и не график ошибки по одному весу. На карте оси по-прежнему обозначают координаты места.
Один цикл обучения
Ошибка выбранной точки может вырасти после полезного для среднего обновления. Кроме того, соседние порции различаются: шаг в пользу одной порции не обязан улучшать все остальные. Смотрите на общую динамику и проверочный набор, а не только на одно значение.
Обсудим
Один цикл обучения
После увеличения скорости обучения ошибка заметно колеблется и не улучшается. Что разумно проверить первым?
- Объявить любой проход улучшением
- Уменьшить скорость обучения и повторить опыт с того же старта
- Изменить правильные метки точек
- Скрыть растущие значения ошибки
Пояснение
Один цикл обучения
Для каждого места входами остаются две координаты. Во время обучения меняются общие параметры модели, а известные координаты и метки сохраняются.
Чего обучение не меняет
Выберите «Кольцо» в том же тренажёре. Модель всё ещё состоит из одного нейрона. Попробуйте несколько скоростей и сравните результат с облаками. Даже удачный подбор параметров не позволит прямой границе окружить центральный класс.
Мы уже решали это ограничение в сюжете о слоях: добавляли несколько нейронов с нелинейной активацией. Градиентный метод остаётся тем же, но теперь он подбирает больше параметров в более выразительной модели. Обратное распространение учитывает влияние раннего слоя через последующие слои.
Чего обучение не меняет
Поэтому различайте два вопроса: умеет ли выбранная модель представить нужную границу и смог ли алгоритм найти хорошие параметры? Увеличение времени обучения или скорости не добавляет скрытые нейроны. А добавление нейронов само по себе не гарантирует хорошей настройки и переноса на новые места.
Обучение останавливают не только при нулевой ошибке. Данные могут содержать шум, а дальнейшее уменьшение ошибки на известных местах иногда ухудшает проверочный результат. Для сравнения настроек нужен одинаковый бюджет проходов и отдельная оценка качества.
Чего обучение не меняет
После остановки робот может оценить новую пару координат. Выполняется только прямой проход с готовыми весами. Метка нового места не нужна для получения прогноза; она понадобится позже, чтобы проверить ответ. Одно применение модели не обучает её автоматически.
Продолжение
Мы проследили весь цикл на одной карте: координаты → ответ → ошибка → изменение параметров. Далее разберём, какие вычисления требуют ресурсов, а в общей лаборатории сравним несколько архитектур на этих же картах.
Чего обучение не меняет
- Градиент подсказывает локальное направление роста ошибки по каждому параметру; спуск идёт против него.
- Скорость обучения масштабирует обновление; один проход по данным содержит несколько обновлений.
- Обучение подбирает параметры внутри выбранной архитектуры, а качество проверяют на новых данных.
Домашняя работа
На двух облаках сравните две скорости обучения за одинаковые десять проходов с одного старта. Запишите начальные веса, обе скорости и ошибки на обучении и проверке. Объясните, какой вывод позволяет сделать этот опыт и чего он ещё не доказывает.
Обсудим
Домашняя работа
Вес нейрона равен 2, алгоритм увеличивает его на 0{,}5. Каким станет вес?
Источники
- Оригинальный тренажёр взят из TensorFlow Playground. Авторы: Daniel Smilkov и Shan Carter.
- Прямой и обратный проход
- Градиентный спуск