В ручном опыте мы меняли веса, смотрели на границу и сравнивали среднюю ошибку. Теперь поручим этот поиск программе. Карта, координаты и правильные метки остаются прежними; меняются параметры модели. Для одного нейрона это два веса и смещение, для сети со скрытыми слоями — много таких чисел.
Начнём с двух облаков. Модель уже умеет проводить подходящую прямую, поэтому можно сосредоточиться на обучении. Нам предстоит понять, как алгоритм выбирает направление изменения и почему более крупное обновление не всегда полезнее.
Зафиксируем обучающие точки и все параметры, кроме первого веса. Мысленно чуть увеличим этот вес и пересчитаем среднюю ошибку. Если она растёт, полезное локальное направление — уменьшать вес. Если падает — увеличивать. Это та же проверка, которую мы делали ползунком, но программе нужна численная подсказка.
Градиент содержит для каждого параметра такую подсказку: насколько и в какую сторону изменяется ошибка при небольшом изменении этого параметра. Он относится к текущим весам и текущим примерам. После обновления подсказки нужно вычислить заново.
Градиентный спуск меняет параметры в противоположную сторону — против локального роста ошибки. Если для первого веса подсказка положительная, вес уменьшают; если отрицательная — увеличивают. Остальные веса могут в тот же момент двигаться в другие стороны.
Это не движение робота по местности. Точки карты остаются на своих координатах. Меняются числа внутри нейрона, а значит, меняется его ответ сразу во многих местах и движется цветная граница. Не стоит также путать градиент ошибки по весам с направлением на север или юг на карте.
Скорость обучения — коэффициент, которым масштабируют градиент. Для одного веса обновление можно записать так:
Здесь — подсказка градиента для этого веса. Например, при , и новый вес равен : вычитание отрицательного числа увеличило вес. Если величина градиента станет меньше, при той же скорости изменение тоже уменьшится. Поэтому скорость обучения не означает фиксированное расстояние каждого шага.
Попробуйте. В тренажёре оставьте «Два облака», выполните несколько отдельных проходов кнопкой ▸|. После каждого смотрите на веса, смещение, ошибку выбранной точки и среднюю ошибку. Затем запустите непрерывное обучение и остановите его, когда граница разделит облака.
Сначала запишите начальные веса и ошибки. Для сравнения скоростей нажмите сброс, убедитесь, что исходные веса те же, измените только скорость обучения и выполните такое же число проходов. Например, сравните , и . Координаты и метки не меняйте: иначе будет трудно понять причину различий.
Малый коэффициент обычно даёт меньшие обновления, но результат зависит и от величины градиента. Большой коэффициент может быстрее уменьшить ошибку или перескочить полезную область. На простых облаках даже большой шаг иногда работает хорошо — не нужно искать обязательную поломку. Вывод делайте по фактическим параметрам и обеим ошибкам в своём запуске.
Сначала сеть получает координаты обучающих точек и вычисляет выходы. Это прямой проход: от входов через нейроны к ответу. Затем функция потерь сравнивает выходы с известными метками и .
Чтобы узнать влияние каждого веса на ошибку, используют обратное распространение ошибки. Метод проходит цепочку вычислений в обратном порядке: от ошибки к выходу, затем к более ранним нейронам и их параметрам. Он вычисляет градиенты. Само изменение весов выполняет алгоритм оптимизации, например градиентный спуск.
,
по весам
параметров
После обновления подаём координаты снова: сеть вычислит ответы уже с новыми весами. Известные метки остаются прежними.
В нашем Playground алгоритм берёт порцию из десяти обучающих точек, вычисляет средний градиент для неё и обновляет параметры. Затем обрабатывает следующую порцию. Один проход на счётчике означает обход всего обучающего набора, а не одно изменение веса. Поэтому после нажатия ▸| вы видите результат нескольких обновлений.
График ошибки по проходам тоже имеет свой смысл: по горизонтали — ход обучения, по вертикали — ошибка текущей модели. Это не сама карта и не график ошибки по одному весу. На карте оси по-прежнему обозначают координаты места.
Ошибка выбранной точки может вырасти после полезного для среднего обновления. Кроме того, соседние порции различаются: шаг в пользу одной порции не обязан улучшать все остальные. Смотрите на общую динамику и проверочный набор, а не только на одно значение.
Выберите «Кольцо» в том же тренажёре. Модель всё ещё состоит из одного нейрона. Попробуйте несколько скоростей и сравните результат с облаками. Даже удачный подбор параметров не позволит прямой границе окружить центральный класс.
Мы уже решали это ограничение в сюжете о слоях: добавляли несколько нейронов с нелинейной активацией. Градиентный метод остаётся тем же, но теперь он подбирает больше параметров в более выразительной модели. Обратное распространение учитывает влияние раннего слоя через последующие слои.
Поэтому различайте два вопроса: умеет ли выбранная модель представить нужную границу и смог ли алгоритм найти хорошие параметры? Увеличение времени обучения или скорости не добавляет скрытые нейроны. А добавление нейронов само по себе не гарантирует хорошей настройки и переноса на новые места.
Обучение останавливают не только при нулевой ошибке. Данные могут содержать шум, а дальнейшее уменьшение ошибки на известных местах иногда ухудшает проверочный результат. Для сравнения настроек нужен одинаковый бюджет проходов и отдельная оценка качества.
После остановки робот может оценить новую пару координат. Выполняется только прямой проход с готовыми весами. Метка нового места не нужна для получения прогноза; она понадобится позже, чтобы проверить ответ. Одно применение модели не обучает её автоматически.
Градиент подсказывает локальное направление роста ошибки по каждому параметру; спуск идёт против него.
Скорость обучения масштабирует обновление; один проход по данным содержит несколько обновлений.
Обучение подбирает параметры внутри выбранной архитектуры, а качество проверяют на новых данных.
Домашняя работа
Источники
- Оригинальный тренажёр взят из TensorFlow Playground. Авторы: Daniel Smilkov и Shan Carter.
- Прямой и обратный проход
- Градиентный спуск