Обучение нейронной сети: эксперимент

Уровень курса

← К урокам·Сюжет·40 мин

Карта закрашена почти идеально: каждая известная точка на своём фоне. Можно ли теперь отправлять робота в неизведанные места?

Допустим, после очередного обучения карта выглядит почти идеально: синие точки окружены синим фоном, оранжевые — оранжевым. Можно ли теперь отправлять робота в неизведанные места?

Красивой границы для ответа мало. Мы хотели получить правило для новых мест, но подбирали веса по уже посещённым. Сеть могла уловить общую закономерность, а могла слишком старательно повторить случайные особенности этих посещений. Различить эти случаи нам поможет часть журнала, которую мы до сих пор почти не обсуждали.

С самого первого опыта лаборатория делила точки пополам. По одной половине алгоритм менял веса. Метки второй половины оставались известны нам, но в эти изменения не вмешивались. Это проверочные примеры: для сети они такие же незнакомые места, ради которых мы и начали работу. Мы можем сопоставить её ответ с известным результатом, не отправляя туда робота вслепую.

Теперь становятся важны оба числа справа от сети. Ошибка на обучении показывает, насколько хорошо сеть подстроилась под доступные ей примеры. Ошибка на проверке — насколько хорошо найденное правило сработало на отложенных точках. Это значения функции потерь, а не процент неверных ответов. Маленькая учебная ошибка сама по себе ничего не обещает второй половине карты.

На новой карте «Чередование» безопасные участки расположены по диагонали. Одной прямой опять недостаточно: она не сможет оставить оба диагональных участка одного класса по одну сторону, а оба участка другого — по другую. Поэтому в лаборатории подготовлены два скрытых слоя по четыре нейрона. Сейчас нас интересует другое: будет ли улучшение на знакомых местах сопровождаться улучшением на незнакомых?

Попробуйте. Предскажите, как будут меняться две ошибки, запустите обучение и наблюдайте за обеими. После 500 проходов нажмите «Записать результат» и сопоставьте наблюдение с прогнозом.

Самостоятельная лаборатория

Опыт 4. «Чередование», два скрытых слоя по четыре нейрона. Сначала наблюдаем две ошибки; затем здесь же сравним устройство сети и входные признаки.

Если обе ошибки уменьшаются, найденное правило помогает и в местах, на которых веса не подбирались. Если падает только учебная, этого вывода уже сделать нельзя. Именно для такого различия мы и сохранили часть наблюдений в стороне. Но пока перед нами лишь одна карта и одно обучение. Проверим, что изменится, если наблюдения станут менее однозначными, а сеть — более гибкой.

Ошибка на обучении уменьшается, но на проверочных точках остаётся высокой. Что можно заключить?

До сих пор отметки довольно ясно подсказывали общую форму участков. Но представим, что координаты в журнале измерены неточно: рядом могут оказаться записи с разными исходами. В лаборатории такую неоднозначность добавляет настройка «Шум». Теперь граница, старающаяся угодить каждому учебному примеру, рискует превратиться в набор мелких изгибов.

Большая сеть умеет строить более сложные границы. Для спиралей такая гибкость нужна: граница там много раз меняет направление. Но здесь та же способность может сыграть против нас. Если мелкие изгибы повторяют случайные особенности учебных отметок, они не помогут предсказывать новые. Как это заметить? Снова посмотреть на отложенную часть журнала.

Попробуйте. На «Чередовании» оставьте x1x_1 и x2x_2, установите шум 20 и долю обучения 30%. Сравните один скрытый слой из четырёх нейронов с двумя слоями по восемь: по 500 проходов, одинаковые точки и остальные настройки. Запишите обе ошибки для каждого варианта.

Может оказаться, что большая сеть точнее повторяет учебные точки, но хуже оценивает проверочные. Такой разрыв между подстройкой под обучение и качеством на новых примерах — признак переобучения. Дополнительные изгибы не принесли полезного знания о карте. Но это не обязательный исход: если обе ошибки снизились, большая сеть помогла в этом опыте. Запишите именно то, что произошло, и рассмотрите построенную границу.

Повторение нужно, чтобы не принять удачный старт за свойство всей архитектуры. Кнопка ↺ начинает обучение с других весов на прежних точках. «Новые точки» меняет сами данные: после неё нужно снова испытать оба варианта на общем новом наборе. Сохранилось ли преимущество или результаты поменялись местами?

На одних проверочных точках у сети А ошибка 0,20, у сети Б — 0,06. Какой вывод допустим?

Мы пробовали менять количество вычислений внутри сети. Но есть ещё один путь: иначе описать место, которое ей предстоит оценить. Вернёмся к кольцу. Для круглого острова важно удаление от центра; сами по себе направления «вправо» и «влево» не делают место безопаснее. А выходной нейрон по-прежнему получает две координаты со знаками.

Попробуем заранее преобразовать их так, чтобы это сходство стало заметнее. Если возвести число в квадрат, −3 и 3 превратятся в 9. Знак потеряется, зато одинаковое удаление от центра по каждой оси будет описываться одинаково. Более того, сумма квадратов двух координат одинакова во всех точках одной окружности. Сравнение этой суммы с порогом уже позволяет отделить внутреннюю область от внешней — даже без скрытых нейронов.

Попробуйте. Выберите кольцо без шума, верните долю обучения 50%, уберите скрытые слои и поставьте шаг 0.003. На одних точках сравните два варианта: сначала только x1x_1 и x2x_2, затем только x12x_1^2 и x22x_2^2. Дайте обоим по 1000 проходов и запишите результаты.

Получившаяся окружность не опровергает ограничение одного нейрона. Прямая граница относилась к исходным координатам. Сейчас нейрон применяет простое правило к преобразованным признакам, а на исходной карте это правило очерчивает круг. Мы сами выбрали представление, в котором задача стала проще. Скрытые слои тоже создают новые представления, но их параметры подбираются по примерам.

Вернёмся к вопросу о новых местах: посмотрите в двух записях не только на форму границы, но и на ошибку на проверке. Удачное представление позволяет решить эту задачу более простым правилом, без добавления скрытых нейронов. Это ещё один вариант, который стоит испытать прежде, чем усложнять сеть. Сам по себе выбор квадратов не доказывает надёжность: её по-прежнему оцениваем на отложенных точках.

Нейрон без скрытых слоёв разделил кольцо после включения квадратов координат. Почему это возможно?

Так можно ли доверить роботу новые места? Теперь у нас есть способ обосновать ответ: оценить ошибку на отложенных точках, посмотреть на форму границы и проверить устойчивость результата в повторных запусках. Хорошие результаты поддерживают ожидание, что правило пригодится на похожих местах этой карты. Они не гарантируют каждое предсказание и ничего не доказывают о другой карте. Вместо уверенности по красивой картинке у нас появилась проверка, на которую можно опереться.

Классификатор оценивает новое место по его входным признакам.

Архитектура, представление данных и длительность обучения — разные условия опыта.

Качество на учебных примерах не заменяет проверку на новых.

Домашняя работа

  1. После добавления нейронов ошибка на обучении снизилась, а на тех же проверочных точках выросла. Что следует из наблюдения?

Источники

Повторить эту тему