Искусственный нейрон: входы, веса и выход

Робот-разведчик знает несколько безопасных и опасных мест на карте. Как ему оценить место, где он ещё не был?

Искусственный нейрон: входы, веса и выход1

Искусственный нейрон: входы, веса и выход

Представим игру: роботу-разведчику нужно исследовать карту, на которой есть безопасная земля и опасные участки. Он уже побывал в нескольких местах: удачные посещения отмечены синим, неудачные — оранжевым. Теперь ему предстоит отправиться туда, где отметок ещё нет. Как понять, что его там ждёт?

Искусственный нейрон: входы, веса и выход2

Искусственный нейрон: входы, веса и выход

Положение места задают два числа: горизонтальная координата x_1 и вертикальная x_2. Нам нужно правило, которое по этим двум входам предскажет один из двух ответов: «безопасно» или «опасно». Запомнить журнал посещений недостаточно: для нового места в нём ещё нет ответа. И заранее обещать точный прогноз для любой точки мы не можем — его качество предстоит проверить.

Посмотрите на четыре возможные карты. Каждая точка — известный пример, цвет — его класс. Какую границу вы провели бы между классами на каждой карте?

Искусственный нейрон: входы, веса и выход3

Искусственный нейрон: входы, веса и выход

Четыре карты для робота

Четыре карты для робота
Искусственный нейрон: входы, веса и выход4

Эксперимент

Четыре карты для робота

Выберите картинку: увидите карту крупнее. Точки — известные примеры; синий класс условно безопасный, оранжевый — опасный.
Искусственный нейрон: входы, веса и выход5

Искусственный нейрон: входы, веса и выход

Попробуем решить её с помощью математической модели нейрона. Сначала узнаем, что он вычисляет, затем сами настроим его на двух облаках. Только после этого поручим подбор настроек алгоритму.

Искусственный нейрон: входы, веса и выход6

От живого нейрона к математической модели

Название пришло из биологии. В мозге взрослого человека около 8{,}6\times10^{10} нейронов — примерно 86 миллиардов. Между нейронами есть контакты, синапсы: через них клетки влияют друг на друга. Масштаб связей ещё больше: для неокортекса приводят оценку порядка 1{,}5\times10^{14} синапсов, то есть около 150 триллионов.

Искусственный нейрон: входы, веса и выход7

От живого нейрона к математической модели

Сигналы распространяются по отросткам нейронов. Это визуальная иллюстрация, не запись измерений активности мозга.

Искусственный нейрон: входы, веса и выход8

От живого нейрона к математической модели

Живой нейрон принимает сигналы через контакты с другими клетками. Их совместное действие влияет на появление импульса, который распространяется по аксону к следующим клеткам. Входящие влияния бывают возбуждающими и тормозными; устройство клетки существенно сложнее нашего будущего расчёта.

Искусственный нейрон: входы, веса и выход9

От живого нейрона к математической модели

Упрощённая схема: входящие сигналы на дендритах, тело клетки, аксон и окончания, передающие сигнал через синапсы другим клеткам.

Дендриты и тело клетки принимают сигналы; аксон проводит импульс к окончаниям. Синапсы связывают клетки. Схема показывает общую организацию, без масштаба и деталей биофизики.

Искусственный нейрон: входы, веса и выход10

От живого нейрона к математической модели

Возьмём из этой аналогии только идею: несколько входов влияют на один выход. У искусственного нейрона каждый вход умножается на свой вес, произведения складываются, затем результат преобразуется по выбранному правилу. Нейрон возвращает одно число. В нашем примере входы — координаты, а не сигналы живых клеток.

Искусственный нейрон: входы, веса и выход11

От живого нейрона к математической модели

Координаты
x_1, x_2
→
Вклады входов
w_1x_1, w_2x_2
→
Сумма
s=w_1x_1+w_2x_2
→
Один выход
a=\tanh(s)

Два входа, два веса, один нейрон и одно выходное число. Правило Tanh сохраняет знак суммы и сжимает выход в интервал от −1 до 1; его график разберём чуть ниже. На карте нейрон всегда использует Tanh; ReLU и другие варианты сравним отдельно в шаге 3.

Искусственный нейрон: входы, веса и выход12

От живого нейрона к математической модели

Договоримся о решающем правиле: если a>0, прогнозируем «безопасно»; если a\leq0 — «опасно». Это наша договорённость о смысле числа. Сам нейрон выдаёт число, а превращает его в название класса отдельное правило. Насыщенность фона показывает величину выхода; её пока нельзя читать как вероятность безопасности.

Искусственный нейрон: входы, веса и выход13

Входы и веса

Начнём с двух облаков. На карте синие точки обозначают безопасные места, оранжевые точки — опасные. Фон показывает прогноз нейрона. Оранжевая точка на синем фоне — ошибка: известный класс и прогноз разошлись.

Настройте сами. Двигайте два веса, пока все точки не окажутся на фоне своего цвета. Затем нажмите на картинку «Другая диагональ» и повторите. Обучение тоже ещё не запускается — каждую настройку выбираете вы.

Искусственный нейрон: входы, веса и выход14

Входы и веса

Разделите облака двумя весами

Разделите облака двумя весами
Искусственный нейрон: входы, веса и выход15

Эксперимент

Разделите облака двумя весами

Выберите карту-картинку и меняйте два веса. Схема связей и большая карта показывают работу того же нейрона.
Искусственный нейрон: входы, веса и выход16

Входы и веса

Положительный вес означает, что рост соответствующего входа увеличивает сумму; отрицательный — уменьшает. При нулевом весе этот вход не влияет на ответ. Поэтому вес горизонтальной координаты меняет влияние движения вправо, а вес вертикальной — движения вверх. Веса общие для всей карты: для каждой точки мы подставляем новые координаты в одно и то же правило.

Например, при x_1=2, x_2=1, w_1=3 и w_2=-2 сумма равна 3\cdot2+(-2)\cdot1=4. Tanh сохраняет положительный знак, поэтому решающее правило даст «безопасно». Для другой точки изменятся координаты, но веса останутся теми же.

Искусственный нейрон: входы, веса и выход17

Как передвинуть границу

В первом опыте изменение весов поворачивает границу, но она всегда проходит через начало координат. А если нужная граница проходит в стороне? Добавим к сумме ещё одно настраиваемое число — смещение b: s=w_1x_1+w_2x_2+b.

Попробуйте. В следующем опыте установите оба веса равными 1. Теперь меняйте только смещение от -3 до 3: прямая движется, сохраняя направление. Затем оставьте смещение и измените один вес. Чем эти движения отличаются?

Искусственный нейрон: входы, веса и выход18

Как передвинуть границу

Смещение передвигает границу

Смещение передвигает границу
Искусственный нейрон: входы, веса и выход19

Эксперимент

Смещение передвигает границу

Два веса задают направление прямой; смещение позволяет сдвинуть её. Все три числа — общие настройки для всей карты.
Искусственный нейрон: входы, веса и выход20

Как передвинуть границу

Например, в точке (2,1) при обоих весах 1 сумма вкладов равна 3. Смещение -4 меняет её на -1, и ответ переходит на опасную сторону. Для простоты дальнейших схем будем иногда опускать смещение, но у нейрона это тоже настраиваемый параметр: алгоритм может подбирать его вместе с весами. В опытах с автоматическим обучением оно участвует в вычислении.

Искусственный нейрон: входы, веса и выход21

Как передвинуть границу

Вы только что подобрали веса вручную. А можно ли сделать так, чтобы программа подбирала их за нас? Можно: дать ей примеры с известными классами, измерять ошибку и понемногу менять веса. Это и будет обучение. Прежде чем нажать кнопку, разберём оставшиеся части нейрона — тогда будет понятно, что именно меняет алгоритм.

У нейрона может быть больше двух входов. На следующей схеме их четыре: например, к координатам робота можно добавить два показания датчиков. Каждый вход получает свой вес, а выход по-прежнему один. Вычисление такое же, как на карте; при нулевых третьем и четвёртом входах здесь получается наш пример 6-2=4.

Искусственный нейрон: входы, веса и выход22

Как передвинуть границу

Входы и веса: тот же расчёт для четырёх входов

Входы и веса: тот же расчёт для четырёх входов
Искусственный нейрон: входы, веса и выход23

Эксперимент

Входы и веса: тот же расчёт для четырёх входов

Выберите связь и меняйте её вес. Предскажите, как изменится сумма, если вес отрицательный или нулевой.
Искусственный нейрон: входы, веса и выход24

Обсудим

Как передвинуть границу

У нейрона входы 3 и 1, соответствующие веса 2 и -1. Какова сумма двух вкладов?

Искусственный нейрон: входы, веса и выход25

Функция активации

Функция активации преобразует сумму s в выход a. До сих пор мы использовали Tanh. Сравним четыре варианта: линейную функцию, ReLU, сигмоиду и Tanh. В каждом случае нейрон получает ту же сумму, но выдаёт другое число.

Попробуйте. Установите сумму -2 и переключите все четыре функции. Затем сделайте сумму положительной. Где выход стал нулём, где сохранил знак, а где остался положительным?

Искусственный нейрон: входы, веса и выход26

Функция активации

Одна сумма — четыре функции активации

Одна сумма — четыре функции активации
Искусственный нейрон: входы, веса и выход27

Эксперимент

Одна сумма — четыре функции активации

Точка на графике связывает сумму по горизонтали с выходом по вертикали. Меняйте сумму и сравнивайте правила.
Искусственный нейрон: входы, веса и выход28

Функция активации

ReLU превращает отрицательную сумму в ноль, а положительную пропускает без изменения: при s=-3 выход 0, при s=4 выход 4. Сигмоида даёт выход между 0 и 1; при нулевой сумме получается 0{,}5. Tanh даёт выход между -1 и 1 и сохраняет знак суммы. Линейная активация просто возвращает саму сумму.

Порог решения должен соответствовать выходу. Для Tanh на нашей карте это 0; для сигмоиды той же границе соответствовал бы порог 0{,}5. Мы не будем переключать активацию карты: оставим Tanh и уже знакомые цвета.

Искусственный нейрон: входы, веса и выход29

Функция активации

Вспомните движение прямой в опыте со смещением. Она отделяет положительную сумму от отрицательной: на самой границе s=0. Tanh меняет насыщенность цвета по её сторонам, но не изгибает эту границу. Роль активации и роль смещения различаются: первая преобразует сумму, второе прибавляется к ней ещё до преобразования.

Искусственный нейрон: входы, веса и выход30

Обсудим

Функция активации

Сумма с учётом смещения равна -3. Что выдаст нейрон с ReLU?

  1. 0
  2. -3
  3. 3
  4. Любое число от 0 до 1
Искусственный нейрон: входы, веса и выход31

Обучение и применение

Вернёмся к нашему вопросу: как поручить подбор весов программе? Для каждой учебной точки известен желаемый ответ: +1 для безопасного места и -1 для опасного. Сравним выход нейрона с этим ответом. Чем сильнее расхождение, тем больше ошибка, которую измеряет выбранная функция потерь.

Алгоритм делает небольшое изменение двух весов и смещения, чтобы уменьшить ошибку на обучающих точках, затем повторяет расчёт. Точки и их метки остаются прежними. Ниже всё уже настроено: один нейрон, два входа, Tanh. Нам нужны только запуск, пауза и отдельный шаг.

Искусственный нейрон: входы, веса и выход32

Обучение и применение

Попробуйте. Нажмите кнопку одного прохода ▸| несколько раз и проследите за весами. Затем запустите обучение: как движется граница и как меняется ошибка? Остановите его и рассмотрите фон вокруг точек: это ответы уже обученного нейрона для разных координат.

Искусственный нейрон: входы, веса и выход33

Обучение и применение

Теперь веса подбирает алгоритм

Теперь веса подбирает алгоритм
Искусственный нейрон: входы, веса и выход34

Эксперимент

Теперь веса подбирает алгоритм

Теперь доступны запуск, пауза и один проход. Входы, активация и число нейронов закреплены; сравните ошибку на обучении и проверке.
Искусственный нейрон: входы, веса и выход35

Обучение и применение

Когда мы нажимаем ▶, программа подбирает параметры. Когда после паузы рассматриваем ответ для нового места, она применяет модель: получает координаты и вычисляет один выход с неизменными весами. Для этого правильный ответ заранее не нужен. Хороший результат на известных местах ещё не гарантирует такого же результата на всей карте — поэтому мы оставили отдельные точки для проверки.

Искусственный нейрон: входы, веса и выход36

Обсудим

Обучение и применение

Обучение остановлено. Робот оценивает соседнее место на той же карте. Что меняется в вычислении?

  1. Входные координаты; веса и смещение остаются прежними
  2. Все веса обязательно подбираются заново
  3. Правильные метки всех точек
  4. Число слоёв сети
Искусственный нейрон: входы, веса и выход37

Ограничения одного нейрона

Теперь выберите в этом же тренажёре «Кольцо». В центре безопасная земля, вокруг неё — опасная область. У нейрона по-прежнему два входа, два веса и смещение. Запустите обучение и посмотрите, сможет ли граница окружить центр.

Человеку нужна замкнутая граница, а модель умеет только проводить прямую. Как её ни поверни и ни передвинь, часть внешних точек останется на той же стороне, что и центральные. Продолжение обучения не меняет это ограничение: алгоритм ищет подходящие параметры внутри выбранной модели.

Искусственный нейрон: входы, веса и выход38

Ограничения одного нейрона

Представим несколько нейронов: один помогает ограничить участок слева, другой справа, ещё два — сверху и снизу. Их ответы можно передать следующему нейрону, который объединит эти числа. Так из ограничения одного блока возникает идея скрытого слоя.

Искусственный нейрон: входы, веса и выход39

Следующий сюжет

В «полносвязных слоях и многослойных сетях» продолжим задачу с кольцом: добавим нейроны и проследим, как их ответы складываются в общий прогноз. Затем свяжем эту же схему с классификацией изображений.

Искусственный нейрон: входы, веса и выход40

Ограничения одного нейрона

  • Вход описывает конкретный пример; веса и смещение задают общее правило.
  • Нейрон собирает взвешенную сумму, применяет активацию и возвращает одно число.
  • Обучение подбирает параметры по примерам. Одному нейрону с исходными координатами не хватает возможностей для кольца.
Искусственный нейрон: входы, веса и выход41

Домашняя работа

В тренажёре «Теперь веса подбирает алгоритм» сравните «Два облака» и «Кольцо». Для каждой карты выполните 100 проходов по данным, остановите обучение и запишите обе ошибки. Объясните разницу по форме границы.

Искусственный нейрон: входы, веса и выход42

Обсудим

Домашняя работа

Вход равен 5, вес равен 2, смещение равно -3. Чему равна сумма до активации?

Искусственный нейрон: входы, веса и выход43