Обучение языковых моделей

Готовая модель угадывает следующее слово. Откуда у неё взялись миллионы настроенных чисел и кто сказал ей правильный ответ?

Обучение языковых моделей1

Обучение языковых моделей

До сих пор мы пользовались готовой языковой моделью. Откуда берутся её параметры? Их подбирают на текстах: модель пробует продолжить начало, сравнивает прогноз с тем, что действительно написано, и учится на ошибке.

Обучение языковых моделей2

От текстов к корпусу

Для обучения нужна большая коллекция текстов — корпус. В него могут входить веб-страницы, книги, статьи и обсуждения. Но собрать материалы недостаточно: из них нужно извлечь текст, убрать повторы и отсеять мусор.

Обучение языковых моделей3

От текстов к корпусу

МатериалыСайты, книги, статьи
ПодготовкаИзвлечь текст. Убрать повторы.
КорпусТексты для обучения

Тексты сначала готовят, а затем превращают в примеры для модели.

Обучение языковых моделей4

От текстов к корпусу

Например, Common Crawl хранит результаты обходов интернета, а FineWeb — уже извлечённые и отфильтрованные тексты. Архив страниц и подготовленный корпус — разные вещи.

Качество важнее одного только размера. Спам, повторы и ошибки тоже можно выучить. Если в корпусе мало текстов на каком-то языке, модель получает меньше примеров этого языка. Отдельная работа — проверка прав на материалы и обработка персональных данных; автоматические фильтры не решают эти вопросы полностью.

Обучение языковых моделей5

Обсудим

От текстов к корпусу

В строке «Снег идёт ночью» каждое слово принято за токен. Вход модели — «Снег идёт». Какую цель берём из этого текста?

  1. «Снег»: первое слово предложения
  2. «идёт»: последнее слово входа
  3. «утром»: другое правдоподобное продолжение
  4. «ночью»: следующий токен исходной строки
Обучение языковых моделей6

Один текст — много обучающих пар

В тексте правильные продолжения уже есть. Из «Кот спит на диване» получаем несколько задач: после «Кот» предсказать «спит», после «Кот спит» — «на», после «Кот спит на» — «диване». Человеку не нужно отдельно подписывать ответ для каждой пары. Как из текста получают цели для обучения

Обучение языковых моделей7

Один текст — много обучающих пар

Соберите пары из своей фразы

Соберите пары из своей фразы
Обучение языковых моделей8

Эксперимент

Соберите пары из своей фразы

Синие слова — вход. Зелёное слово — цель, которую берём из следующей позиции текста.
Обучение языковых моделей9

Один текст — много обучающих пар

Модель выдаёт вероятности следующего токена. Программа обучения смотрит, какую вероятность получил токен из текста: чем она ниже, тем больше ошибка, или функция потерь. Затем программа рассчитывает, как сдвинуть параметры, чтобы уменьшить ошибку, и обновляет веса.

Получается цикл: начало текста → прогноз → сравнение с целью → обновление параметров → новый прогноз. Общие параметры работают во всех примерах, поэтому одно обновление может изменить ответы сразу на разные запросы.

Обучение языковых моделей10

Пример

Один текст — много обучающих пар

«Кот спит на полу» тоже звучит правдоподобно. Но если исходная строка заканчивается «на диване», цель именно «диване».

Обучение языковых моделей11

Обсудим

Один текст — много обучающих пар

Вы попросили готовую модель переписать ответ и приложили образец. Стало ли это шагом обучения её параметров?

  1. Да: любое исправление ответа автоматически меняет веса
  2. Нет: образец изменил контекст; для обучения нужна отдельная процедура обновления весов
  3. Да, если новый ответ оказался лучше предыдущего
  4. Нет: параметры языковой модели вообще нельзя изменять
Обучение языковых моделей12

Четыре обновления — что изменилось?

Посмотрим на записанный опыт с ruGPT-3 Small из презентации. В нём у трёх фрагментов из русскоязычных текстов FineWeb2 скрыты последние токены. В начале опыта самые вероятные продолжения расходятся с текстом. После каждого обновления меняются веса, а вместе с ними — прогнозы и ошибка.

Обучение языковых моделей13

Четыре обновления — что изменилось?

Три текста → общие параметры → три прогноза

Три текста → общие параметры → три прогноза
Обучение языковых моделей14

Эксперимент

Три текста → общие параметры → три прогноза

Пройдите четыре записанных обновления. Выберите строку, чтобы увидеть, как менялась вероятность её целевого токена.
Обучение языковых моделей15

Четыре обновления — что изменилось?

Это дообучение готовой модели, а не создание её с нуля. Чтобы ошибки были хорошо видны, перед опытом мы специально ослабили часть выходных параметров. За четыре обновления средняя ошибка на этих трёх примерах упала с 7,70 до 0,49. Подробности подготовки можно раскрыть под графиком.

Обратите внимание на «␣км»: после четвёртого обновления вероятность этого токена — около 24,2 %. Он всё равно стал первым, потому что у каждого другого токена вероятность ниже. Чтобы прогноз совпал с текстом, не обязательно добиваться 100 %.

Обучение языковых моделей16

Четыре обновления — что изменилось?

В настоящем обучении примеров и шагов гораздо больше. Ошибка на отдельных порциях данных может колебаться. И совпадение с текстом ещё не делает продолжение истинным: в корпус попадают и неверные утверждения.

Обучение языковых моделей17

Научилась или запомнила?

Модель стала лучше на трёх знакомых примерах. Но сможет ли она продолжить новые тексты? Этот опыт ответа не даёт: мы проверяли те же строки, на которых меняли параметры.

Для честной проверки часть текстов заранее откладывают и не используют в обучении. После настройки модель проверяют на них. Нужно также убрать повторы между двумя наборами: знакомая строка в проверке создаст впечатление, будто модель справилась с незнакомой задачей.

Обучение языковых моделей18

Обсудим

Научилась или запомнила?

После дообучения три знакомых продолжения стали правильными. Как проверить перенос на новые примеры?

  1. Повторить эти же строки в другом порядке
  2. Поднять вероятность знакомых целей до 100 %
  3. Сравнить модель до и после дообучения на отложенных похожих текстах
  4. Выбрать самый убедительно написанный ответ из обучающих примеров
Обучение языковых моделей19

Научилась или запомнила?

Первоначальную настройку на большом корпусе называют предобучением. Затем модель можно дополнительно обучать, например, на инструкциях и ответах. А во время обычного разговора новые сообщения попадают в контекст: сами веса от этого автоматически не меняются.

Обучение языковых моделей20

От продолжения текста к диалогу

Предобучение учит модель продолжать тексты. Отдельное дообучение на инструкциях и ответах помогает ей выполнять просьбы пользователя.

Обучение языковых моделей21

Научилась или запомнила?

  • Следующий токен из текста становится целью: одна строка даёт много обучающих пар.
  • Программа сравнивает прогноз с целью и обновляет общие параметры, чтобы уменьшить ошибку.
  • Успех на знакомых строках проверяют на новых текстах, которые не участвовали в обучении.
  • Новый запрос меняет контекст; отдельное обучение меняет веса.
Обучение языковых моделей22

Обсудим

Домашняя работа

Для последовательности из шести токенов берут начала длиной 1, 2, 3 и далее, пока после них остаётся следующий целевой токен. Сколько пар получится?

Обучение языковых моделей23