Обучение языковых моделей

Уровень курса

← К урокам·Сюжет·45 мин

Готовая модель угадывает следующее слово. Откуда у неё взялись миллионы настроенных чисел и кто сказал ей правильный ответ?

До сих пор мы пользовались готовой языковой моделью. Откуда берутся её параметры? Их подбирают на текстах: модель пробует продолжить начало, сравнивает прогноз с тем, что действительно написано, и учится на ошибке.

Для обучения нужна большая коллекция текстов — корпус. В него могут входить веб-страницы, книги, статьи и обсуждения. Но собрать материалы недостаточно: из них нужно извлечь текст, убрать повторы и отсеять мусор.

МатериалыСайты, книги, статьи
ПодготовкаИзвлечь текст. Убрать повторы.
КорпусТексты для обучения

Тексты сначала готовят, а затем превращают в примеры для модели.

Например, Common Crawl хранит результаты обходов интернета, а FineWeb — уже извлечённые и отфильтрованные тексты. Архив страниц и подготовленный корпус — разные вещи.

Качество важнее одного только размера. Спам, повторы и ошибки тоже можно выучить. Если в корпусе мало текстов на каком-то языке, модель получает меньше примеров этого языка. Отдельная работа — проверка прав на материалы и обработка персональных данных; автоматические фильтры не решают эти вопросы полностью.

В строке «Снег идёт ночью» каждое слово принято за токен. Вход модели — «Снег идёт». Какую цель берём из этого текста?

В тексте правильные продолжения уже есть. Из «Кот спит на диване» получаем несколько задач: после «Кот» предсказать «спит», после «Кот спит» — «на», после «Кот спит на» — «диване». Человеку не нужно отдельно подписывать ответ для каждой пары. Как из текста получают цели для обучения

Соберите пары из своей фразы

Синие слова — вход. Зелёное слово — цель, которую берём из следующей позиции текста.

Модель выдаёт вероятности следующего токена. Программа обучения смотрит, какую вероятность получил токен из текста: чем она ниже, тем больше ошибка, или функция потерь. Затем программа рассчитывает, как сдвинуть параметры, чтобы уменьшить ошибку, и обновляет веса.

Получается цикл: начало текста → прогноз → сравнение с целью → обновление параметров → новый прогноз. Общие параметры работают во всех примерах, поэтому одно обновление может изменить ответы сразу на разные запросы.

Вы попросили готовую модель переписать ответ и приложили образец. Стало ли это шагом обучения её параметров?

Посмотрим на записанный опыт с ruGPT-3 Small из презентации. В нём у трёх фрагментов из русскоязычных текстов FineWeb2 скрыты последние токены. В начале опыта самые вероятные продолжения расходятся с текстом. После каждого обновления меняются веса, а вместе с ними — прогнозы и ошибка.

Три текста → общие параметры → три прогноза

Пройдите четыре записанных обновления. Выберите строку, чтобы увидеть, как менялась вероятность её целевого токена.

Это дообучение готовой модели, а не создание её с нуля. Чтобы ошибки были хорошо видны, перед опытом мы специально ослабили часть выходных параметров. За четыре обновления средняя ошибка на этих трёх примерах упала с 7,70 до 0,49. Подробности подготовки можно раскрыть под графиком.

Обратите внимание на «␣км»: после четвёртого обновления вероятность этого токена — около 24,2 %. Он всё равно стал первым, потому что у каждого другого токена вероятность ниже. Чтобы прогноз совпал с текстом, не обязательно добиваться 100 %.

В настоящем обучении примеров и шагов гораздо больше. Ошибка на отдельных порциях данных может колебаться. И совпадение с текстом ещё не делает продолжение истинным: в корпус попадают и неверные утверждения.

Модель стала лучше на трёх знакомых примерах. Но сможет ли она продолжить новые тексты? Этот опыт ответа не даёт: мы проверяли те же строки, на которых меняли параметры.

Для честной проверки часть текстов заранее откладывают и не используют в обучении. После настройки модель проверяют на них. Нужно также убрать повторы между двумя наборами: знакомая строка в проверке создаст впечатление, будто модель справилась с незнакомой задачей.

После дообучения три знакомых продолжения стали правильными. Как проверить перенос на новые примеры?

Первоначальную настройку на большом корпусе называют предобучением. Затем модель можно дополнительно обучать, например, на инструкциях и ответах. А во время обычного разговора новые сообщения попадают в контекст: сами веса от этого автоматически не меняются.

Следующий токен из текста становится целью: одна строка даёт много обучающих пар.

Программа сравнивает прогноз с целью и обновляет общие параметры, чтобы уменьшить ошибку.

Успех на знакомых строках проверяют на новых текстах, которые не участвовали в обучении.

Новый запрос меняет контекст; отдельное обучение меняет веса.

Домашняя работа

  1. Для последовательности из шести токенов берут начала длиной 1, 2, 3 и далее, пока после них остаётся следующий целевой токен. Сколько пар получится?

Повторить эту тему