Обучение языковых моделей
Готовая модель угадывает следующее слово. Откуда у неё взялись миллионы настроенных чисел и кто сказал ей правильный ответ?
Обучение языковых моделей
До сих пор мы пользовались готовой языковой моделью. Откуда берутся её параметры? Их подбирают на текстах: модель пробует продолжить начало, сравнивает прогноз с тем, что действительно написано, и учится на ошибке.
От текстов к корпусу
Для обучения нужна большая коллекция текстов — корпус. В него могут входить веб-страницы, книги, статьи и обсуждения. Но собрать материалы недостаточно: из них нужно извлечь текст, убрать повторы и отсеять мусор.
От текстов к корпусу
Тексты сначала готовят, а затем превращают в примеры для модели.
От текстов к корпусу
Например, Common Crawl хранит результаты обходов интернета, а FineWeb — уже извлечённые и отфильтрованные тексты. Архив страниц и подготовленный корпус — разные вещи.
Качество важнее одного только размера. Спам, повторы и ошибки тоже можно выучить. Если в корпусе мало текстов на каком-то языке, модель получает меньше примеров этого языка. Отдельная работа — проверка прав на материалы и обработка персональных данных; автоматические фильтры не решают эти вопросы полностью.
Обсудим
От текстов к корпусу
В строке «Снег идёт ночью» каждое слово принято за токен. Вход модели — «Снег идёт». Какую цель берём из этого текста?
- «Снег»: первое слово предложения
- «идёт»: последнее слово входа
- «утром»: другое правдоподобное продолжение
- «ночью»: следующий токен исходной строки
Один текст — много обучающих пар
В тексте правильные продолжения уже есть. Из «Кот спит на диване» получаем несколько задач: после «Кот» предсказать «спит», после «Кот спит» — «на», после «Кот спит на» — «диване». Человеку не нужно отдельно подписывать ответ для каждой пары. Как из текста получают цели для обучения
Один текст — много обучающих пар
Соберите пары из своей фразы
Эксперимент
Соберите пары из своей фразы
Один текст — много обучающих пар
Модель выдаёт вероятности следующего токена. Программа обучения смотрит, какую вероятность получил токен из текста: чем она ниже, тем больше ошибка, или функция потерь. Затем программа рассчитывает, как сдвинуть параметры, чтобы уменьшить ошибку, и обновляет веса.
Получается цикл: начало текста → прогноз → сравнение с целью → обновление параметров → новый прогноз. Общие параметры работают во всех примерах, поэтому одно обновление может изменить ответы сразу на разные запросы.
Пример
Один текст — много обучающих пар
«Кот спит на полу» тоже звучит правдоподобно. Но если исходная строка заканчивается «на диване», цель именно «диване».
Обсудим
Один текст — много обучающих пар
Вы попросили готовую модель переписать ответ и приложили образец. Стало ли это шагом обучения её параметров?
- Да: любое исправление ответа автоматически меняет веса
- Нет: образец изменил контекст; для обучения нужна отдельная процедура обновления весов
- Да, если новый ответ оказался лучше предыдущего
- Нет: параметры языковой модели вообще нельзя изменять
Четыре обновления — что изменилось?
Посмотрим на записанный опыт с ruGPT-3 Small из презентации. В нём у трёх фрагментов из русскоязычных текстов FineWeb2 скрыты последние токены. В начале опыта самые вероятные продолжения расходятся с текстом. После каждого обновления меняются веса, а вместе с ними — прогнозы и ошибка.
Четыре обновления — что изменилось?
Три текста → общие параметры → три прогноза
Эксперимент
Три текста → общие параметры → три прогноза
Четыре обновления — что изменилось?
Это дообучение готовой модели, а не создание её с нуля. Чтобы ошибки были хорошо видны, перед опытом мы специально ослабили часть выходных параметров. За четыре обновления средняя ошибка на этих трёх примерах упала с 7,70 до 0,49. Подробности подготовки можно раскрыть под графиком.
Обратите внимание на «␣км»: после четвёртого обновления вероятность этого токена — около 24,2 %. Он всё равно стал первым, потому что у каждого другого токена вероятность ниже. Чтобы прогноз совпал с текстом, не обязательно добиваться 100 %.
Четыре обновления — что изменилось?
В настоящем обучении примеров и шагов гораздо больше. Ошибка на отдельных порциях данных может колебаться. И совпадение с текстом ещё не делает продолжение истинным: в корпус попадают и неверные утверждения.
Научилась или запомнила?
Модель стала лучше на трёх знакомых примерах. Но сможет ли она продолжить новые тексты? Этот опыт ответа не даёт: мы проверяли те же строки, на которых меняли параметры.
Для честной проверки часть текстов заранее откладывают и не используют в обучении. После настройки модель проверяют на них. Нужно также убрать повторы между двумя наборами: знакомая строка в проверке создаст впечатление, будто модель справилась с незнакомой задачей.
Обсудим
Научилась или запомнила?
После дообучения три знакомых продолжения стали правильными. Как проверить перенос на новые примеры?
- Повторить эти же строки в другом порядке
- Поднять вероятность знакомых целей до 100 %
- Сравнить модель до и после дообучения на отложенных похожих текстах
- Выбрать самый убедительно написанный ответ из обучающих примеров
Научилась или запомнила?
Первоначальную настройку на большом корпусе называют предобучением. Затем модель можно дополнительно обучать, например, на инструкциях и ответах. А во время обычного разговора новые сообщения попадают в контекст: сами веса от этого автоматически не меняются.
От продолжения текста к диалогу
Предобучение учит модель продолжать тексты. Отдельное дообучение на инструкциях и ответах помогает ей выполнять просьбы пользователя.
Научилась или запомнила?
- Следующий токен из текста становится целью: одна строка даёт много обучающих пар.
- Программа сравнивает прогноз с целью и обновляет общие параметры, чтобы уменьшить ошибку.
- Успех на знакомых строках проверяют на новых текстах, которые не участвовали в обучении.
- Новый запрос меняет контекст; отдельное обучение меняет веса.
Обсудим
Домашняя работа
Для последовательности из шести токенов берут начала длиной 1, 2, 3 и далее, пока после них остаётся следующий целевой токен. Сколько пар получится?