До сих пор мы пользовались готовой языковой моделью. Откуда берутся её параметры? Их подбирают на текстах: модель пробует продолжить начало, сравнивает прогноз с тем, что действительно написано, и учится на ошибке.
Для обучения нужна большая коллекция текстов — корпус. В него могут входить веб-страницы, книги, статьи и обсуждения. Но собрать материалы недостаточно: из них нужно извлечь текст, убрать повторы и отсеять мусор.
Тексты сначала готовят, а затем превращают в примеры для модели.
Например, Common Crawl хранит результаты обходов интернета, а FineWeb — уже извлечённые и отфильтрованные тексты. Архив страниц и подготовленный корпус — разные вещи.
Качество важнее одного только размера. Спам, повторы и ошибки тоже можно выучить. Если в корпусе мало текстов на каком-то языке, модель получает меньше примеров этого языка. Отдельная работа — проверка прав на материалы и обработка персональных данных; автоматические фильтры не решают эти вопросы полностью.
В тексте правильные продолжения уже есть. Из «Кот спит на диване» получаем несколько задач: после «Кот» предсказать «спит», после «Кот спит» — «на», после «Кот спит на» — «диване». Человеку не нужно отдельно подписывать ответ для каждой пары. Как из текста получают цели для обучения
Модель выдаёт вероятности следующего токена. Программа обучения смотрит, какую вероятность получил токен из текста: чем она ниже, тем больше ошибка, или функция потерь. Затем программа рассчитывает, как сдвинуть параметры, чтобы уменьшить ошибку, и обновляет веса.
Получается цикл: начало текста → прогноз → сравнение с целью → обновление параметров → новый прогноз. Общие параметры работают во всех примерах, поэтому одно обновление может изменить ответы сразу на разные запросы.
Посмотрим на записанный опыт с ruGPT-3 Small из презентации. В нём у трёх фрагментов из русскоязычных текстов FineWeb2 скрыты последние токены. В начале опыта самые вероятные продолжения расходятся с текстом. После каждого обновления меняются веса, а вместе с ними — прогнозы и ошибка.
Это дообучение готовой модели, а не создание её с нуля. Чтобы ошибки были хорошо видны, перед опытом мы специально ослабили часть выходных параметров. За четыре обновления средняя ошибка на этих трёх примерах упала с 7,70 до 0,49. Подробности подготовки можно раскрыть под графиком.
Обратите внимание на «␣км»: после четвёртого обновления вероятность этого токена — около 24,2 %. Он всё равно стал первым, потому что у каждого другого токена вероятность ниже. Чтобы прогноз совпал с текстом, не обязательно добиваться 100 %.
В настоящем обучении примеров и шагов гораздо больше. Ошибка на отдельных порциях данных может колебаться. И совпадение с текстом ещё не делает продолжение истинным: в корпус попадают и неверные утверждения.
Модель стала лучше на трёх знакомых примерах. Но сможет ли она продолжить новые тексты? Этот опыт ответа не даёт: мы проверяли те же строки, на которых меняли параметры.
Для честной проверки часть текстов заранее откладывают и не используют в обучении. После настройки модель проверяют на них. Нужно также убрать повторы между двумя наборами: знакомая строка в проверке создаст впечатление, будто модель справилась с незнакомой задачей.
Первоначальную настройку на большом корпусе называют предобучением. Затем модель можно дополнительно обучать, например, на инструкциях и ответах. А во время обычного разговора новые сообщения попадают в контекст: сами веса от этого автоматически не меняются.
Следующий токен из текста становится целью: одна строка даёт много обучающих пар.
Программа сравнивает прогноз с целью и обновляет общие параметры, чтобы уменьшить ошибку.
Успех на знакомых строках проверяют на новых текстах, которые не участвовали в обучении.
Новый запрос меняет контекст; отдельное обучение меняет веса.