Генерация текста: выбор токенов и температура

Вероятности следующих слов уже посчитаны. Почему один и тот же вопрос даёт то одинаковые, то разные ответы?

Генерация текста: выбор токенов и температура1

Генерация текста: выбор токенов и температура

Вероятности готовы. Осталось превратить их в текст. Для этого программа выбирает один токен, добавляет его к началу и снова вызывает модель. Способ выбора помогает управлять тем, насколько разнообразными будут продолжения.

Генерация текста: выбор токенов и температура2

От распределения к последовательности

После получения распределения программа выбирает следующий токен, добавляет его к тексту и повторяет вычисление. Каждый выбранный фрагмент становится частью входа следующего шага.

Генерация текста: выбор токенов и температура3

От распределения к последовательности

Предсказать → выбрать → добавить → повторить

Предсказать → выбрать → добавить → повторить
Генерация текста: выбор токенов и температура4

Эксперимент

Предсказать → выбрать → добавить → повторить

Добавленный фрагмент возвращается на вход модели. Для наглядности фрагменты показаны целыми словами.
Генерация текста: выбор токенов и температура5

От распределения к последовательности

При жадном выборе программа берёт токен с максимальной вероятностью. Это простое правило, но лучший локальный выбор не гарантирует лучший полный текст: после него контекст изменится, а вместе с ним изменятся дальнейшие варианты.

При сэмплировании токен выбирают случайно по распределению. Доля 70 % означает большую вероятность выбора, чем доля 20 %. Это не равномерная жеребьёвка. В десяти попытках вариант с 70 % не обязан выпасть ровно семь раз. Стратегии генерации

Генерация текста: выбор токенов и температура6

Пояснение

От распределения к последовательности

Температура управляет распределением выбора, но не достоверностью; каждый новый токен меняет контекст.

Генерация текста: выбор токенов и температура7

От распределения к последовательности

Разделим работу модели и программы выбора. Сеть вычисляет оценки следующих токенов. Затем программа применяет правило: взять самый вероятный вариант или провести случайный выбор с учётом долей. После этого выбранный токен присоединяется к тексту, и сеть снова получает обновлённый вход.

Поэтому два разных продолжения не обязательно означают две разные модели. Одни параметры и одно начало могут дать одинаковое распределение, а случайный выбор разойдётся. Уже после первого различия контексты станут разными, и следующие распределения тоже могут различаться.

Генерация текста: выбор токенов и температура8

Обсудим

От распределения к последовательности

У токенов вероятности 70 %, 20 %, 10 %. Как работает случайный выбор по этому распределению?

  1. Все три выбираются одинаково часто по правилу
  2. Всегда выбирается первый
  3. В десяти попытках первый обязан выпасть семь раз
  4. Первый выбирается вероятнее остальных, но не обязательно в каждой попытке
Генерация текста: выбор токенов и температура9

Температура и случайный выбор

В некоторых задачах мы бы хотели, чтобы на один и тот же запрос модель могла давать разные ответы. Например, преподаватель просит придумать вопрос для обсуждения на семинаре. При повторном запуске ему может пригодиться новая формулировка или другой ракурс. Если каждый раз выбирать только самый вероятный токен, мы будем получать одно и то же продолжение.

Генерация текста: выбор токенов и температура10

Температура и случайный выбор

Чтобы управлять разнообразием ответов, введём в правило выбора следующего токена специальный параметр — температуру. При нулевой температуре программа выбирает токен с наибольшей вероятностью. При положительной температуре появляется случайный выбор: более вероятные токены выпадают чаще, но шанс есть и у других. Чем выше температура, тем равномернее становятся шансы и тем чаще выбираются менее вероятные варианты. Сама модель при этом остаётся той же: мы меняем способ выбора продолжения.

Генерация текста: выбор токенов и температура11

Температура и случайный выбор

Разделим две стадии. Сначала сеть вычисляет оценки следующих токенов. Затем программа превращает эти оценки в шансы выбора с учётом температуры. При том же входе и тех же параметрах исходные оценки сети сохраняются.

В демо два столбца: вероятность модели и шанс выбора. Не меняйте начало текста и двигайте ползунок. Левый столбец остаётся прежним; правый показывает действие температуры. При T = 1 они совпадают. При T = 0 программа выбирает максимум — ждать вероятности 100 % не нужно.

Генерация текста: выбор токенов и температура12

Температура и случайный выбор

Температура на настоящей модели

Температура на настоящей модели
Генерация текста: выбор токенов и температура13

Температура и случайный выбор

Понизьте температуру: выбор сильнее сосредоточится на самых вероятных токенах. Поднимите её: у менее вероятных продолжений станет больше шансов. Нажмите «100 выборов без изменения текста», чтобы увидеть случайный разброс. Повторите серию с той же температурой: счётчики могут отличаться, хотя распределение осталось прежним.

Теперь добавьте токен к тексту — вручную или по шансам. Контекст изменился, поэтому модель вычислит новые исходные вероятности. Ползунок температуры меняет правило выбора, а добавление токена — условия следующего предсказания.

Генерация текста: выбор токенов и температура14

Температура и случайный выбор

Температура не добавляет знаний и не проверяет логику. Если модель высоко оценивает неверное продолжение, низкая температура лишь усилит его преимущество.

Генерация текста: выбор токенов и температура15

Обсудим

Температура и случайный выбор

Температуру уменьшили при тех же оценках токенов. Что обычно произойдёт с распределением?

  1. Верные факты автоматически получат 100 %
  2. Параметры модели переобучатся
  3. Оно сильнее сосредоточится на высоких оценках
  4. Все доли станут одинаковыми
Генерация текста: выбор токенов и температура16

Разнообразие и достоверность

В настоящей авторегрессионной генерации выбранный токен добавляют к контексту, получают новое распределение и продолжают. На каждом шаге кандидаты и их доли могут быть другими. Поэтому длинный текст не получается повторением одного неизменного распределения.

Для остановки часто используется специальный токен конца. Также программа может остановить ответ по лимиту длины или команде пользователя. Обычная точка не обязательно завершает генерацию: после неё может начаться следующее предложение.

Генерация текста: выбор токенов и температура17

Разнообразие и достоверность

Управлять разнообразием полезно, но оно не равно качеству. При оценке ответов отдельно смотрят на выполнение задания, связность и достоверность. Для сравнения двух настроек нужен набор одинаковых запросов и заранее понятный критерий; один удачный пример легко вводит в заблуждение.

Нулевая температура уменьшает случайность выбора следующего токена. Она не проверяет факты и не гарантирует, что разные вычислительные системы дадут совершенно одинаковый результат.

Генерация текста: выбор токенов и температура18

Обсудим

Разнообразие и достоверность

Модель написала точку в конце предложения. Обязана ли генерация остановиться?

  1. Нет, остановка вообще невозможна
  2. Нет, может появиться следующее предложение
  3. Да, любая точка означает конец ответа
  4. Да, если температура больше единицы
Генерация текста: выбор токенов и температура19

Выбор следующего токена

Вернитесь к живому опыту выше. Сохраните одно и то же начало и сравните два пути: сначала берите наиболее вероятное продолжение, затем выберите менее вероятный токен вручную. Уже после первого различия контексты расходятся — вместе с ними меняются и дальнейшие прогнозы.

Попробуйте свой короткий запрос. Если требуется придумать несколько идей для обсуждения, разнообразие может быть полезно. Если нужно указать дату или проверить вычисление, случайный выбор не заменяет проверку источника или расчёт.

Генерация текста: выбор токенов и температура20

Выбор следующего токена

Для содержательного сравнения настроек используйте одинаковые запросы и заранее выбранные критерии. Один удачный или неудачный ответ ещё мало говорит о качестве модели.

  • Температура управляет распределением выбора, но не достоверностью; каждый новый токен меняет контекст.
  • Доли задают шансы, а не расписание результатов.
  • Остановка определяется служебным сигналом и настройками программы.
Генерация текста: выбор токенов и температура21

Обсудим

Домашняя работа

Лимит ответа — 15 новых токенов. Уже добавлено 11. Сколько ещё разрешено добавить до лимита?

Генерация текста: выбор токенов и температура22

Источники