Галлюцинации языковых моделей

Помощник назвал кабинет 204, хотя в документе номера нет. Звучит так же уверенно, как и верные детали. Как отличить одно от другого?

Галлюцинации языковых моделей1

Галлюцинации языковых моделей

В документе школьного кружка написано: «Встречаемся по средам в 16:00. Кабинет сообщат при записи». Помощник отвечает: «Приходите в среду в 16:00 в кабинет 204». Первые две детали совпадают с документом. Номер кабинета звучит столь же уверенно, но откуда он взялся?

Галлюцинации языковых моделей2

Правдоподобный ответ и отсутствующие сведения

Предположим, нужно решить, что надеть завтра в поездку. Если известны температура, осадки и план дня, о подходящей одежде можно рассуждать сколько угодно тщательно. Но сами сведения о завтрашней погоде рассуждением не добыть — их нужно взять из прогноза.

Галлюцинации языковых моделей3

Правдоподобный ответ и отсутствующие сведения

Вопрос
Какая завтра погода в Москве?
Нужно узнать
Актуальный прогноз из внешнего источника
Можно рассуждать
Какую одежду выбрать, если ожидается дождь

Убедительное рассуждение не подтверждает факт. Сначала нужны сведения о погоде.

Галлюцинации языковых моделей4

Правдоподобный ответ и отсутствующие сведения

Промежуточные шаги не создают отсутствующих наблюдений. Без источника модель способна выстроить убедительное объяснение вокруг выдуманной температуры. Такое утверждение и называют галлюцинацией: оно выглядит как факт, хотя основания у него нет. Обзор галлюцинаций в генерации текста

Поэтому работа начинается с вопроса, каких данных не хватает. Сначала получить прогноз, потом рассуждать об одежде. Поиск источника и рассуждение по нему решают разные задачи.

Галлюцинации языковых моделей5

Правдоподобный ответ и отсутствующие сведения

Галлюцинациями языковых моделей называют ошибочные или вымышленные сведения, поданные как фактический ответ. Это может быть несуществующая публикация, неверная дата или деталь, которую источник не подтверждает. Грамматически правильная фраза может содержать такую ошибку.

В объявлении из начала урока номер 204 не указан. По имеющимся данным нельзя утверждать ни что кабинет действительно 204, ни что он точно другой. Можно установить более узкий факт: помощник добавил неподтверждённую деталь.

Галлюцинации языковых моделей6

Правдоподобный ответ и отсутствующие сведения

Если модель пишет рассказ по просьбе придумать вымышленную школу, кабинет 204 уместен как часть вымысла. Проблема возникает, когда придуманный элемент предлагается как достоверная информация о реальной ситуации.

Галлюцинации языковых моделей7

Правдоподобный ответ и отсутствующие сведения

У языкового предсказания нет встроенного требования приложить доказательство к каждому следующему слову. В текстах рядом со временем встречи часто встречается место. Поэтому грамматически естественное продолжение может заполнить пробел там, где честный ответ должен сохранить неизвестность.

Такую ошибку легко не заметить, если проверять впечатление от ответа целиком. Две верные детали создают доверие к третьей. Полезнее остановиться на каждом числе, имени и условии по отдельности. Даже короткая фраза иногда содержит несколько утверждений с разными основаниями.

Галлюцинации языковых моделей8

Обсудим

Правдоподобный ответ и отсутствующие сведения

Документ указывает день встречи, но не кабинет. Ответ добавляет кабинет 204. Что можно установить по документу?

  1. Кабинет точно 204
  2. Кабинет точно не 204
  3. Весь ответ обязательно выдуман
  4. Номер кабинета не подтверждён
Галлюцинации языковых моделей9

Проверка отдельных утверждений

Разделите ответ на проверяемые утверждения. В нашем примере их три: день, время и кабинет. До открытия разбора найдите фразу документа, подтверждающую каждое из них. Для третьего утверждения такой фразы нет.

Убедительное оформление не помогает: ссылка может вести на существующую страницу, которая не содержит заявленного факта. Поэтому проверяют не только наличие ссылки, но и содержание источника. Если важна актуальность, нужно также сверить дату и предмет сообщения.

Галлюцинации языковых моделей10

Проверка отдельных утверждений

В опыте все документы и ответы учебные. Здесь можно установить поддержку каждой детали без внешнего поиска. В реальной задаче может понадобиться независимый источник или уточнение у организатора.

Галлюцинации языковых моделей11

Проверка отдельных утверждений

Проверьте каждую деталь

Проверьте каждую деталь
Галлюцинации языковых моделей12

Эксперимент

Проверьте каждую деталь

Выберите утверждение и решите, что именно говорит источник. Затем разберите второе объявление.
Галлюцинации языковых моделей13

Проверка отдельных утверждений

Ссылка может быть неправильной тремя способами. Страница вообще не существует; страница существует, но не содержит нужного утверждения; утверждение там есть, однако относится к другому событию или устаревшей версии правил. Во всех случаях один значок ссылки рядом с ответом ничего не решает.

Другая ловушка — усиление формулировки. Источник говорит «заявку планируют рассмотреть», а ответ сообщает «заявка одобрена». Совпадают участники и тема, но смысл изменился. При сопоставлении важны не только названия и числа, но и оговорки: «возможно», «не позднее», «при условии».

Галлюцинации языковых моделей14

Обсудим

Проверка отдельных утверждений

Ответ содержит ссылку на настоящий сайт. Что нужно сделать для проверки конкретной даты в ответе?

  1. Считать любую ссылку доказательством
  2. Увеличить температуру генерации
  3. Открыть источник и найти подтверждение этой даты
  4. Проверить только красивый адрес
Галлюцинации языковых моделей15

Поиск источника и проверка рассуждения

Добавить сведения к вопросу можно с помощью поиска. Сначала система находит подходящий документ, затем добавляет его к вопросу, после чего модель формулирует ответ. Сокращение RAG означает генерацию, дополненную поиском. Для нашего опыта возьмём небольшое учебное объявление, чтобы проверить каждую деталь без внешних знаний.

Галлюцинации языковых моделей16

Поиск источника и проверка рассуждения

От источника к ответу

От источника к ответу
Галлюцинации языковых моделей17

Эксперимент

От источника к ответу

Передайте объявление в контекст и сопоставьте ответ с его содержанием.
Галлюцинации языковых моделей18

Поиск источника и проверка рассуждения

Пройдите путь от вопроса до ответа с источником. Обратите внимание: в схеме нет обновления весов. Найденное объявление становится частью контекста. Модель получает недостающие сведения в текущем обращении, а не переучивается ради одной экскурсии.

Хороший ответ сохраняет две подтверждённые детали: субботу и 12:00. Место встречи он оставляет неизвестным, поскольку организатор обещал сообщить его позже. Это полноценный полезный ответ в пределах доступных сведений. Придуманное место сделало бы его внешне удобнее и одновременно менее надёжным.

Галлюцинации языковых моделей19

Поиск источника и проверка рассуждения

Но добавленный документ не гарантирует успеха. Поиск может принести прошлогоднее объявление, модель — пропустить оговорку, а ссылка — указывать на всю страницу без нужного фрагмента. Проверять нужно весь путь от документа к конкретному утверждению.

Если сведений не хватает, следующий шаг зависит от задачи: найти актуальное объявление, уточнить у организатора или явно сообщить границу ответа. Повторная просьба «подумай лучше» сама по себе не добавляет оснований. Длинное рассуждение и уверенный тон тоже не создают недостающий документ.

Галлюцинации языковых моделей20

Поиск источника и проверка рассуждения

Разделение текста на утверждения помогает и при редактировании собственного материала. Можно сохранить подтверждённую часть, убрать неподтверждённую и написать, где получить недостающие данные. Исправление тогда опирается на источник, а не на новое правдоподобное предположение.

Галлюцинации языковых моделей21

Поиск источника и проверка рассуждения

Многие задачи требуют нескольких связанных действий: выделить условия, выполнить вычисления, сопоставить варианты, проверить вывод. Для этого у современных моделей есть режим reasoning — промежуточное рассуждение перед окончательным ответом. Модель генерирует дополнительные токены, пробует варианты решения и исправляет собственные ошибки. Параметры при этом не меняются: дополнительная работа выполняется уже обученной моделью и оплачивается временем и токенами.

Галлюцинации языковых моделей22

Поиск источника и проверка рассуждения

Но даже самое длинное рассуждение не даёт сведений, которых нет ни в параметрах, ни во входе. Поэтому дальше мы будем различать две трудности: сложно решить и неоткуда узнать. Сравнить десятичные дроби — первая. Узнать завтрашнюю погоду — вторая.

Возьмём вопрос: «Что больше — 9,11 или 9,8?» Ошибиться легко: одиннадцать больше восьми, и ответ «9,11» выглядит правдоподобно. Полезный промежуточный шаг — записать второе число как 9,80. Целые части равны, а 80 сотых больше 11 сотых, значит, 9,8 больше. Промежуточная запись делает видимым то самое место, где десятичную дробь путают с парой целых чисел.

Галлюцинации языковых моделей23

Поиск источника и проверка рассуждения

9,11 или 9,8?

9,11 или 9,8?
Галлюцинации языковых моделей24

Эксперимент

9,11 или 9,8?

Сопоставьте разряды и проверьте результат на числовой прямой.
Галлюцинации языковых моделей25

Поиск источника и проверка рассуждения

Рассуждающая модель может построить промежуточное решение и затем дать краткий ответ. Цепочку промежуточных шагов, записанную текстом, называют Chain of Thought, CoT. В учебной схеме показан возможный разбор задачи. Это пример проверяемого решения, а не запись реального диалога.

Обе части создаются одним и тем же способом — последовательной генерацией токенов. Поэтому рассуждение нельзя считать протоколом внутренних вычислений модели: это тоже текст, он может содержать ошибки и нуждается в проверке так же, как ответ. Многие приложения к тому же показывают его не целиком, а только статус или краткое резюме. Механизм генерации текста

Галлюцинации языковых моделей26

Поиск источника и проверка рассуждения

Для проверки просите краткое обоснование, проверяемые промежуточные величины и способ контроля, а не пытайтесь восстановить внутренний процесс модели. В примере достаточно записи 9,8 = 9,80 и сравнения сотых. Такой результат можно проверить независимо от того, как он был получен.

Галлюцинации языковых моделей27

Ответ при недостатке сведений

Вернёмся к исходному объявлению кружка. Подходящий ответ по этому документу: «Встреча в среду в 16:00; кабинет уточните при записи». Он сохраняет известное и явно отмечает недостающее. Отказ выдумывать номер не мешает сообщить полезную часть.

Просьба «не ошибайся» не превращает генерацию в проверку фактов. Модель может повторить ошибку после уточнения или предложить другой неподтверждённый вариант. Само исправление формулировки ещё не свидетельствует о новом основании.

Галлюцинации языковых моделей28

Ответ при недостатке сведений

Передача источника в контекст помогает, но модель всё равно может неверно его прочитать или добавить сведения от себя. Поэтому итоговую оценку строят по конкретным утверждениям. Вопрос «красиво ли звучит?» подходит для стиля; вопрос «чем подтверждено?» нужен для достоверности.

Галлюцинации языковых моделей29

Обсудим

Ответ при недостатке сведений

Пользователь попросил придумать рассказ о вымышленном кружке. Модель придумала кабинет. Нужно ли считать это фактической галлюцинацией?

  1. Нет: поэтому её фактические ответы всегда верны
  2. Нет: вымысел соответствует поставленной задаче
  3. Да: любая новая деталь запрещена
  4. Да: модель обязана использовать только реальные кабинеты
Галлюцинации языковых моделей30

Ответ при недостатке сведений

  • Достоверность проверяют по отдельным утверждениям и источникам; уверенный стиль не заменяет подтверждения.
  • Отсутствие подтверждения не доказывает противоположный факт.
  • Ожидаемый вымысел отличается от неподтверждённого фактического ответа.
Галлюцинации языковых моделей31

Обсудим

Домашняя работа

В объявлении: «Олимпиаду планируют провести 18 мая; окончательную дату подтвердят позже». Помощник написал: «Олимпиада точно состоится 18 мая». Как нужно исправить ответ, опираясь только на объявление?

  1. Оставить слово «точно»: дата уже названа
  2. Заменить дату на 19 мая
  3. Указать 18 мая как планируемую дату, которая ещё требует подтверждения
  4. Написать, что олимпиаду отменили
Галлюцинации языковых моделей32