Карта задач ИИ

Что послушать дальше? Соберём личную рекомендацию, заглянем в её устройство и проверим прогноз.

Карта задач ИИ1

Карта задач ИИ

В плейлисте могут соседствовать Кино, Земфира, Noize MC, Linkin Park и Gorillaz. Но что включить дальше? Любимый жанр не решает вопрос: две рок-группы могут нравиться вам совершенно по-разному. Друг, который знает ваши вкусы, предложит что-то конкретное. Попробуем дать такую же задачу программе.

Найдите в каталоге хотя бы трёх знакомых исполнителей. Поставьте каждому оценку от 1 до 5: единица — совсем не нравится, пятёрка — очень нравится. Незнакомых оставьте без оценки. Посмотрите, кого программа предложит, затем измените одну оценку. Как изменится список?

Карта задач ИИ2

Карта задач ИИ

Что послушать дальше?

Что послушать дальше?
Карта задач ИИ3

Эксперимент

Что послушать дальше?

Ваши оценки меняют рекомендации. Модель обучена на реальных записях Last.fm о том, каких исполнителей слушали одни и те же люди. Здесь подбираются исполнители, а не отдельные песни.
Карта задач ИИ4

Карта задач ИИ

Похож ли результат на совет друга? Пока это впечатление. Чтобы понять, чему доверять, разберём, откуда берётся список и как устроить проверку.

Карта задач ИИ5

Что программа знает о вашем вкусе

Вход нашей модели — ваши оценки знакомых исполнителей и сведения об их общей аудитории. Ответ — предположение о том, какую оценку вы поставите другому исполнителю. Отсортировав такие прогнозы, получим рекомендации.

Карта задач ИИ6

Что программа знает о вашем вкусе

В основе опыта — открытый исследовательский набор Last.fm, выпущенный в мае 2011 года: 1 892 слушателя, 17 632 исполнителя и 92 834 записи о прослушиваниях. Для опыта выбраны 200 самых представленных исполнителей и ещё 19 русскоязычных из того же набора — например, Кино, Земфира и Сплин. Это старый срез: многих современных артистов в нём нет. У добавленных исполнителей здесь всего от 4 до 21 слушателя, поэтому данных для рекомендаций мало.

В исходной записи указано, сколько раз человек слушал исполнителя. Звёздных оценок там нет — оценки в нашем опыте ставите вы.

Карта задач ИИ7

История

Что программа знает о вашем вкусе

Набор подготовили исследователи Universidad Autónoma de Madrid для семинара HetRec 2011. В нём сохранены числовые идентификаторы слушателей, без их имён. Мы используем совместные прослушивания, а не сведения о дружбе.

Карта задач ИИ8

Что программа знает о вашем вкусе

Представьте большую таблицу: строки — слушатели, столбцы — исполнители, отметки — известные прослушивания. Программа ищет повторяющиеся сочетания и сжимает эту таблицу: каждому исполнителю достаётся всего 12 чисел. По вашим оценкам она подбирает ещё 12 чисел — ваш личный профиль. Сопоставляя его с профилями исполнителей, можно получить новые прогнозы. Такой способ сжатия называют матричной факторизацией; вычисления разберём в Профи.

Карта задач ИИ9

Что программа знает о вашем вкусе

Откуда взялся этот совет?

Откуда взялся этот совет?
Карта задач ИИ10

Эксперимент

Откуда взялся этот совет?

В цветных ячейках — настоящие числа обученной модели, в таблице — вклад ваших оценок в прогноз. Поменяйте оценку в начале главы: ваш профиль и рекомендация пересчитаются. Скрытые координаты не подписаны жанрами: таких названий данные нам не дают.
Карта задач ИИ11

Что программа знает о вашем вкусе

Это простой вариант рекомендательной системы. Она использует закономерности в чужих прослушиваниях и ваши примеры. Здесь нет понимания музыки: программа не слышит мелодию, не читает тексты и не знает, что вы хотите включить именно сегодня.

Карта задач ИИ12

Обсудим

Что программа знает о вашем вкусе

Музыкальное приложение использует набор Last.fm с количествами прослушиваний. Перед прогнозом оно просит вас оценить знакомых исполнителей от 1 до 5. Откуда берутся эти оценки?

  1. Их ставит читатель; исходный набор содержит количества прослушиваний
  2. Это средние оценки всех слушателей Last.fm
  3. Программа услышала песни и оценила их качество
  4. Авторы учебника заранее назначили всем исполнителям правильные оценки
Карта задач ИИ13

Предсказать оценку

Можно спросить: «Какую оценку я поставлю этому исполнителю?» Программа отвечает числом, например 3,9 из 5. Предсказание числовой величины называют регрессией. Тем же способом ставят задачи о времени доставки, температуре или цене подержанного велосипеда.

Для проверки нужна ваша настоящая оценка. Если вы поставили 4, прогноз 3,9 ошибся на 0,1, а прогноз 2 — на 2. Чем меньше такой промах, тем точнее числовой ответ. Но одна угаданная оценка ещё не делает модель надёжной: нужно проверить несколько примеров.

Карта задач ИИ14

Предсказать оценку

В нашей модели 3 — отправная точка. Программа настраивает личный профиль так, чтобы приблизиться к вашим оценкам, но не делать слишком резких выводов из нескольких примеров. Затем использует тот же профиль для незнакомых исполнителей. Если расчёт выходит за пределы 1–5, ограничиваем его этой шкалой. Это предполагаемая оценка, а не измеренная вероятность вашей реакции.

Карта задач ИИ15

Выбрать ответ из двух вариантов

Теперь спросим иначе: «Поставлю ли я не ниже четырёх?» Возможны два ответа: «да» или «нет». Выбор из заранее известных категорий называют классификацией. Для нашего опыта договоримся: прогноз от 4 означает «да», ниже 4 — «нет».

Пусть ваша настоящая оценка — 4. Прогноз А равен 3,9, прогноз Б — 4,7. А ближе по числу, но только Б правильно отвечает на вопрос «не ниже четырёх?». Мы не поменяли ваш вкус — поменяли требуемый ответ и способ проверки.

Карта задач ИИ16

Обсудим

Выбрать ответ из двух вариантов

Вы оценили исполнителя на 4. Модель А предсказала 3,9, модель Б — 4,7. Проверяют и близость к оценке, и ответ «оценка не ниже 4». Как верно сравнить прогнозы?

  1. А ближе по числу; Б верно отвечает «оценка не ниже 4»
  2. А лучше при любой проверке
  3. Б ближе по числу; А верно отвечает «оценка не ниже 4»
  4. Оба прогноза означают «оценка не ниже 4»
Карта задач ИИ17

Выбрать ответ из двух вариантов

Рекомендация задаёт ещё один вопрос: «Кого показать первым?» Расположение кандидатов по предполагаемому интересу называется ранжированием. Программа может правильно упорядочить исполнителей, хотя и неточно предскажет каждую оценку. Поэтому качество списка и точность чисел не одно и то же.

Карта задач ИИ18

Проверить без подсказки

Вы уже оценили нескольких исполнителей, значит правильные ответы у нас есть. Спрячем одну оценку, построим прогноз только по оставшимся и лишь затем раскроем спрятанное число. Иначе программа получила бы ответ вместе с условием.

Карта задач ИИ19

Проверить без подсказки

Угадаёт ли модель скрытую оценку?

Угадаёт ли модель скрытую оценку?
Карта задач ИИ20

Эксперимент

Угадаёт ли модель скрытую оценку?

Для проверки нужны хотя бы три ваши оценки. Проверяемая оценка исключается из расчёта прогноза. Для каждой проверки личный профиль обучается заново без спрятанного ответа. Профили исполнителей остаются известными: они получены из исторического набора, независимо от ваших оценок.
Карта задач ИИ21

Проверить без подсказки

Примеры, по которым модель настраивается, называют обучающей выборкой, или train. Отложенные для проверки — тестовой выборкой, или test. В нашем маленьком опыте оставшиеся оценки задают личный прогноз, а спрятанная служит тестом. Числа, описывающие исполнителей, мы при этом не переучиваем: они получены до ваших оценок.

Повторим опыт, по очереди пряча каждую оценку. Сложим величины промахов и разделим на число проверок — получим среднюю ошибку. Рядом посчитаем ошибку простого соперника: он всегда предсказывает 3. Сложная модель должна доказывать свою пользу сравнением, а не названием.

Карта задач ИИ22

Обсудим

Проверить без подсказки

Программа по вашим оценкам знакомых исполнителей прогнозирует оценку другого. Вы уже оценили Gorillaz и хотите проверить прогноз для этой группы. Что нужно сделать до получения прогноза?

  1. Убрать эту оценку из входа, получить прогноз и затем сравнить с ней
  2. Оставить оценку во входе и проверить, повторила ли её программа
  3. Заменить настоящую оценку прогнозом, чтобы убрать ошибку
  4. Проверять только исполнителей, на которых модель уже ответила верно
Карта задач ИИ23

Источники

Проверить без подсказки

Курс Google о рекомендательных системах различает явную обратную связь, например оценку, и косвенную — например просмотр или прослушивание.

Карта задач ИИ24

Проверить без подсказки

Три личные оценки — маленькая проверка, а не доказательство качества для всех слушателей. Если после каждого результата менять правило, вы начнёте подгонять его под тест. Для окончательного сравнения понадобится ещё один набор ответов, который не участвовал в выборе правила.

Карта задач ИИ25

Какие ещё ответы бывают

Подбор исполнителя использует готовый каталог. А просьба «сочини песню для нашего класса» требует создать новый материал. Это генерация. У неё может быть много подходящих ответов; проверять нужно выполнение просьбы, факты и качество результата, а не совпадение с одной заранее записанной песней.

Другой пример — афиша школьного концерта. Чтобы вырезать человека из фотографии, недостаточно ответа «на снимке человек». Нужна маска: для каждого пикселя, маленькой клетки изображения, метка «человек» или «фон». Такую разметку изображения называют сегментацией. Если рука ошибочно отмечена как фон, редактор удалит её вместе с ним.

Карта задач ИИ26

Обсудим

Какие ещё ответы бывают

Для афиши нужно вырезать человека из фотографии, сохранив все части его силуэта. Какой ответ должна выдать модель, чтобы редактор мог отделить человека от фона?

  1. Метка «человек» или «фон» для каждого пикселя
  2. Только одна метка «есть человек» для всего снимка
  3. Только число людей на снимке
  4. Название места съёмки
Карта задач ИИ27

Какие ещё ответы бывают

Так карта задач расширяется: число, категория, упорядоченный список, разметка изображения, новый текст или звук. Название приложения не определяет задачу. В одном музыкальном сервисе могут работать сразу несколько моделей с разными ответами.

Карта задач ИИ28

От маленького опыта к сервису

В учебном каталоге можно пересчитать все варианты после каждого клика. В огромном сначала стоит быстро отобрать кандидатов, затем точнее оценить короткий список. Короткие числовые профили исполнителей уже вычислены заранее: для нового прогноза не нужно снова читать всю историю прослушиваний. Подробно к скорости вернёмся после знакомства с алгоритмами поиска.

Карта задач ИИ29

От маленького опыта к сервису

Для рабочего сервиса придётся уточнить цель. Хотим, чтобы человек нажал на исполнителя, дослушал трек или нашёл новую любимую музыку? Это разные признаки успеха. Много прослушиваний может означать привычку; высокий интерес к обложке ещё не доказывает, что музыка понравилась.

Карта задач ИИ30

Обсудим

От маленького опыта к сервису

Мы заменили вопрос «какую оценку поставит слушатель?» на «будет ли оценка не ниже 4?». Что изменилось?

  1. Нужны два варианта ответа и проверка совпадения категории
  2. Теперь прошлые оценки нельзя использовать
  3. Теперь программа должна сочинить новую песню
  4. Ошибок больше не будет, ведь ответов только два
Карта задач ИИ31

Профи

Формула прогноза и цена вычислений

Начнём с исторической таблицы P: P_{ui}=1, если слушатель u встречается у исполнителя i, иначе 0. Здесь 1 830 строк и 219 столбцов. Ноль — отсутствие записи, не оценка «не нравится».

Карта задач ИИ32

Профи

Формула прогноза и цена вычислений

Подберём для слушателей векторы a_u, для исполнителей — q_i, по 12 координат в каждом. Их скалярное произведение должно приближать таблицу:

P\approx AQ^\top,\qquad \min_{A,Q}\sum_{u,i}c_{ui}(P_{ui}-a_u^\top q_i)^2+0{,}1(\lVert A\rVert_F^2+\lVert Q\rVert_F^2).
Вес c_{ui}=20 для известного прослушивания и 1 для пустого места. Так пустые места служат слабым нулевым ориентиром, а не известными отрицательными отзывами. Для обучения заранее сделано 20 проходов ALS: фиксируем одну матрицу, подбираем другую и меняемся ролями. Уменьшение этой обучающей ошибки ещё не доказывает качество рекомендаций.

Карта задач ИИ33

Профи

Формула прогноза и цена вычислений

Для браузера все векторы исполнителей поделены на общий коэффициент: средний квадрат их длины стал равен 1. Обратное масштабирование векторов слушателей сохраняет произведение матриц. Координаты не имеют заданных названий вроде «рок» или «поп».

Карта задач ИИ34

Профи

Формула прогноза и цена вычислений

Теперь учим новый личный профиль p по вашим оценкам r_j исполнителей из множества R. Это отдельная задача: в исходном Last.fm звёздных оценок нет.

p=\arg\min_p\sum_{j\in R}(r_j-3-p^\top q_j)^2+0{,}5\lVert p\rVert^2,\qquad \hat r_i=\min(5,\max(1,3+p^\top q_i)).
Браузер решает небольшую систему линейных уравнений при каждом изменении оценки. Штраф на длину профиля удерживает прогнозы ближе к тройке, когда примеров мало. В таблице объяснения показано точное разложение прогноза на вклады оценок до ограничения шкалой; это не причинное объяснение музыкального вкуса.

Карта задач ИИ35

Профи

Формула прогноза и цена вычислений

Для проверки оценки r_i сначала исключаем её из R и заново находим p. Иначе личный профиль уже знал бы проверяемый ответ. Ошибка по тем же оценкам, на которых он учился, не заменяет эту проверку.

При N исполнителях и d=12 координатах хранение профилей и полный пересчёт их числовых прогнозов требуют порядка Nd чисел и операций. Обучение личного профиля по m оценкам требует порядка md^2+d^3 операций. Для большого каталога можно ускорить поиск кандидатов, но точность такого отбора надо проверять отдельно.

Карта задач ИИ36

Профи

Формула прогноза и цена вычислений

Условимся обозначать настоящий ответ через y, прогноз — \hat y. Для регрессии считаем |\hat y-y|, для обычной классификации — совпадение категории. Эти две проверки не взаимозаменяемы.

Карта задач ИИ37

Профи

Формула прогноза и цена вычислений

В генерации текста ответ собирается последовательно. Вероятность последовательности раскладывается по правилу цепочки:

P(w_1,\ldots,w_n)=\prod_{t=1}^{n}P(w_t\mid w_1,\ldots,w_{t-1}).
Это точное равенство без предположения о независимости слов. Токен — слово, часть слова или знак. В следующем упражнении токены совпадают со словами, а вероятности заданы вручную: это имитация последовательного выбора, не обученная языковая модель.

Карта задач ИИ38

Профи · Обсудим

Формула прогноза и цена вычислений

В словаре двадцать токенов. Сколько разных последовательностей ровно из трёх токенов можно составить? Повторы разрешены; порядок важен.

Карта задач ИИ39

Профи · Python

Генерация — классификация в цикле

Сделайте три шага генерации, выбирая на каждом самый вероятный токен, и получите фразу «буду через десять минут»

Карта задач ИИ40

Профи · Python · продолжение 2/3

Генерация — классификация в цикле

    dist = vocab_probs.get(text)       # распределение по показанным кандидатам — для текущего текста
    if dist is None:                   # мини-модель знает продолжение не для всякой фразы
        print(f"для «{text}» продолжения нет: значит, на прошлом шаге выбран не тот токен")
        break
    token = min(dist, key=dist.get)    # TODO: сейчас берём самый маловероятный вариант, нужен самый вероятный
    text = f"{text} {token}"           # выбранный токен приписали — и тот же вопрос задаём заново
    steps += 1
    print(f"шаг {steps}: выбрали «{token}» с p = {dist[token]:.2f} → «{text}»")
Карта задач ИИ41

Профи · Python · продолжение 3/3

Генерация — классификация в цикле

print(f"итог: «{text}», выборов сделано: {steps}")
print(f"шагов сделано: {steps}")
Карта задач ИИ42

Эпик

Точнее оценки — лучше рекомендации?

У трёх исполнителей настоящие оценки слушателя равны 5, 4 и 1. Модель А предсказывает 4, 5 и 1; модель Б — 3, 2 и 1. Какая модель лучше по средней абсолютной ошибке? Какая верно выбирает любимого исполнителя? Докажите на этом примере, что улучшение числовой ошибки не гарантирует улучшения первой рекомендации.

Карта задач ИИ43

Эпик · Решение

Точнее оценки — лучше рекомендации?

У А средняя ошибка равна (1+1+0)/3=2/3, у Б — (2+2+0)/3=4/3: по числам А точнее. Но А ставит второго исполнителя выше первого, а Б правильно выбирает первого. Числовая ошибка учитывает расстояния до оценок, первая рекомендация — победителя по порядку. Оба показателя полезны, но отвечают на разные вопросы.
Карта задач ИИ44

Следующий сюжет

Разложим данные по строкам и столбцам. На примере сообщений разберём, какие сведения получает модель и чего из таблицы узнать нельзя.

Карта задач ИИ45

От маленького опыта к сервису

  • Рекомендации используют известные предпочтения; чужие прослушивания и ваши оценки — разные сведения.
  • Регрессия предсказывает число, классификация выбирает категорию, ранжирование упорядочивает кандидатов.
  • Тестовый ответ скрывают до прогноза; качество сравнивают с простым правилом.
  • Маска отмечает части изображения, генерация создаёт новый материал; каждому ответу нужна своя проверка.
Карта задач ИИ46

Домашняя работа

В учебном примере слушатель поставил трём исполнителям оценки 5, 4 и 1. Модель, каждый раз не видя проверяемой оценки, предсказала соответственно 4, 3 и 2. Посчитайте три абсолютные ошибки и их среднее. Сравните с правилом «всегда отвечать 3». Какая модель точнее на этих трёх примерах?

Слушатель оценил трёх исполнителей на 5, 4 и 1; прогнозы модели — соответственно 4, 3 и 2. Теперь нужен ответ «оценка не ниже 4?». Запишите настоящие категории и категории по прогнозам 4, 3 и 2. Сколько ошибок получилось? Объясните, почему число неверных категорий нельзя называть средней ошибкой в звёздах.

Карта задач ИИ47

Источники

  • Matrix factorization, Google — представление слушателей и объектов короткими векторами, взвешенная функция ошибки и ALS.
  • HetRec 2011, GroupLens — Last.fm и набор Universidad Autónoma de Madrid: Cantador, Brusilovsky, Kuflik, HetRec 2011. Записи о прослушиваниях, не звёздные оценки. Условия набора предусматривают некоммерческое использование.
  • README набора Last.fm — состав файлов, статистика, значение listening count и условия использования.
  • Google: Collaborative filtering — рекомендации по взаимодействиям пользователей, явная и косвенная обратная связь.
Карта задач ИИ48

Источники