Вы ждёте сообщение об отмене занятия. Телефон показывает рекламу розыгрыша, а нужное уведомление находится в спаме. Фильтр ошибся дважды, но последствия разные: рекламу можно закрыть, об отмене занятия можно узнать уже у запертой двери.
Соберём маленький фильтр и проследим каждое его решение. Он будет смотреть только на длину SMS. Это намеренно грубое правило: на нём легко увидеть, как настройка помогает одним сообщениям и мешает другим.
Вот смысл двух SMS из нашей подборки. Рядом — длина английского оригинала.
- «Напиши, когда будешь готов» — 31 символ.
- «Вы выиграли деньги или приз, позвоните» — 69 символов.
Что оставите во входящих? Что отправите в спам? Назовите слова, по которым приняли решение.
Сверить с метками
Первое SMS в наборе помечено как обычное, второе — как спам. Если оставить фильтру только числа 31 и 69, какие из ваших подсказок пропадут?
Фильтр решает задачу классификации. Для каждого SMS он выбирает один из двух классов — «обычное» или «спам». От этого выбора зависит папка.
Попробуем правило «длинные сообщения считать спамом». Оно ещё недостаточно точное: для одного человека 50 символов много, для другого мало. Компьютеру нужна граница, чтобы одно и то же сообщение каждый раз получало один ответ.
Для опыта мы отобрали шесть SMS из набора SMS Spam Collection. В таблице дан короткий пересказ, а длины посчитаны по английским оригиналам. Доля спама в этих шести примерах не отражает его долю во всём наборе.
| № | Содержание | Символов | Метка в наборе |
|---|---|---|---|
| 1 | Напиши, когда будешь готов | 31 | обычное |
| 2 | У вас новое сообщение, позвоните по номеру | 42 | спам |
| 3 | Завтра ведь нет занятий? | 30 | обычное |
| 4 | Вы выиграли деньги или приз, позвоните | 69 | спам |
| 5 | Мой номер в Лутоне, позвони, если будешь рядом | 51 | обычное |
| 6 | Вам досталась камера, позвоните для получения | 105 | спам |
Выберите целое число — порог. Сообщения такой длины и длиннее уходят в спам, остальные остаются во входящих. Попробуйте распределить все шесть SMS верно. Запишите свой порог, сверьте каждую папку с меткой в таблице. Если осталась ошибка, укажите номер строки.
Проверить на примере порога 60
При пороге 60 в спам попадут № 4 и 6. У № 2 всего 42 символа, поэтому фильтр пропустит рекламу во входящие. Остальные пять решений совпадут с метками.
Пропуск случается, когда спам остаётся во входящих. Так произошло с сообщением № 2. Ложная тревога случается, когда обычное сообщение отправляется в спам. Пока при пороге 60 её нет.
Теперь снизим порог до 40. Сообщение № 2 попадёт в спам, как мы и хотели. Вместе с ним туда отправится сообщение № 5: 51 символ тоже больше 40. По метке это обычная переписка. Мы исправили пропуск и получили ложную тревогу.
В обоих случаях верно распределены пять сообщений из шести. Одно число «пять верных» скрыло различие: при первом пороге читатель увидит рекламу, при втором может не увидеть сообщение знакомого.
Обычные SMS имеют длины 31, 30 и 51 символ, спам — 42, 69 и 105. Фильтр отправляет в спам всё, что не короче порога. Сейчас порог 60. Какое SMS сменит папку при пороге 80? Станет ли это исправлением ошибки или новой ошибкой? Предскажите, затем нажмите «Порог 80».
Проверить прогноз для порога 80
При пороге 80 сообщение № 4 длиной 69 вернётся во входящие. Реклама № 2 уже была там. Получилось два пропуска. Обычные сообщения при таком сдвиге не могут впервые попасть в спам: мы только сузили область, которую фильтр считает подозрительной.
Сравните теперь 40 и 60. Для ящика с важными приглашениями владелец может предпочесть 60: он согласен вручную удалять короткую рекламу, чтобы не прятать обычное сообщение. Если каждое подозрительное SMS отправляют сотруднику на проверку, порог 40 может быть удобнее: сотрудник увидит весь спам из наших примеров и проверит одно лишнее сообщение.
Мы назначали пороги вручную и сразу видели ошибки. Обучения сложной модели здесь не было. Даже очень удачная настройка на этих шести строках ещё не обещает удачи на остальных SMS.
Зафиксируйте порог 60. Представьте новое сообщение длиной 90 символов. Правило отправит его в спам, даже если это подробные указания от друга. Мы можем уверенно предсказать действие правила; правильность действия узнаем только после проверки содержания или метки.
На наших шести строках даже идеальный выбор порога не уберёт все ошибки: спам длиной 42 расположен левее обычного сообщения длиной 51. Чтобы поймать первый, правило вынуждено захватить второе. Одного сдвига границы недостаточно. Следующий шаг разработки: попробовать другие признаки, например слова сообщения, а затем проверить новую версию на отложенных примерах.
Проверка за пределами шести примеров
Оставим порог 60 и возьмём ещё два настоящих SMS из той же коллекции. Здесь указан смысл по-русски; длины посчитаны по английским оригиналам. До раскрытия меток решите, куда фильтр положит каждое сообщение.
| Строка источника | Смысл сообщения | Символов |
|---|---|---|
| 81 | Извини, перезвоню позже | 22 |
| 5040 | Спасибо за разговор в субботу. Ты мне дорог, я ценю тебя как брата и пример для себя | 133 |
Проверка двух новых решений
Оба SMS помечены в источнике как обычные. Первое останется во входящих — верно. Второе уйдёт в спам — ложная тревога. Оно длинное, потому что человек подробно благодарит близкого. Эти два сообщения не входили в шесть строк, на которых мы сравнивали пороги. Двух примеров мало для общей оценки, но достаточно, чтобы увидеть ещё одну конкретную ошибку.
Есть и хитрый способ получить много верных ответов: вообще ничего не отправлять в спам. В полном файле 4827 обычных сообщений и 747 спам-сообщений. Такое правило даст 4827 верных ответов из 5574, примерно 87 %, — и не поймает ни одного спама. Большая доля верных ответов ещё не означает, что фильтр выполняет свою задачу.
Посчитать ошибки и подобрать порог кодом
Обозначим длину через , порог через , спам числом 1, обычное сообщение числом 0. Правило: при и иначе.
Четыре результата часто записывают коротко: TP — спам найден, FN — спам пропущен, FP — ложная тревога, TN — обычное сообщение оставлено во входящих. При пороге 60 получаем TP = 2, FN = 1, FP = 0, TN = 3.
Если цена ложной тревоги , а пропуска , суммарная цена ошибок равна . Эти цены задают люди; измеренные длины их не определяют.
Цель: Измените порог: добейтесь нуля пропусков и ровно одной ложной тревоги
Нужен порог выше 31, но не выше 42
Сколько решений умеет одно пороговое правило?
Пусть у объектов попарно различные значения признака. Расположим их слева направо. Порог с фиксированным направлением «справа класс 1» может дать только наборов ответов: всё единицы, затем один ноль слева, затем два нуля, вплоть до всех нулей. Всего же двоичных разметок .
Найдите разметку, которую такой порог не сможет выразить, и докажите это. Затем разрешите менять направление: считать классом 1 либо правую, либо левую часть оси. Сколько разных разметок получится теперь?
Решение
Возьмём две соседние точки: левая имеет метку 1, правая 0. Порог вида «справа класс 1», захватив левую точку, обязательно захватит и правую. Поэтому уже эта пара неразделима таким правилом.
При двух направлениях получается разметок: два семейства по , но «все нули» и «все единицы» посчитаны дважды. Других совпадений нет: непостоянная разметка первого семейства начинается с нуля и заканчивается единицей, второго наоборот. При совпадающих значениях признака разметок может быть меньше. Подсчёт описывает возможности правила; гарантии на будущие данные из него не следует.
длина не меньше порога отправляет SMS в спам, меньшая длина оставляет во входящих.
пороги 40 и 60 дали по пять верных решений, но ошиблись на разных сообщениях.
короткий спам и длинное обычное сообщение нельзя разделить таким порогом без ошибки.
зафиксировать настройку и оценить её на сообщениях, по которым порог не выбирали.
Домашняя работа
Источники
- SMS Spam Collection, UCI: оригинальные сообщения, метки, происхождение и лицензия CC BY 4.0. Наши шесть примеров выбраны для объяснения, а не для оценки качества на всём наборе.
- Scikit-learn: настройка порога классификации: разделение предсказания и решения, выбор порога по последствиям ошибок.
- SpamAssassin: required_score: реальный пример решения по порогу баллов; наша учебная длина не имитирует баллы этого фильтра.