Вы договорились встретиться с другом после занятий и ждёте, куда он предложит пойти. Телефон показывает несколько новых сообщений. Среди них — реклама, уведомления и личная переписка. Хочется убрать лишнее, но сообщение друга потерять нельзя. Поручим программе простую работу: отделять спам от обычных сообщений.
С чего начать? Кажется, спам легко узнать по заглавным буквам, восклицаниям и телефонным номерам. Проверим эту догадку на настоящем SMS. По-русски его смысл такой: «Мой номер в Лутоне… Позвони, если будешь рядом!». А вот оригинал из набора SMS Spam Collection:
MY NO. IN LUTON 0125698789 RING ME IF UR AROUND! H*
Здесь есть все три подозрительных признака. Отправили бы вы это сообщение в спам?
Как сообщение размечено в наборе
Как обычное: человек сообщает свой номер и предлагает позвонить. Правило про заглавные, телефон и восклицание спрятало бы личное сообщение вместе с рекламой.
Чтобы придумать правило получше, сначала разберёмся, какую информацию дать программе. Все примеры этой главы будут возвращать нас к одному вопросу: что нужно знать о сообщении, чтобы принять нужное нам решение?
Начнём с трёх SMS. Номер позволяет найти оригинал в файле. Длина включает буквы, пробелы и знаки препинания.
| Строка источника | Оригинал SMS | Символов | Цифр | Разметка |
|---|---|---|---|---|
| 371 | Cool, text me when you're ready | 31 | 0 | обычное |
| 5384 | You have 1 new message. Call 0207-083-6089 | 42 | 12 | спам |
| 264 | MY NO. IN LUTON 0125698789 RING ME IF UR AROUND! H* | 51 | 10 | обычное |
Первое означает «Напиши, когда будешь готов». Второе предлагает позвонить, чтобы получить новое сообщение. По числу цифр они различаются. Но у обычного SMS про Лутон цифр тоже много: человек передаёт номер телефона.
Объект здесь одно SMS: для него нужен один ответ. Признаки описывают доступные сведения об объекте, например число цифр. Разметка содержит уже известные ответы для учебных примеров. Её держат отдельно от признаков: у нового SMS ответа ещё нет.
Мы решили передать фильтру четыре простых признака: длину SMS, количество цифр, процент заглавных среди букв и наличие «!». Для последнего записываем 1, если знак есть, и 0, если его нет. У всех сообщений счётчики работают одинаково. Слова и их порядок в такую строку не попали.
Оставьте в лаборатории только «Цифр». Фильтр А отправляет SMS в спам, если цифр 11 или больше, а фильтр Б — если 12 или больше. На восьми сообщениях лаборатории оба совпадают с разметкой.
Какое новое SMS выбрать для проверки, чтобы фильтры ответили по-разному: с 10, 11 или 12 цифрами? Предскажите, в какую папку его отправит каждый фильтр.
Сверить прогноз с полным набором SMS
При 10 цифрах оба фильтра оставят сообщение во входящих, при 12 оба отправят его в спам. Расходятся они при 11. В исходном наборе SMS таких сообщений 34. У пяти метка «обычное», у 29 — «спам». Фильтр А спрячет все пять обычных сообщений, а Б пропустит все 29 спам-сообщений.
Теперь нажмите «Смоделировать пропуск текста». Длина стала неизвестной. Ноль означал бы, что текст получен и пуст. Подмена пропуска нулём сообщила бы фильтру факт, которого у нас нет.
При этом метка источника может сохраниться. Такую строку можно учесть при подсчёте меток «спам», но вычислить длину по ней нельзя. Полезность строки зависит от того, какой вопрос мы задаём.
Числовое представление и его ограничения
Обозначим текст через , выбранные признаки через , метку через . Мы используем отображение . Доля заглавных считается только среди букв; если букв нет, в этой лаборатории договоримся записывать ноль.
Модель получает и предсказывает . Совпадение не доказывает, что совпадают исходные тексты. Поэтому удалять строки как дубликаты лишь по совпадению нескольких признаков нельзя.
Цель: Исправьте счётчик, чтобы получить 10 цифр
Метод isdigit проверяет один символ; используйте его внутри sum
В учебном наборе к каждому тексту приложена метка ham («обычное») или spam. Она пришла из источника данных. Мы не получили её подсчётом заглавных. Во время обучения модель ищет связь признаков с этими ответами; при проверке сравнивают её решения с сохранёнными метками.
Разметка требует договорённости. Учебный пример: магазин прислал скидку человеку, который согласился на рассылку, а другому отправил тот же текст без согласия. Если спам определён как нежелательная рассылка, ответы могут различаться. Самого текста для решения недостаточно: нужно знать о согласии. В SMS Spam Collection таких сведений нет.
Метка тоже может быть ошибочной или спорной. Подозрительный случай стоит перечитать, записать причину сомнения и проверить по принятому правилу. Незаметно менять метки под ответы собственной модели нельзя: тогда она будет проверять сама себя.
А если хочется не только убирать спам? Те же сообщения можно использовать в других задачах, но прежних меток уже не хватит.
| Что хотим узнать? | Какой нужен ответ? | Что должно быть в примерах? |
|---|---|---|
| Это спам? | Обычное / спам — классификация | Метка для каждого сообщения |
| Через сколько минут получатель ответит? | Число минут — регрессия | Время получения и ответа; отдельно отмечаем отсутствие ответа |
| Что показать первым? | Порядок сообщений — ранжирование | Предпочтения получателя: какое сообщение важнее другого |
У SMS про встречу и у банковского уведомления может быть одна метка «обычное», но разная важность для вас сейчас. Поэтому метка «не спам» не заменяет ответ на вопрос «показать первым». В нашем настоящем наборе есть тексты и метки спама. Времени ответа и личных приоритетов нет: их пришлось бы собирать отдельно.
Вернёмся к фильтру, который должен сохранить сообщение друга. Представьте выгрузку: рядом с SMS записано, нажал ли получатель «Пожаловаться на спам». На старых сообщениях это кажется прекрасным признаком. Но фильтр должен решить, куда положить SMS, до того, как человек его прочитает. Жалобы в этот момент ещё нет.
Такую ошибку называют утечкой ответа: модель учится использовать сведения, которых не будет при настоящем решении. Проверять доступность признака нужно по времени, когда фильтр срабатывает.
Соберём паспорт нашего набора: что именно попало в файл и для каких решений этих данных достаточно.
| Вопрос | Паспорт нашего набора |
|---|---|
| Что за объект? | Одно англоязычное SMS |
| Какой ответ? | Метка обычное / спам из исходной коллекции |
| Сколько? | 5574 строки, 747 со спамом |
| Откуда? | Несколько публичных коллекций, включая Grumbletext и NUS |
| Что сделали в уроке? | Выбрали восемь примеров вручную для сравнения, оригиналы сохранили; обучение и проверку модели здесь не проводим |
| Повторы? | 5171 различная пара «текст, метка»; остальные 403 строки повторяют такие пары |
| Где осторожнее? | Другой язык, новые рассылки, другая аудитория |
Повтор текста не всегда ошибка: одинаковое «Позвоню позже» могут отправить разные люди. Но если копия уже встречалась при обучении, проверка на ней слабее проверки на новом сообщении. Для честного экзамена группы одинаковых текстов держат вместе при разделении. Совпадение длины и числа цифр само по себе повтором не считается.
Ещё одна ловушка: привычные слова могут выдавать источник коллекции. Фильтр рискует научиться отличать студенческую переписку одного региона от рекламных жалоб другого. Поэтому успех на этих SMS не доказывает, что он справится с русскоязычной рассылкой вашей школы.
Повторы, пропуски и аккуратный подсчёт
Если 20 строк не содержат текста, 15 не содержат метки, а у 5 отсутствует и то и другое, удалить придётся строк. Пять строк вошли в обе группы; второй раз их удалять нельзя. Это отдельный учебный пример с пропусками, не описание оригинального SMS Spam Collection.
Предел любой модели с выбранными признаками
Пусть пять сообщений получили один и тот же набор признаков. Три размечены как обычные, два как спам. Детерминированная модель, использующая только эти признаки, обязана дать всем пяти один ответ. Назвав их обычными, она ошибётся дважды; назвав спамом, трижды. Две ошибки неизбежны.
Докажите общий результат. Разбейте набор на группы с одинаковыми признаками. Пусть в группе количества двух меток равны и . Наименьшее число ошибок произвольной детерминированной функции на этом конечном наборе:
Нижняя оценка получается внутри каждой группы. Она достижима: каждой группе назначаем её более частую метку. Добавление признака может разделить группу и снизить предел. Усложнение модели при прежних признаках эту неоднозначность не устранит. Это утверждение о конечном наборе; оно не обещает качества на новых объектах.
одно сообщение, о котором нужен ответ.
первые описывают доступный вход; вторая хранит ответы учебных примеров.
спам, время ответа и личная важность требуют разных сведений для проверки.
одинаковые признаки могут скрывать разный смысл. Проверяем пропуски, повторы и доступность сведений в момент решения.
Домашняя работа
Источники
- SMS Spam Collection, UCI — авторы Almeida и Hidalgo, происхождение, описание меток и лицензия CC BY 4.0.
- Оригинальный архив UCI — файл SMSSpamCollection; проверен 21 сентября 2026 года. Номера строк лаборатории: 371, 5384, 1353, 577, 264, 3291, 5040, 81.
- Scikit-learn: ошибки при подготовке данных — почему сведения из проверки и будущего не должны попадать в обучение.