Данные и признаки: что машина знает о мире
Как убрать рассылки и не потерять сообщение от друга? Соберём данные для фильтра и посмотрим, что меняется вместе с вопросом.
Данные и признаки: что машина знает о мире
Вы договорились встретиться с другом после занятий и ждёте, куда он предложит пойти. Телефон показывает несколько новых сообщений. Среди них — реклама, уведомления и личная переписка. Хочется убрать лишнее, но сообщение друга потерять нельзя. Поручим программе простую работу: отделять спам от обычных сообщений.
С чего начать? Кажется, спам легко узнать по заглавным буквам, восклицаниям и телефонным номерам. Проверим эту догадку на настоящем SMS. По-русски его смысл такой: «Мой номер в Лутоне… Позвони, если будешь рядом!». А вот оригинал из набора SMS Spam Collection:
MY NO. IN LUTON 0125698789 RING ME IF UR AROUND! H*
Данные и признаки: что машина знает о мире
Здесь есть все три подозрительных признака. Отправили бы вы это сообщение в спам?
Как сообщение размечено в наборе
Данные и признаки: что машина знает о мире
Как обычное: человек сообщает свой номер и предлагает позвонить. Правило про заглавные, телефон и восклицание спрятало бы личное сообщение вместе с рекламой.
Данные и признаки: что машина знает о мире
Чтобы придумать правило получше, сначала разберёмся, какую информацию дать программе. Все примеры этой главы будут возвращать нас к одному вопросу: что нужно знать о сообщении, чтобы принять нужное нам решение?
Строка, столбец, ответ
Начнём с трёх SMS. Номер позволяет найти оригинал в файле. Длина включает буквы, пробелы и знаки препинания.
Строка, столбец, ответ
| Строка источника | Оригинал SMS | Символов | Цифр | Разметка |
|---|---|---|---|---|
| 371 | Cool, text me when you're ready | 31 | 0 | обычное |
| 5384 | You have 1 new message. Call 0207-083-6089 | 42 | 12 | спам |
| 264 | MY NO. IN LUTON 0125698789 RING ME IF UR AROUND! H* | 51 | 10 | обычное |
Строка, столбец, ответ
Первое означает «Напиши, когда будешь готов». Второе предлагает позвонить, чтобы получить новое сообщение. По числу цифр они различаются. Но у обычного SMS про Лутон цифр тоже много: человек передаёт номер телефона.
Объект здесь одно SMS: для него нужен один ответ. Признаки описывают доступные сведения об объекте, например число цифр. Разметка содержит уже известные ответы для учебных примеров. Её держат отдельно от признаков: у нового SMS ответа ещё нет.
Строка, столбец, ответ
Пояснение
Строка, столбец, ответ
Одна строка зависит от вопроса. Если предсказываем спам, строкой будет SMS. Если хотим понять, кто из отправителей рассылает спам, строкой станет отправитель; число его сообщений за прошедший день может быть признаком.
Обсудим
Строка, столбец, ответ
Фильтр должен при получении SMS определить, обычное оно или спам. В учебных примерах есть тексты и ответы проверяющих. Как разделить сведения для обучения?
- Объект: одно SMS; признаки: длина и число цифр; разметка: обычное или спам
- Объект: одно SMS; признаки: правильная метка; разметка: длина
- Объект: одна цифра; признаки: все сообщения; разметка: телефон
- Объект: одно SMS; признаки: жалоба на него завтра; разметка: число цифр
Что исчезает при превращении в числа
Мы решили передать фильтру четыре простых признака: длину SMS, количество цифр, процент заглавных среди букв и наличие «!». Для последнего записываем 1, если знак есть, и 0, если его нет. У всех сообщений счётчики работают одинаково. Слова и их порядок в такую строку не попали.
Оставьте в лаборатории только «Цифр». Фильтр А отправляет SMS в спам, если цифр 11 или больше, а фильтр Б — если 12 или больше. На восьми сообщениях лаборатории оба совпадают с разметкой.
Какое новое SMS выбрать для проверки, чтобы фильтры ответили по-разному: с 10, 11 или 12 цифрами? Предскажите, в какую папку его отправит каждый фильтр.
Короткий спам
Соберите строку признаков
Обычное SMS с цифрами
Соберите строку признаков
Один признак: обычное SMS с «!»
Соберите строку признаков
Тот же признак: спам с «!»
Соберите строку признаков
Пропуск текста
Соберите строку признаков
Эксперимент
Соберите строку признаков
Сверить прогноз с полным набором SMS
Что исчезает при превращении в числа
При 10 цифрах оба фильтра оставят сообщение во входящих, при 12 оба отправят его в спам. Расходятся они при 11. В исходном наборе SMS таких сообщений 34. У пяти метка «обычное», у 29 — «спам». Фильтр А спрячет все пять обычных сообщений, а Б пропустит все 29 спам-сообщений.
Что исчезает при превращении в числа
Теперь нажмите «Смоделировать пропуск текста». Длина стала неизвестной. Ноль означал бы, что текст получен и пуст. Подмена пропуска нулём сообщила бы фильтру факт, которого у нас нет.
При этом метка источника может сохраниться. Такую строку можно учесть при подсчёте меток «спам», но вычислить длину по ней нельзя. Полезность строки зависит от того, какой вопрос мы задаём.
Обсудим
Что исчезает при превращении в числа
Сколько цифр содержит настоящее SMS «MY NO. IN LUTON 0125698789 RING ME IF UR AROUND! H*»?
Профи
Числовое представление и его ограничения
Обозначим текст через s, выбранные признаки через x, метку через y. Мы используем отображение s \mapsto x=(\text{длина},\text{цифры},\text{доля заглавных},\text{есть !}). Доля заглавных считается только среди букв; если букв нет, в этой лаборатории договоримся записывать ноль.
Модель получает x и предсказывает y. Совпадение x не доказывает, что совпадают исходные тексты. Поэтому удалять строки как дубликаты лишь по совпадению нескольких признаков нельзя.
Профи · Python
Посчитать цифры в SMS
Исправьте счётчик, чтобы получить 10 цифр
text = "MY NO. IN LUTON 0125698789 RING ME IF UR AROUND! H*" digits = len(text) # TODO: сейчас считаются все символы print(digits)
Меняем вопрос — меняем нужные ответы
В учебном наборе к каждому тексту приложена метка ham («обычное») или spam. Она пришла из источника данных. Мы не получили её подсчётом заглавных. Во время обучения модель ищет связь признаков с этими ответами; при проверке сравнивают её решения с сохранёнными метками.
Меняем вопрос — меняем нужные ответы
Разметка требует договорённости. Учебный пример: магазин прислал скидку человеку, который согласился на рассылку, а другому отправил тот же текст без согласия. Если спам определён как нежелательная рассылка, ответы могут различаться. Самого текста для решения недостаточно: нужно знать о согласии. В SMS Spam Collection таких сведений нет.
Метка тоже может быть ошибочной или спорной. Подозрительный случай стоит перечитать, записать причину сомнения и проверить по принятому правилу. Незаметно менять метки под ответы собственной модели нельзя: тогда она будет проверять сама себя.
Меняем вопрос — меняем нужные ответы
А если хочется не только убирать спам? Те же сообщения можно использовать в других задачах, но прежних меток уже не хватит.
Меняем вопрос — меняем нужные ответы
| Что хотим узнать? | Какой нужен ответ? | Что должно быть в примерах? |
|---|---|---|
| Это спам? | Обычное / спам — классификация | Метка для каждого сообщения |
| Через сколько минут получатель ответит? | Число минут — регрессия | Время получения и ответа; отдельно отмечаем отсутствие ответа |
| Что показать первым? | Порядок сообщений — ранжирование | Предпочтения получателя: какое сообщение важнее другого |
Меняем вопрос — меняем нужные ответы
У SMS про встречу и у банковского уведомления может быть одна метка «обычное», но разная важность для вас сейчас. Поэтому метка «не спам» не заменяет ответ на вопрос «показать первым». В нашем настоящем наборе есть тексты и метки спама. Времени ответа и личных приоритетов нет: их пришлось бы собирать отдельно.
Обсудим
Меняем вопрос — меняем нужные ответы
Мы хотим предсказывать время ответа, но в таблице есть только тексты и метки «обычное / спам». Чего не хватает для обучения такому прогнозу?
- Наблюдений о времени получения и ответа, с отметкой случаев без ответа
- Ещё одной копии столбца «спам»
- Перевода слова «обычное» в число 1
- Более длинного названия модели
Обсудим
Меняем вопрос — меняем нужные ответы
В исходном файле 5574 сообщения, из них 747 помечены как спам. Сколько процентов сообщений помечено как спам? Округлите до десятых.
Подсказка из будущего
Вернёмся к фильтру, который должен сохранить сообщение друга. Представьте выгрузку: рядом с SMS записано, нажал ли получатель «Пожаловаться на спам». На старых сообщениях это кажется прекрасным признаком. Но фильтр должен решить, куда положить SMS, до того, как человек его прочитает. Жалобы в этот момент ещё нет.
Такую ошибку называют утечкой ответа: модель учится использовать сведения, которых не будет при настоящем решении. Проверять доступность признака нужно по времени, когда фильтр срабатывает.
Подсказка из будущего
Пояснение
Подсказка из будущего
История жалоб на отправителя, накопленная до нового SMS, может быть допустимым признаком. Жалоба на само новое сообщение появляется позже. Похожие названия столбцов скрывают разный порядок событий.
Обсудим
Подсказка из будущего
Фильтр принимает решение сразу при получении SMS. Какой признак доступен ему в этот момент и не содержит сведений из будущего?
- Число жалоб на отправителя, накопленных до получения этого SMS
- Жалоба получателя на это SMS через час
- Итог проверки этого SMS модератором завтра
- Удалит ли получатель это SMS вечером
Паспорт: откуда примеры и кому они подходят
Соберём паспорт нашего набора: что именно попало в файл и для каких решений этих данных достаточно.
Паспорт: откуда примеры и кому они подходят
| Вопрос | Паспорт нашего набора |
|---|---|
| Что за объект? | Одно англоязычное SMS |
| Какой ответ? | Метка обычное / спам из исходной коллекции |
| Сколько? | 5574 строки, 747 со спамом |
| Откуда? | Несколько публичных коллекций, включая Grumbletext и NUS |
| Что сделали в уроке? | Выбрали восемь примеров вручную для сравнения, оригиналы сохранили; обучение и проверку модели здесь не проводим |
| Повторы? | 5171 различная пара «текст, метка»; остальные 403 строки повторяют такие пары |
| Где осторожнее? | Другой язык, новые рассылки, другая аудитория |
Источники
Паспорт: откуда примеры и кому они подходят
Страница UCI содержит описание источников и лицензию CC BY 4.0. Архив с оригинальным файлом позволяет пересчитать строки. Восемь примеров лаборатории подобраны для объяснения и не передают частоты всей коллекции.
Паспорт: откуда примеры и кому они подходят
Повтор текста не всегда ошибка: одинаковое «Позвоню позже» могут отправить разные люди. Но если копия уже встречалась при обучении, проверка на ней слабее проверки на новом сообщении. Для честного экзамена группы одинаковых текстов держат вместе при разделении. Совпадение длины и числа цифр само по себе повтором не считается.
Ещё одна ловушка: привычные слова могут выдавать источник коллекции. Фильтр рискует научиться отличать студенческую переписку одного региона от рекламных жалоб другого. Поэтому успех на этих SMS не доказывает, что он справится с русскоязычной рассылкой вашей школы.
Обсудим
Паспорт: откуда примеры и кому они подходят
Набор SMS Spam Collection содержит англоязычные SMS из нескольких публичных коллекций. Школе нужен фильтр русскоязычных сообщений. Какой вывод о применимости набора обоснован?
- На нём можно разобрать механизм, а качество для школы нужно проверять на подходящих школьных сообщениях
- Любой фильтр с этого набора готов для школы
- Если использовать только длину, отдельная проверка больше не нужна
- Достаточно скопировать набор десять раз, чтобы охватить школьную переписку
Профи
Повторы, пропуски и аккуратный подсчёт
Если 20 строк не содержат текста, 15 не содержат метки, а у 5 отсутствует и то и другое, удалить придётся 20+15-5=30 строк. Пять строк вошли в обе группы; второй раз их удалять нельзя. Это отдельный учебный пример с пропусками, не описание оригинального SMS Spam Collection.
Профи · Обсудим
Повторы, пропуски и аккуратный подсчёт
В учебной выгрузке 418 строк. Без текста 58, без метки 35, а без обоих 6. Сколько останется после удаления строк с любым пропуском?
Эпик
Предел любой модели с выбранными признаками
Пусть пять сообщений получили один и тот же набор признаков. Три размечены как обычные, два как спам. Детерминированная модель, использующая только эти признаки, обязана дать всем пяти один ответ. Назвав их обычными, она ошибётся дважды; назвав спамом, трижды. Две ошибки неизбежны.
Докажите общий результат. Разбейте набор на группы с одинаковыми признаками. Пусть в группе g количества двух меток равны a_g и b_g. Наименьшее число ошибок произвольной детерминированной функции на этом конечном наборе:
Эпик
Предел любой модели с выбранными признаками
Эпик
Предел любой модели с выбранными признаками
Нижняя оценка получается внутри каждой группы. Она достижима: каждой группе назначаем её более частую метку. Добавление признака может разделить группу и снизить предел. Усложнение модели при прежних признаках эту неоднозначность не устранит. Это утверждение о конечном наборе; оно не обещает качества на новых объектах.
Паспорт: откуда примеры и кому они подходят
- Объект: одно сообщение, о котором нужен ответ.
- Признаки и разметка: первые описывают доступный вход; вторая хранит ответы учебных примеров.
- Новый вопрос: спам, время ответа и личная важность требуют разных сведений для проверки.
- Ограничения данных: одинаковые признаки могут скрывать разный смысл. Проверяем пропуски, повторы и доступность сведений в момент решения.
Домашняя работа
- Три учебных сообщения: А — «Встречаемся у входа в 17:00!» от друга; Б — «Вы выиграли приз!» из нежелательной рассылки; В — «Завтра занятий нет» от одноклассника. Составьте таблицу: одно сообщение на строку, признаки «число цифр» и «есть !», отдельно ответ «обычное / спам».
- Учебные SMS: А — «Встречаемся у входа в 17:00!» от друга; Б — «Вы выиграли приз!» из нежелательной рассылки; В — «Завтра занятий нет» от одноклассника. Примените к ним правило «если есть ! — спам, иначе — обычное». Где оно ошибётся? Объясните, почему по одному этому признаку нельзя различить А и Б.
Домашняя работа
- В архиве SMS есть только тексты и метки «обычное / спам». Нужен прогноз времени от получения сообщения до вашего ответа. Какие сведения придётся добавить в учебные примеры? Объясните, почему настоящее время ответа можно использовать для проверки, но нельзя дать модели как признак до прогноза.
Следующий сюжет
Из одного признака построим правило фильтра: выберем границу по длине SMS и посмотрим, какие обычные сообщения оно спрячет, а какой спам пропустит.
Источники
- SMS Spam Collection, UCI — авторы Almeida и Hidalgo, происхождение, описание меток и лицензия CC BY 4.0.
- Оригинальный архив UCI — файл SMSSpamCollection; проверен 21 сентября 2026 года. Номера строк лаборатории: 371, 5384, 1353, 577, 264, 3291, 5040, 81.
- Scikit-learn: ошибки при подготовке данных — почему сведения из проверки и будущего не должны попадать в обучение.