Интерактивные примеры работы нейронных сетей

Найдите объекты в кадре, отделите их от фона и превратите голос в текст.

Интерактивные примеры работы нейронных сетей1

Интерактивные примеры работы нейронных сетей

На розовом диване спят два кота. Хочется сделать из них наклейку для чата. Представьте, что вокруг каждого кота провели самую тесную прямоугольную рамку, в которую он помещается целиком. Получится ли наклейка без дивана, если вырезать оба прямоугольника?

Для первого занятия на 45 минут сравните рамки и маску на одном снимке, затем сверьте субтитры с записью. Результаты моделей уже в уроке. Если захотите проверить собственный снимок или видео, запустите модель на устройстве.

Интерактивные примеры работы нейронных сетей2

Найти объекты и проследить за ними

На фотографии можно спросить не только «есть ли кот?», но и «где каждый кот?». Это задача обнаружения объектов. Вход — изображение. Выход — список найденных объектов: для каждого нужны название категории, прямоугольная рамка и оценка уверенности модели.

Посмотрите на левого кота. Что помимо него оказалось внутри рамки? Проследите лапу, вытянутую вниз. Целиком ли она войдёт в миниатюру?

Интерактивные примеры работы нейронных сетей3

Найти объекты и проследить за ними

Два кота на розовом диване. У левого кота между лапами видна розовая ткань. Пульт лежит над спиной, чуть ниже верхней стороны рамки. Нижняя сторона пересекает кончик лапы.

Рамки YOLO26n для класса «кот».
Интерактивные примеры работы нейронных сетей4

Сверить наблюдение на снимке

Найти объекты и проследить за ними

Слева в рамке видны пульт и ткань между лапами. А кончик вытянутой вниз лапы оказался чуть ниже нижней границы. При обрезке по рамке пульт сохранится, а часть лапы пропадёт.

Интерактивные примеры работы нейронных сетей5

Найти объекты и проследить за ними

В опыте ниже можно запустить детектор на другом фото. В «Примере видео» посмотрите, сохраняются ли номера котов при движении.

Интерактивные примеры работы нейронных сетей6

Найти объекты и проследить за ними

Объекты в кадре

Объекты в кадре
Интерактивные примеры работы нейронных сетей7

Эксперимент

Объекты в кадре

Рамки показывают расположение объектов; номера помогают проследить за ними на видео.
Интерактивные примеры работы нейронных сетей8

Найти объекты и проследить за ними

В видео сеть заново находит объекты на каждом кадре. Дополнительный алгоритм сопоставляет соседние рамки и присваивает им номера — это отслеживание объектов. При перекрытии или резком движении номера могут перепутаться. Встроенный пример специально прост: движется фотография, а не сами коты. Собственное видео позволяет устроить более трудную проверку.

Интерактивные примеры работы нейронных сетей9

Обсудим

Найти объекты и проследить за ними

Из фотографии нужны две прямоугольные миниатюры — по одной на каждого кота. Какого ответа детектора достаточно, чтобы редактор узнал, где провести границы обрезки?

  1. Координаты отдельной рамки для каждого кота
  2. Координаты центра каждого кота
  3. Координаты одной рамки вокруг обоих котов и число котов внутри
  4. Ширина и высота каждого кота без его положения на снимке
Интерактивные примеры работы нейронных сетей10

Отделить объект от фона

Внутри рамки левого кота, между его лапами, видна розовая ткань. Для поиска кота такая рамка вполне удачна. А в наклейке лапы должны остаться, ткань между ними — исчезнуть. Теперь программе нужно решить, какую часть снимка оставить видимой. Эту задачу называют выделением переднего плана.

На результате второй сети найдите то место, где между лапами была розовая ткань. Исчезла ли ткань? Не пропала ли вместе с ней шерсть?

Интерактивные примеры работы нейронных сетей11

Отделить объект от фона

Оба кота сохранились. Между лапами просвечивает страница, ткань и пульт исчезли.

BiRefNet Lite обработала тот же снимок. В прозрачных местах виден фон страницы.
Интерактивные примеры работы нейронных сетей12

Отделить объект от фона

Объект без фона

Объект без фона
Интерактивные примеры работы нейронных сетей13

Эксперимент

Объект без фона

Шахматная подложка обозначает прозрачность. Результат можно сохранить как PNG.
Интерактивные примеры работы нейронных сетей14

Отделить объект от фона

Сеть выдаёт маску — для каждого пикселя она оценивает, насколько тот должен остаться видимым. По этой маске программа делает фон прозрачным. Если на наклейке осталась полоска розовой ткани, сеть сохранила часть дивана. Если укоротился ус, она стёрла часть кота.

А если для наклейки нужен только левый кот? Даже когда сеть идеально убрала диван, общая маска может сохранить обоих. Она отделяет передний план от фона, но не указывает, где кончается один кот и начинается другой.

Интерактивные примеры работы нейронных сетей15

Обсудим

Отделить объект от фона

Для наклейки нужно сохранить обоих котов и сделать прозрачной ткань между лапами. Какой результат позволит редактору вырезать такой контур?

  1. Число пикселей, занятых котом внутри каждой рамки
  2. Прямоугольная рамка вплотную к краям шерсти каждого кота
  3. Маска с долей непрозрачности для каждого пикселя
  4. Общее число пикселей с шерстью в каждой горизонтальной строке
Интерактивные примеры работы нейронных сетей16

Увидеть глубину на плоской фотографии

Фотография плоская, но мы замечаем, что кот ближе стены, а спинка дивана — дальше его морды. Нейросеть тоже может искать признаки взаимного расположения объектов: перспективу, перекрытия, знакомые формы. Задача называется оценкой глубины.

Попробуйте. Сначала сами назовите самый близкий и самый далёкий участок фотографии. Затем получите карту глубины. Совпало ли ваше предположение с ответом сети?

Интерактивные примеры работы нейронных сетей17

Увидеть глубину на плоской фотографии

Что ближе, а что дальше

Что ближе, а что дальше
Интерактивные примеры работы нейронных сетей18

Эксперимент

Что ближе, а что дальше

На карте светлое означает ближе, тёмное — дальше. Сравните границы предметов с фотографией.
Интерактивные примеры работы нейронных сетей19

Увидеть глубину на плоской фотографии

Вход — один снимок, выход — карта относительной глубины, где каждой точке сопоставлена оценка её удалённости. Такая карта помогает отделять ближний план от дальнего, например для эффекта размытого фона. Это другая задача, чем выделение кота: глубина описывает всю видимую сцену.

Интерактивные примеры работы нейронных сетей20

Превратить голос в текст

Замена одного слова в субтитрах может изменить смысл фразы. При распознавании речи модель восстанавливает слова по звуку.

Какой из двух вариантов субтитров точно передаёт фразу? Сверьтесь с записью или с её текстом ниже.

Интерактивные примеры работы нейронных сетей21

Превратить голос в текст

Интерактивные примеры работы нейронных сетей22

Текст записи

Превратить голос в текст

«Сегодня мы проверяем, как нейронная сеть распознаёт русскую речь».

Интерактивные примеры работы нейронных сетей23

Превратить голос в текст

Оба варианта составлены автором для сравнения.

  • А. Сегодня мы проверим, как нейронная сеть распознаёт русскую речь.
  • Б. Сегодня мы проверяем, как нейронная сеть распознаёт русскую речь.
Интерактивные примеры работы нейронных сетей24

Сверить выбор

Превратить голос в текст

В записи слышно «проверяем» — говорящий описывает то, чем занят сейчас. Вариант Б передаёт его слова. В варианте А подмена на «проверим» превращает их в сообщение о планах.

Интерактивные примеры работы нейронных сетей25

Превратить голос в текст

А как справится сама нейросеть? В опыте ниже запустите распознавание той же записи или запишите фразу с необычным именем. Сверьте спорное слово с тем, что прозвучало. Для запуска потребуется скачать модель.

Интерактивные примеры работы нейронных сетей26

Превратить голос в текст

Русская речь становится текстом

Русская речь становится текстом
Интерактивные примеры работы нейронных сетей27

Эксперимент

Русская речь становится текстом

Можно использовать готовую запись, свой файл или микрофон. В опыте обрабатываются первые 30 секунд.
Интерактивные примеры работы нейронных сетей28

Превратить голос в текст

Плавный и грамматически правильный текст ещё не означает точную расшифровку. На шуме, тишине и непривычных словах модель может пропустить или добавить слова. Проверять результат нужно по записи, особенно если ошибка в имени или числе меняет смысл.

Интерактивные примеры работы нейронных сетей29

Обсудим

Превратить голос в текст

В субтитрах разошлись две версии одного слова. Обе подходят по смыслу. Как узнать, какую оставить для точной цитаты?

  1. Выбрать слово, которое чаще встречается в субтитрах к таким видео
  2. Прослушать соответствующий участок записи и сравнить слова
  3. Взять слово, которому программа распознавания приписала большую уверенность
  4. Сверить обе версии с кратким пересказом видео
Интерактивные примеры работы нейронных сетей30

Задать вопрос о фотографии или кадре с камеры

Детектор выдаёт рамки и названия категорий. Но иногда нужен другой ответ: «Что лежит на диване?» или «Чем отличаются два кота?». Здесь работают вместе изображение и язык. Мультимодальная модель получает фотографию и текст вопроса, затем составляет текстовый ответ.

Интерактивные примеры работы нейронных сетей31

Задать вопрос о фотографии или кадре с камеры

Попробуйте. Попросите описать фотографию одним предложением. Затем включите камеру и спросите, какие предметы видны или что человек держит в руке. Измените сцену и дождитесь следующего ответа. Быстрый вариант отвечает по-английски; для русского есть отдельный компактный вариант. Каждая модель видит отдельные кадры, поэтому ответы обновляются с задержкой, а не на каждом кадре видео.

Интерактивные примеры работы нейронных сетей32

Задать вопрос о фотографии или кадре с камеры

Вопросы по фотографии и камере

Вопросы по фотографии и камере
Интерактивные примеры работы нейронных сетей33

Эксперимент

Вопросы по фотографии и камере

Сопоставляйте каждое утверждение с изображением. Уверенный тон не подтверждает, что деталь существует.
Интерактивные примеры работы нейронных сетей34

Задать вопрос о фотографии или кадре с камеры

По внешности нельзя установить, «хороший» человек или «плохой», каков его характер и можно ли ему доверять. Проверяемые вопросы касаются видимых предметов и действий.

Модель может связать изображение с вопросом и сформулировать удобный ответ. Но она также может неверно посчитать предметы или придумать правдоподобную деталь. Сравните её описание с результатом детектора: подпись словами и список рамок имеют разные возможности и разные ошибки.

Интерактивные примеры работы нейронных сетей35

Поручить текстовую задачу

Языковая модель получает текст и генерирует продолжение. После специального обучения на заданиях и ответах она может выполнять инструкции: сокращать, переводить, объяснять или предлагать названия. В отличие от распознавания речи здесь часто допустимо много разных хороших ответов.

Попробуйте. Придумайте названия для кружка, затем попросите сократить готовый абзац. В первом случае оцените выразительность, во втором — сохранился ли смысл и не добавились ли новые сведения.

Интерактивные примеры работы нейронных сетей36

Поручить текстовую задачу

Текст по вашему заданию

Текст по вашему заданию
Интерактивные примеры работы нейронных сетей37

Эксперимент

Текст по вашему заданию

Начните с маленькой модели Qwen. Кнопки под заданием предлагают несколько разных задач.
Интерактивные примеры работы нейронных сетей38

Поручить текстовую задачу

Для сравнения ниже есть более крупная модель. Дайте ей точно то же задание и заранее выберите критерий: соблюдение ограничения, точность пересказа или удачность названий. Размер модели сам по себе не определяет победителя в конкретном опыте. Скачивание второго варианта необязательно.

Интерактивные примеры работы нейронных сетей39

Поручить текстовую задачу

То же задание для Gemma

То же задание для Gemma
Интерактивные примеры работы нейронных сетей40

Эксперимент

То же задание для Gemma

Около 2,3 ГБ загрузки и дополнительная рабочая память. При запуске другого примера предыдущая модель выгружается, а её ответ остаётся на странице.
Интерактивные примеры работы нейронных сетей41

Поручить текстовую задачу

Во всех этих опытах мы применяли готовые сети: загрузка фотографии или новый вопрос меняют вход, но не обучают модель заново. Это позволяет использовать одну обученную сеть много раз, для разных примеров подходящей ей задачи.

Интерактивные примеры работы нейронных сетей42

На чём учится сеть?

Для обучения детектора можно взять снимок с рамками вокруг котов. Если учить сеть убирать фон, к тому же снимку понадобится маска. Сравнивая ответ с образцом, программа настраивает веса — числа, от которых зависит результат сети. Чтобы проследить такое вычисление вручную, удобно взять один искусственный нейрон всего с двумя входами, как в задаче о координатах робота на карте.

Интерактивные примеры работы нейронных сетей43

Поручить текстовую задачу

  • Задачу определяют вход, нужный выход и критерий качества: рамка, маска, глубина и текст требуют разных проверок.
  • При обучении меняются настройки сети. При применении готовая сеть получает новые входные данные.
  • Правдоподобный результат нужно сверять с изображением, записью или условиями задания.
Интерактивные примеры работы нейронных сетей44

Домашняя работа

Выберите доступный опыт и испытайте его на двух разных входах. Запишите, что модель получила, что выдала и как вы проверили результат. Найдите удачный ответ и ошибку или ограничение. Если модель не запускается, возьмите готовые рисунки с котами из первых двух опытов. Выберите деталь на фотографии и покажите на ней, какой из результатов лучше подходит для вашей наклейки.

Интерактивные примеры работы нейронных сетей45

Обсудим

Домашняя работа

Вы загрузили другое фото в готовый детектор. Что произошло в этом опыте?

  1. Модель применила прежние настройки к новому входу
  2. Модель заново обучилась на всех фотографиях мира
  3. Список известных модели категорий автоматически расширился
  4. Любая ошибка на новом фото стала невозможна
Интерактивные примеры работы нейронных сетей46

Источники