Вычислительное оборудование для нейронных сетей

Модель скачалась, а программа пишет «недостаточно памяти», хотя на диске свободны сотни гигабайт. Чего именно не хватает?

Вычислительное оборудование для нейронных сетей1

Вычислительное оборудование для нейронных сетей

Файл с моделью скачался на ноутбук, но программа сообщает: «Недостаточно памяти». На диске свободны сотни гигабайт. Почему этого мало? Чтобы ответить, разберём, где хранятся параметры, кто выполняет вычисления и что ещё занимает память во время работы.

Вычислительное оборудование для нейронных сетей2

CPU и GPU

Представим задачу: закрасить изображение Моны Лизы пиксель за пикселем по известным цветам. Один исполнитель идёт слева направо, строка за строкой. Если раздать независимые участки множеству исполнителей, картина проявится быстрее. До просмотра предположите, в каком случае работа закончится раньше и какое условие делает такое разделение возможным.

Вычислительное оборудование для нейронных сетей3

CPU и GPU

Последовательное и параллельное заполнение

Последовательное и параллельное заполнение
Вычислительное оборудование для нейронных сетей4

Эксперимент

Последовательное и параллельное заполнение

Закрашивание Моны Лизы: CPU заполняет строки, GPU — много участков одновременно. Время условное, это не измерение скорости оборудования.
Вычислительное оборудование для нейронных сетей5

CPU и GPU

CPU — универсальный процессор компьютера. Он выполняет команды программ, управляет их работой и подходит для разнообразных задач. У современных CPU несколько ядер, поэтому параллельно они тоже работают. Один исполнитель в анимации нужен для сравнения способов обработки, а не для буквального описания процессора.

Вычислительное оборудование для нейронных сетей6

CPU и GPU

GPU, графический процессор, рассчитан на массовое выполнение похожих операций над большими наборами чисел. Нейросеть как раз многократно умножает числа на веса и складывает результаты. Многие такие вычисления можно выполнять одновременно. Поэтому GPU используют и для применения нейросетей, и для обучения, где дополнительно рассчитывают изменения параметров.

Вычислительное оборудование для нейронных сетей7

CPU и GPU

Но последовательная зависимость не исчезает. Например, при генерации текста очередной фрагмент зависит от уже полученного текста. Внутри одного шага GPU выполняет много операций параллельно; затем программа переходит к следующему шагу. Нельзя заранее независимо написать каждое слово ответа, как закрасить известный пиксель.

GPU также приходится получать числа из памяти. Если вычислительные блоки ждут данные, добавление ещё большего числа блоков не обязательно ускорит ответ. Поэтому паспортное число операций в секунду не заменяет измерение скорости нужной модели.

Вычислительное оборудование для нейронных сетей8

Обсудим

CPU и GPU

Вычисление содержит много одинаковых операций, которые не зависят друг от друга. Почему для него может подойти GPU?

  1. Он хранит готовый правильный ответ для любой задачи
  2. Он может распределить независимые операции между многими вычислительными блоками
  3. Он отменяет необходимость хранить параметры модели
  4. Он гарантирует ускорение любой программы в одинаковое число раз
Вычислительное оборудование для нейронных сетей9

Параметры и формат хранения

Параметры модели — числа, подобранные при обучении. Их нужно сохранить в файле, а при вычислении сделать доступными процессору. Число параметров и объём памяти — разные величины: память зависит ещё и от того, сколько места отводится каждому числу.

Бит хранит одно двоичное значение; восемь бит составляют байт. В форматах BF16 и FP16 на параметр приходится 16 бит, или два байта. Поэтому у условной модели с 20 миллиардами параметров только веса займут около 40 ГБ. В названиях моделей буква B означает billion, миллиард параметров. Она не обозначает байты.

Вычислительное оборудование для нейронных сетей10

Параметры и формат хранения

Сравним три модели в одном формате хранения. Сначала посмотрите на 16 бит: близкие по числу параметров модели занимают примерно одинаковый объём, а сотни миллиардов параметров требуют уже сотен гигабайт. Переключатели позволяют пересчитать те же числа при более компактном хранении.

Вычислительное оборудование для нейронных сетей11

Параметры и формат хранения

Число параметров и объём весов

Число параметров и объём весов
Вычислительное оборудование для нейронных сетей12

Эксперимент

Число параметров и объём весов

Для моделей с экспертами учитывается полное число параметров, даже если на одном шаге используется лишь часть.
Вычислительное оборудование для нейронных сетей13

Параметры и формат хранения

Квантизация позволяет хранить параметры с меньшим числом бит. В грубой оценке восемь бит дают один байт на параметр, четыре бита — половину байта. У той же модели на 20 миллиардов параметров получатся около 20 и 10 ГБ только на веса. Служебные данные формата пока не учитываем; гигабайты считаем десятичными.

Перед переключением в опыте предскажите: во сколько раз уменьшится объём весов при переходе с 16 на 4 бита? Затем проверьте. После этого измените число параметров, сохранив формат.

Вычислительное оборудование для нейронных сетей14

Параметры и формат хранения

Объём памяти для весов

Объём памяти для весов
Вычислительное оборудование для нейронных сетей15

Эксперимент

Объём памяти для весов

Расчёт по числу параметров и битам на параметр. Рабочие данные и служебные структуры сюда не входят.
Вычислительное оборудование для нейронных сетей16

Параметры и формат хранения

Меньшее число бит означает более грубое представление чисел. Результат вычислений может измениться, поэтому качество квантизованной модели проверяют на нужных задачах. Само уменьшение файла не доказывает, что ответы останутся прежними или станут быстрее: важна поддержка формата программой и устройством.

Вычислительное оборудование для нейронных сетей17

Обсудим

Параметры и формат хранения

У условной модели 8 миллиардов параметров. Для каждого отведён один байт. Сколько десятичных гигабайт занимают только веса, без служебных данных?

Вычислительное оборудование для нейронных сетей18

Рабочая память и накопитель

SSD хранит файл модели, в том числе когда компьютер выключен. При запуске процессору нужна доступная для вычислений память. Оперативная память, RAM, хранит данные работающих программ; её содержимое обычно теряется при выключении питания. У отдельной видеокарты есть своя видеопамять, VRAM. В системах с объединённой памятью процессор и ускоритель пользуются общим пространством, часть которого занята системой и другими программами.

Вычислительное оборудование для нейронных сетей19

Рабочая память и накопитель

SSDФайл моделиХранится и после выключения компьютера.
RAM → CPUДанные работающей программыПроцессор читает из оперативной памяти и записывает результаты.
VRAM → GPUВеса и рабочие данныеУ отдельной видеокарты — собственная память. У систем с общей памятью CPU и GPU используют один общий объём.

При запуске файл читается с накопителя; выбранная программа размещает веса в памяти, доступной вычислительному устройству.

Вычислительное оборудование для нейронных сетей20

Рабочая память и накопитель

Свободные 500 ГБ на SSD не превращаются в дополнительные 500 ГБ видеопамяти. Программа может переносить часть работы или весов в оперативную память компьютера, если поддерживает такой режим. Но пересылка данных занимает время; скорость и доступность такого запуска нужно проверять отдельно.

Вычислительное оборудование для нейронных сетей21

Рабочая память и накопитель

Кроме весов, во время работы сохраняются промежуточные результаты. У языковых моделей может храниться кэш уже обработанного текста: он помогает не повторять часть вычислений. С ростом текста такой кэш обычно увеличивается. Несколько одновременно обслуживаемых запросов тоже требуют дополнительных рабочих данных, даже если используют одни и те же веса.

Допустим, после загрузки весов свободны 2 ГБ. Короткий запрос обрабатывается, а длинный документ вызывает нехватку памяти. Это не противоречие: веса остались прежними, вырос расход на обработку запроса. Число одновременных пользователей и длину текста проверяют вместе с моделью.

Вычислительное оборудование для нейронных сетей22

Рабочая память и накопитель

Учебный пример: 16 ГБ доступной памяти
Веса · 8 ГБРабочие данные · 6 ГБСвободно · 2 ГБ

Если обработка длинного документа потребует ещё 3 ГБ, свободных 2 ГБ не хватит. Веса при этом не изменились. Числа условные.

Вычислительное оборудование для нейронных сетей23

Рабочая память и накопитель

Проверьте эту зависимость в калькуляторе памяти ApX: выберите модель около 8B с четырёхбитными весами. Сравните контекст в 8 и 32 тысячи токенов, затем один и четыре параллельных запроса. Меняйте одно условие за раз. Калькулятор даёт оценку; окончательная проверка — запуск в нужной программе.

Во время обучения нужны ещё данные для вычисления градиентов и работы алгоритма обновления параметров. Поэтому возможность запустить готовую модель на устройстве не означает, что на нём получится обучать её тем же способом и с той же нагрузкой.

Вычислительное оборудование для нейронных сетей24

От телефона до сервера

Небольшие модели можно запускать на личных устройствах. Для крупных моделей используют компьютеры с большим объёмом памяти и серверные ускорители; иногда модель распределяют между несколькими устройствами. Слово «сервер» само по себе не указывает ни объём памяти, ни скорость.

Вычислительное оборудование для нейронных сетей25

От телефона до сервера

Модели на телефонах, компьютерах и ускорителях

Модели на телефонах, компьютерах и ускорителях
Вычислительное оборудование для нейронных сетей26

Эксперимент

Модели на телефонах, компьютерах и ускорителях

Шесть отдельных примеров. Скорости получены на разных моделях и задачах; напрямую сравнивать быстродействие устройств по ним нельзя.
Вычислительное оборудование для нейронных сетей27

От телефона до сервера

У телефона и компактного компьютера память делится с другими программами. Видеокарта получает свой отдельный объём. Обратите внимание на пару RTX 5090 и DGX Spark: во втором примере больше памяти и значительно крупнее модель, но ниже скорость генерации. Это не противоречие и не доказательство преимущества одной архитектуры: здесь различаются сами вычислительные задачи.

Вычислительное оборудование для нейронных сетей28

От телефона до сервера

Память определяет, что удастся разместить. Скорость показывает, насколько удобно этим пользоваться. Качество ответа проверяется отдельно. Устройство с большим объёмом памяти может вместить более крупную модель и всё же выдавать её ответ медленнее, чем другое устройство выдаёт ответ небольшой модели.

Вычислительное оборудование для нейронных сетей29

От телефона до сервера

Для языковой модели скорость часто выражают в токенах в секунду. Токен — фрагмент текста, с которым работает модель; подробно разберём его в разделе о языке. Сравнивать два числа скорости можно только с оглядкой на условия: модель, формат весов, длину входа, программу и число одновременных запросов. Отдельно бывает заметна задержка до начала ответа.

Например, один замер сделан на коротком вопросе и небольшой модели, другой — на большом документе и гораздо более крупной. Из этих двух результатов нельзя вывести, во сколько раз один процессор быстрее другого. Для сравнения устройств нужен одинаковый эксперимент.

Вычислительное оборудование для нейронных сетей30

Локальный запуск, аренда и API

Следующий вопрос — чьё оборудование выполняет вычисления. Модель можно запустить на личном компьютере, собственном сервере организации или арендованной удалённой машине. Собственный сервер тоже может стоять далеко от пользователя: обращение по сети ещё не делает его чужим облачным сервисом.

Вычислительное оборудование для нейронных сетей31

Локальный запуск, аренда и API

Три способа запуска

Три способа запуска
Вычислительное оборудование для нейронных сетей32

Эксперимент

Три способа запуска

Место размещения и владелец оборудования — разные признаки. Своя машина тоже может находиться удалённо.
Вычислительное оборудование для нейронных сетей33

Локальный запуск, аренда и API

При собственном запуске нужно подобрать совместимую программу, получить веса и следить за доступными ресурсами. Покупка компьютера не отменяет расходы на электричество и обслуживание. Локальная работа может позволить обрабатывать запросы без отправки текста внешнему сервису, но это зависит от устройства приложения: оно может обращаться к внешним инструментам или отправлять диагностические данные.

Вычислительное оборудование для нейронных сетей34

Локальный запуск, аренда и API

При аренде вычислений пользователь получает доступ к оборудованию и сам организует запуск модели. Плата часто зависит от времени выделения ресурсов, включая простой. В учебном примере машина стоит 2 условные единицы в час. Её арендовали на 10 часов, хотя запросы шли только два часа. При оплате всего времени получится 20 единиц, а не 4.

Вычислительное оборудование для нейронных сетей35

Локальный запуск, аренда и API

API — интерфейс взаимодействия программ: одна программа отправляет запрос, другая возвращает результат. Такой интерфейс может быть и у модели на вашем компьютере. Здесь рассматриваем доступ через API к готовой модели провайдера: он запускает и обслуживает её на своём оборудовании. Пользователь обычно оплачивает объём обработки, например входные и выходные токены. Конкретные условия зависят от сервиса. Покупать видеокарту для каждого клиента API не требуется: вычисления выполняются на стороне сервиса.

Вычислительное оборудование для нейронных сетей36

Локальный запуск, аренда и API

Для выбора способа запуска полезно сначала проверить небольшую типичную задачу. Помещается ли модель вместе с рабочими данными? Сколько длится ответ? Подходит ли он по качеству? Только после этого имеет смысл сравнивать расходы при предполагаемой нагрузке. Сам факт, что модель написала связный текст, не подтверждает его достоверность.

Вычислительное оборудование для нейронных сетей37

Обсудим

Локальный запуск, аренда и API

Команда арендует сервер с GPU, получает доступ к системе и сама устанавливает программу и веса. Какой вариант описан?

  1. Готовый API, в котором установкой модели занимается провайдер
  2. Запуск целиком на телефоне пользователя
  3. Аренда вычислительного оборудования с самостоятельным запуском модели
  4. Покупка оборудования в собственность
Вычислительное оборудование для нейронных сетей38

Аренда и покупка оборудования

При аренде важна не только ставка, но и состав предложения. На одной площадке указана цена одной GPU, на другой — виртуальной машины с GPU, процессорами и RAM. Эти цены нельзя сравнить, не разобравшись, что входит в каждую.

Измените число часов. Затем переключитесь с Vast.ai на Cloud.ru: вместе с валютой изменится и то, за что платит пользователь. Десять часов аренды оплачиваются целиком, даже если программа считала только два часа.

Вычислительное оборудование для нейронных сетей39

Аренда и покупка оборудования

Стоимость времени на GPU

Стоимость времени на GPU
Вычислительное оборудование для нейронных сетей40

Эксперимент

Стоимость времени на GPU

Датированный учебный срез, не текущие предложения. Ставки, доступность и дополнительные расходы перед арендой проверяют заново.
Вычислительное оборудование для нейронных сетей41

Аренда и покупка оборудования

Покупка сервера — другой масштаб расходов. На фотографии система для восьми ускорителей. Каждый имеет свою память; чтобы использовать их вместе, программе нужны средства распределённого вычисления.

Вычислительное оборудование для нейронных сетей42

Аренда и покупка оборудования

Сервер с восемью ускорителями

Сервер с восемью ускорителями
Вычислительное оборудование для нейронных сетей43

Эксперимент

Сервер с восемью ускорителями

Цена системы и сумма памяти не описывают ни скорость конкретной модели, ни расходы за весь срок эксплуатации.
Вычислительное оборудование для нейронных сетей44

Аренда и покупка оборудования

Сервер, занятый круглые сутки, и сервер, простаивающий между занятиями, дают разную стоимость одного полезного часа. Поэтому деление цены покупки на самую низкую ставку аренды ещё не показывает окупаемость. Сначала измеряют реальную нагрузку и учитывают обслуживание.

Вычислительное оборудование для нейронных сетей45

Память и цена устройств

У видеокарт есть разные классы: игровые, профессиональные и серверные. Ниже длина полосы показывает объём видеопамяти в одном масштабе. Сравните, насколько меняются память и цена при переходе от игровой карты к профессиональной. Сам ускоритель ещё нужно установить в совместимую систему с питанием и охлаждением.

Вычислительное оборудование для нейронных сетей46

Память и цена устройств

Видеокарты: объём памяти и стоимость

Видеокарты: объём памяти и стоимость
Вычислительное оборудование для нейронных сетей47

Эксперимент

Видеокарты: объём памяти и стоимость

Длина полосы пропорциональна памяти, максимум — 288 ГБ. Изображения показывают внешний вид выбранных моделей ускорителей.
Вычислительное оборудование для нейронных сетей48

Память и цена устройств

На следующем графике к видеокартам добавлены готовые компьютеры. По горизонтали растёт память, по вертикали — цена. Нажмите на устройство: рядом появятся его фотография, конфигурация и источник цены. В обеих осях одинаковые расстояния соответствуют одинаковому увеличению в разах — так на одном поле помещаются сотни и десятки тысяч долларов.

Вычислительное оборудование для нейронных сетей49

Память и цена устройств

Готовый компьютер и отдельная видеокарта

Готовый компьютер и отдельная видеокарта
Вычислительное оборудование для нейронных сетей50

Эксперимент

Готовый компьютер и отдельная видеокарта

Память компьютера включает потребности системы. Цена GPU не включает остальной компьютер. График не сравнивает скорость и не рекомендует покупку.
Вычислительное оборудование для нейронных сетей51

Память и цена устройств

Устройство может вместить крупную модель, но отвечать слишком медленно для выбранной задачи. Проверка заканчивается тремя отдельными вопросами: помещается ли модель вместе с рабочими данными, подходит ли скорость и достаточно ли хороши ответы.

Вычислительное оборудование для нейронных сетей52

Масштаб вычислений и локальные модели

ИИ работает на оборудовании разных производителей. Epoch AI оценивает накопленную вычислительную мощность проданных ускорителей, приводя её к общей условной единице — эквиваленту H100. Это позволяет сложить мощности разных чипов. Показатель не равен количеству устройств, их памяти или числу одновременно работающих серверов.

Вычислительное оборудование для нейронных сетей53

Масштаб вычислений и локальные модели

3,4×/год90% ДИ: 2,8-4,1×/год2022 · I кв.2023 · I кв.2024 · I кв.2025 · I кв.02 млн4 млн6 млн8 млн10 млн12 млн14 млн16 млнНакопленная вычислительная мощность (H100e)NvidiaB300B200H100/H200Прочие NvidiaGoogleTPU v7TPU v6eTPU v5eПрочие TPUAmazonTrainium2Trainium1/InferentiaAMDMI300XПрочие AMDHuaweiAscend 910CAscend 910B

Оценка Epoch AI: накопленная мощность, проданная с 2022 года по III квартал 2025 года. В указанном интервале оценка тренда — около 3,4 раза за год. На узком экране график можно прокрутить по горизонтали.

Вычислительное оборудование для нейронных сетей54

Масштаб вычислений и локальные модели

Источник графика и методика Epoch AI. Рост оборудования обслуживает и обучение новых моделей, и запросы к готовым. Одновременно более компактные форматы позволяют запускать модели на личных устройствах.

В 2023 году запуск LLaMA 7B на телефоне уже был возможен, но связный ответ легко смешивал факты с выдумкой. В более позднем примере Gemma отвечает заметно связнее, однако всё ещё принимает ложную предпосылку вопроса о смерти Пушкина от туберкулёза. Пушкин умер от последствий ранения на дуэли. Возможность запустить модель и достоверность ответа остаются разными свойствами.

Вычислительное оборудование для нейронных сетей55

Масштаб вычислений и локальные модели

Gemma 4 12B · 2026
Запись ответа Gemma: модель отвергает выдумку про планеты, но принимает ложную причину смерти Пушкина.
Запись ответа в приложении. Прокрутите, чтобы прочесть целиком.

Здесь важны подлинные ответы приложений: это записи двух отдельных диалогов, а не общий тест качества моделей.

Вычислительное оборудование для нейронных сетей56

Связь с другими сюжетами

В разделе о языковых моделях разберём токены и контекстное окно. Они помогут точнее понять, что расходует память и за какой объём обработки может взиматься плата.

Вычислительное оборудование для нейронных сетей57

Масштаб вычислений и локальные модели

  • GPU полезен для большого числа независимых похожих вычислений; CPU тоже может работать параллельно.
  • Объём весов зависит от числа параметров и формата их хранения. Квантизация уменьшает этот объём, но может изменить ответы.
  • SSD, рабочая память и видеопамять выполняют разные задачи. Для запуска требуется место сверх весов.
  • Память, скорость и качество проверяют отдельно. Аренда оборудования и доступ к готовой модели через API предполагают разные обязанности.
Вычислительное оборудование для нейронных сетей58

Обсудим

Домашняя работа

Веса условной модели занимали 16 ГБ при 16 битах на параметр. Сколько ГБ займут те же параметры при 4 битах, если не считать служебные данные?

Вычислительное оборудование для нейронных сетей59