AWS добавила в SageMaker AI ленивую загрузку контейнеров через SOCI. Задача на обучение или обработку теперь может стартовать, когда на сервер подтянулись только файлы для запуска. Остальное догружается в фоне — уже пока код работает.
Для тяжёлых ML-образов это не мелкая оптимизация. Такой контейнер — не аккуратная коробка, а шкаф с библиотеками, драйверами и зависимостями. Раньше SageMaker сначала стаскивал весь шкаф на машину, распаковывал его и лишь потом пускал задачу. Время шло, арендованный GPU скучал, деньги капали.
SOCI добавляет к образу индекс: он знает, где лежит каждый файл. SageMaker ищет этот индекс сам. Если он есть, сервис берёт необходимое для старта и не ждёт полной загрузки. Если индекса нет, всё работает по прежней схеме — без сюрпризов и без ускорения.
AWS пишет, что в её тестах простой GPU во время скачивания образа сокращался до девяноста процентов. Это собственные замеры AWS, не независимая проверка. Главный подвох тоже не спрятан: если стартовый скрипт сразу читает почти весь образ — сканирует файлы, сверяет контрольные суммы или заранее тащит модель, — очередь просто переезжает в начало работы. Выигрыш тогда будет скромнее.
Готовые варианты уже есть у AWS Deep Learning Containers: их помечают суффиксом `-soci`. Поддерживаются контейнеры для PyTorch Training, TensorFlow Training, vLLM и SGLang. Свой образ тоже можно подготовить, но для этого нужен отдельный набор инструментов на Linux.
Это история не про новую модель и не про кнопку «обучай быстрее». Она про команды, которые гоняют много коротких экспериментов: меньше времени уходит на открывание двери в контейнер, больше — на сам запуск. Какая будет экономия на конкретной задаче, AWS не раскрыла. Источник здесь один — блог AWS.