Nvidia GB200 NVL72 пока не готова для тренировки передовых ИИ-моделей

Аналитическое агентство SemiAnalysis опубликовало разбор серверных решений для обучения искусственного интеллекта и пришло к выводу, что для тренировки передовых моделей на данный момент лучше подходят ускорители Nvidia H100 и H200, а также TPU от Google. Серверные стойки GB200 NVL72 с новейшими GPU Nvidia сталкиваются с проблемами из-за медной коммутационной платы NVLink и несовершенных средств диагностики и отладки, что приводит к простоям.

Почему тренировка пока невозможна

Теоретически "отвал" одного чипа не является критичным — в NVL72 рекомендуется обучать ИИ на 64 GPU GB200, а еще 8 оставлять в резерве. Однако для их подключения необходимо быстро локализовать неисправность, что пока затруднительно из-за ограниченных диагностических инструментов. В результате останавливается процесс обучения, откатываются чекпоинты и затягивается ремонт. SemiAnalysis отмечает, что пока не известен ни один завершенный пример тренировки передовой модели на GB200 NVL72.

Рекомендации аналитиков и фокус Nvidia

На текущий момент аналитики советуют использовать GB200 NVL72 преимущественно для инференса — запуска уже обученных моделей. Nvidia в последних материалах также делает акцент на инференсе, хотя в ранних анонсах предполагалась параллельная работа над тренировкой и запуском моделей.

Прогноз на будущее и экономическая сторона

SemiAnalysis прогнозирует, что Nvidia сможет устранить проблемы с NVLink и программным обеспечением до конца года. При этом стоимость владения одним GPU GB200 в 1,6–1,7 раза выше, чем у H100. Чтобы оправдать инвестиции в новые ускорители, они должны демонстрировать минимум в 1,6 раза большую производительность при аналогичном времени простоя.