Новый ИИ-ускоритель HGX H200 на архитектуре Hopper и памяти HBM3e представила компания NVIDIA

NVIDIA анонсировала HGX H200, новую аппаратную вычислительную платформу для искусственного интеллекта на базе архитектуры NVIDIA hopper с графическим процессором H200 Tensor Core.

NVIDIA HGX H200 впервые предлагает высокоскоростную память HBM3e. Ускоритель оснащен 141 ГБ памяти со скоростью 4,8 ТБ в секунду. Это в 2,4 раза быстрее, чем NVIDIA A100. Ожидается, что крупнейшие поставщики серверов и облачных вычислений начнут использовать H200 в своих системах ко второму кварталу 2024 года.

Помимо аппаратных, NVIDIA развивает и программные аспекты ИИ, предлагая вместе с новым ускорителем библиотеки TensorRT-LLM с открытым исходным кодом.

Например, ускоритель H200 может обеспечить работу модели Llama 2 с 70 миллиардами параметров с двухкратным ускорением по сравнению с H100. Ожидается, что новое программное обеспечение позволит еще больше увеличить производительность.

NVIDIA H200, доступный в четырех- и восьмиканальных конфигурациях, будет совместим с аппаратным и программным обеспечением HGX H100. Он также используется в сочетании с процессорами NVIDIA Grace со сверхбыстрым соединением NVLink-C2C для создания GH200 Grace Hopper с HBM3e. Благодаря NVLink и NVSwitch HGX H200 демонстрирует превосходство в обучении LLM и тяжелом моделировании, предлагая более 32 петафлопс глубокого обучения FP8 и 1,1 ТБ памяти.

Ускорители могут быть развернуты в любом центре обработки данных, а такие партнеры, как ASRock Rack, ASUS, Dell и другие, могут модернизировать существующие системы с помощью H200. Такие облачные провайдеры, как AWS, Google Cloud, Microsoft Azure и Oracle, развернут станции на базе H200 в следующем году.