Hopper (микроархитектура)

Hopper — микроархитектура профессиональных графических процессоров класса Server/Datacenter представленная в марте 2022 года, и разработанная корпорацией NVIDIA Corporation в качестве преемника микроархитектуры Ampere. Она названа в честь Грейс Мюррей Хоппер (англ. Grace Murray Hopper) — американской учёной в области информатики и контр-адмирала Военно-морских сил США, которая была одной из первых программистов компьютера Марк I.

Микроархитектура Hopper с тензорными ядрами была анонсирована в конце марта 2022 года и впервые появилась в ускорителе GPGPU-вычислений уровня дата-центра NVIDIA H100 с 80 Гбайт HBM3 памяти, который содержит порядка 80 млрд транзисторов. Ускорители NVIDIA H100 например используются в HPC-серверах Nvidia DGX H100 для машинного обучения систем искусственного интеллекта^[1][2].

Не существует массовых видеокарт десктопного уровня серии GeForce на базе микроархитектуры Hopper. В сентябре же 2022 года были представлены графические ускорители десктопного уровня серии GeForce RTX 40 с упрощённой микроархитектурой Ada Lovelace, названной в честь математика Ады Лавлейс, которая также пришли на смену микроархитектуры Ampere^[3].

Архитектурные усовершенствования микроархитектуры Hopper включают следующее:

• CUDA Compute Capability 9.0
• Память с высокой пропускной способностью 3-го поколения (HBM3).
• NVLink 4.0: шина с высокой пропускной способностью между центральным процессором и графическим процессором, а также между несколькими графическими процессорами. Обеспечивает гораздо более высокие скорости передачи, чем те, которые достижимы при использовании PCI Express; обеспечивает скорость 50 Гбайт/с на один канал и до 900 Гбайт/с (18 × 50 Гбайт/с) на один GPU.
• Тензорные ядра: Тензорное ядро ​​— это объект, который умножает две матрицы FP16 4×4, а затем добавляет к результату третью матрицу FP16 или FP32 с помощью операций умножения примесей и получает результат FP32, который при необходимости можно понизить до результатов FP16. Тензорные ядра предназначены для ускорения обучения нейронных сетей.

Сравнительная таблица GP100, GV100, GA100 и GH100^[4][5]

Матрица сравнения поддержания точности вычислений^[6][7]

Обозначение:

• FPnn: floating point with nn bits
• INTn: integer with n bits
• INT1: binary
• TF32: TensorFloat32
• BF16: bfloat16

Сравнение мощностей декодирования

Ускорители GPGPU-вычислений с тензорными ядрами, в которых используются чипы с микроархитектурой Hopper:

• NVIDIA H100 — с середины 2022 года;
• NVIDIA GH200 Grace Hopper — с середины 2023 года.

• Архитектура NVIDIA Hopper (рус.). Официальный сайт NVIDIA Corporation. Дата обращения: 21 сентября 2023.
• GPU NVIDIA H100 с тензорными ядрами (рус.). Официальный сайт NVIDIA Corporation. Дата обращения: 21 сентября 2023.