Dell PowerEdge XE9680 — Сервер с GPU для AI/ML и HPC
Флагманская платформа для генеративного ИИ, глубокого обучения и высокопроизводительных вычислений
Технические характеристики
| Категория |
Характеристика |
Значение |
| Форм-фактор |
Корпус |
6U rack-mount |
| |
Габариты (В×Ш×Г) |
266.7 × 482.6 × 1168.4 мм |
| |
Вес (макс. конфигурация) |
~120 кг |
| Процессоры |
Модель |
2 × Intel Xeon Platinum 8558 |
| |
Архитектура |
Sapphire Rapids |
| |
Количество ядер |
48C × 2 = 96 ядер |
| |
Частота базовая |
2.10 GHz |
| |
Частота Turbo |
до 3.40 GHz |
| |
TDP |
300W на процессор |
| |
Кэш L3 |
260 MB на процессор |
| |
Поддержка технологий |
Intel AMX, Intel AVX-512, Intel Deep Learning Boost |
| Ускорители GPU |
Платформа |
nVIDIA DELTA-NEXT HGX H200 |
| |
Модель GPU |
8 × NVIDIA H200 Tensor Core |
| |
Форм-фактор GPU |
SXM5 |
| |
Память GPU |
141 GB HBM3e на GPU |
| |
Общая GPU-память |
1.128 TB HBM3e |
| |
Пропускная способность памяти GPU |
4.8 TB/s на GPU |
| |
NVLink |
NVLink 4.0, 900 GB/s P2P |
| |
NVSwitch |
4-го поколения, полносвязная топология |
| |
Общая пропускная способность GPU |
67 TFlops (FP64), 989 TFlops (FP16 Tensor Core) |
| Оперативная память |
Тип |
32 × 64GB RDIMM DDR5 |
| |
Общий объём |
2 TB (2048 GB) |
| |
Частота |
5600 MT/s |
| |
Конфигурация |
16 DIMM на процессор, 8 каналов |
| |
Поддержка |
ECC, Intel Optane PMem 300 Series (опционально) |
| Хранилище данных |
SSD U.2 NVMe Gen4 |
4 × 3.84 TB |
| |
Общий объём быстрого хранилища |
15.36 TB |
| |
Интерфейс |
PCIe 4.0 x4, U.2 (2.5") |
| |
Скорость чтения (последовательная) |
до 7 GB/s на диск |
| |
Скорость записи (последовательная) |
до 3.5 GB/s на диск |
| |
IOPS (случайное чтение 4K) |
до 1M на диск |
| |
RAID-контроллер |
Встроенный NVMe RAID или программный RAID |
| Системное хранилище |
Контроллер |
Dell BOSS-N1 (Boot Optimized Storage Solution) |
| |
Тип накопителей |
2 × M.2 NVMe 960GB |
| |
Конфигурация |
RAID 1 (зеркалирование) |
| |
Назначение |
Операционная система, гипервизор |
| |
Отказоустойчивость |
Hot-swap, автоматическая реконструкция |
| Сетевые интерфейсы |
Карты сетевых интерфейсов |
8 × NVIDIA ConnectX-7 |
| |
Тип порта |
QSFP112 (400GbE/NDR IB) |
| |
Пропускная способность порта |
400 Gb/s |
| |
Общая пропускная способность |
3.2 Tb/s агрегированная |
| |
Поддержка протоколов |
Ethernet (400GbE), InfiniBand NDR (400G), RoCE v2 |
| |
Функции |
RDMA, GPUDirect RDMA, NVIDIA DOCA |
| |
Применение |
Кластерные вычисления, хранилища NVMe-oF, AI fabric |
| Расширение и слоты |
Слоты PCIe Gen5 |
до 10 слотов |
| |
Слоты PCIe Gen4 |
дополнительные для сети и хранения |
| |
Поддержка CXL |
CXL 1.1/2.0 для расширения памяти |
| Безопасность |
Модуль TPM |
TPM 2.0 |
| |
Безопасная загрузка |
Secure Boot, UEFI Secure Boot |
| |
Шифрование |
Silicon Root of Trust, Dell Secured Component Verification |
| |
Функция |
No Crypto (отключение криптографических функций по требованию) |
| Питание и охлаждение |
Блоки питания |
Dual PSU (резервирование N+1) |
| |
Мощность БП |
3000W Titanium (96%+) |
| |
Входное напряжение |
200–240V AC или 380V DC |
| |
Охлаждение |
Воздушное (до 35°C) или жидкостное (Direct Liquid Cooling) |
| |
Вентиляторы |
Hot-plug, регулируемые по скорости |
| Управление |
iDRAC9 |
Enterprise с Lifecycle Controller |
| |
Выделенный порт управления |
1GbE |
| |
Функции |
Удалённое управление, KVM-over-IP, виртуальные медиа |
| |
OpenManage |
Integration с VMware vCenter, Microsoft System Center, Ansible, Terraform |
Целевые сценарии использования
| Применение |
Описание |
| Генеративный ИИ (LLM) |
Обучение и инференс больших языковых моделей (GPT, LLaMA, Falcon) — до 175B параметров |
| Глубокое обучение |
Тренировка нейросетей компьютерного зрения, NLP, рекомендательных систем |
| Научные вычисления (HPC) |
Молекулярное моделирование, климатическое моделирование, вычислительная физика |
| Финансовое моделирование |
Монте-Карло симуляции, риск-анализ, алгоритмический трейдинг |
| Медицинская визуализация |
Обработка МРТ/КТ, геномика, фармакологические исследования |
| Автономные системы |
Обучение моделей для беспилотных транспортных средств, робототехники |
| Визуальные эффекты и рендеринг |
GPU-рендеринг, симуляции, обработка видео 8K |
Ключевые преимущества
| Преимущество |
Описание |
| Максимальная плотность GPU |
8 × H200 в 6U — лучшая в классе плотность вычислений |
| Единая память GPU |
NVSwitch обеспечивает доступ ко всей GPU-памяти как к единому пространству |
| Экстремальная пропускная способность |
3.2 Tb/s сетевого трафика для масштабирования кластеров |
| Готовность к AI |
Предустановленные фреймворки: NVIDIA AI Enterprise, CUDA, cuDNN, TensorRT |
| Энергоэффективность |
Titanium PSU, оптимизированное охлаждение, поддержка жидкостного охлаждения |
| Масштабируемость |
Линейное масштабирование в кластерах с NVIDIA InfiniBand |
| Безопасность данных |
No Crypto конфигурация для регулируемых отраслей |
Сравнение с предыдущим поколением (XE8545 + A100)
| Параметр |
XE8545 (A100) |
XE9680 (H200) |
Прирост |
| GPU-память |
80 GB HBM2e |
141 GB HBM3e |
+76% |
| Пропускная способность памяти GPU |
2 TB/s |
4.8 TB/s |
+140% |
| Трансформерная производительность |
312 TFLOPS |
989 TFLOPS |
+217% |
| Энергоэффективность |
Базовая |
На 40% выше |
+40% |
| Поддержка FP8 |
Нет |
Да (с Transformer Engine) |
Новая функция |
Энергопотребление и требования к инфраструктуре
| Параметр |
Значение |
| Типовое энергопотребление (при нагрузке) |
8–10 кВт |
| Максимальное энергопотребление |
12–15 кВт |
| Требования к охлаждению |
30,000–40,000 BTU/час |
| Требования к электропитанию |
Выделенная линия 32A/380V или 63A/220V |
| Рекомендуемая инфраструктура |
Горячий/холодный коридор, контейнерное размещение опционально |
Dell PowerEdge XE9680 — это самый мощный сервер с GPU в линейке Dell, созданный для эпохи генеративного ИИ. Конфигурация с 8 × NVIDIA H200 и 2 TB оперативной памяти обеспечивает беспрецедентную производительность для самых требовательных AI-нагрузок