Описание
NVIDIA A100 PCIE — NVIDIA A100 PCIe GPU 40 GB высокопроизводительного ускорителя ИИ.
Спецификация A100
| Ядра CUDA | 6912 |
|---|---|
| Потоковые мультипроцессоры | 108 |
| Тензорные ядра | Поколение 3 | 432 |
| Память графического процессора | 40 ГБ HBM2e ECC по умолчанию |
| Интерфейс памяти | 5120-битный |
| Пропускная способность памяти | 1555 Гбит/с |
| NVLink | Двунаправленный 2-сторонний, 2-слотовый, 600 ГБ/с |
| Поддержка MIG | Да, до 7 экземпляров графического процессора |
| FP64 | 9,7 ТФЛОПС |
| Тензорное ядро FP64 | 19,5 ТФЛОПС |
| FP32 | 19,5 ТФЛОПС |
| Тензорное ядро TF32 | 156 TFLOPS |
| Тензорное ядро BFLOAT16 | 312 Тфлопс |
| Тензорное ядро FP16 | 312 Тфлопс |
| Тензорное ядро INT8 | 624 ТОПЫ |
| Тепловые решения | Пассивный |
| Поддержка vGPU | Виртуальный вычислительный сервер NVIDIA (vCS) |
| Системный интерфейс | PCIE 4.0 x16 |
Общая мощность платы: по умолчанию 300 Вт / максимум 300 Вт / минимум 150 Вт
Обзор A100
Графический процессор NVIDIA A100 Tensor Core обеспечивает беспрецедентное ускорение на всех уровнях для самых производительных в мире эластичных центров обработки данных для искусственного интеллекта, анализа данных и высокопроизводительных вычислений (HPC). Являясь основой платформы центров обработки данных NVIDIA, A100 обеспечивает до 20 раз более высокую производительность по сравнению с предыдущим поколением NVIDIA Volta. A100 можно эффективно масштабировать или разделить на семь изолированных экземпляров графического процессора, а Multi-Instance GPU (MIG) обеспечивает единую платформу, которая позволяет гибким центрам обработки данных динамически адаптироваться к меняющимся требованиям рабочей нагрузки.
A100
A100 — это часть комплексного решения NVIDIA для центров обработки данных, которое включает в себя аппаратные средства, сетевые технологии, программное обеспечение, библиотеки, а также оптимизированные модели и приложения искусственного интеллекта от NGC. Являясь самой мощной комплексной платформой искусственного интеллекта и высокопроизводительных вычислений для центров обработки данных, она позволяет исследователям получать реальные результаты и внедрять решения в производственную среду в больших масштабах, а ИТ-специалистам — оптимизировать использование каждого доступного графического процессора A100.
Процессор на базе NVIDIA Ampere
Архитектура
A100 ускоряет выполнение больших и малых рабочих нагрузок. Независимо от того, используете ли вы MIG для разделения графического процессора A100 на более мелкие экземпляры или NVLink для подключения нескольких графических процессоров для ускорения выполнения крупномасштабных рабочих нагрузок, A100 легко справляется с приложениями разных размеров, от самых маленьких задач до самых больших многоузловых рабочих нагрузок.
NVIDIA A100
HBM2e
Благодаря 40 и 80 гигабайтам (ГБ) памяти с высокой пропускной способностью (HBM2e) A100 обеспечивает улучшенную пропускную способность 1,6 ТБ/с, а также более высокую эффективность использования динамической памяти с произвольным доступом (DRAM) — 95 процентов. A100 обеспечивает в 1,7 раза более высокую пропускную способность памяти по сравнению с предыдущим поколением.
Использование для корпоративных целей
ИТ-менеджеры стремятся максимально использовать (как пиковые, так и средние) вычислительные ресурсы в центре обработки данных. Они часто используют динамическую реконфигурацию вычислительных ресурсов, чтобы правильно распределять их в соответствии с используемыми рабочими нагрузками.
H100 с MIG позволяет менеджерам инфраструктуры стандартизировать свою инфраструктуру, ускоряемую графическим процессором, и при этом гибко предоставлять ресурсы графического процессора с большей степенью детализации, чтобы безопасно предоставлять разработчикам необходимый объем ускоренных вычислений и оптимизировать использование всех ресурсов графического процессора.
Третье поколение
Тензорные ядра
Технология NVIDIA Tensor Core, впервые представленная в архитектуре NVIDIA Volta, значительно ускорила обучение ИИ и операции вывода, сократив время обучения с недель до часов и значительно ускорив процесс вывода. Архитектура NVIDIA Ampere основана на этих инновациях и обеспечивает в 20 раз более высокую скорость работы искусственного интеллекта. Это достигается за счет повышения производительности существующих прецизионных процессоров и внедрения новых — TF32, INT8 и FP64, — которые ускоряют и упрощают внедрение искусственного интеллекта и расширяют возможности тензорных ядер NVIDIA для HPC.
