Описание
NVIDIA Jetson AGX Thor Developer Kit — Локальный запуск LLM и генеративного ИИ
NVIDIA Jetson AGX Thor Developer Kit позволяет разворачивать современные большие языковые модели (LLM), мультимодальные модели (VLM) и системы генеративного искусственного интеллекта непосредственно на устройстве — без обязательной передачи данных в облако.
Благодаря 128 ГБ LPDDR5X с пропускной способностью 273 ГБ/с, архитектуре NVIDIA Blackwell и производительности до 2070 FP4 TFLOPS, Jetson AGX Thor подходит для создания автономных AI-систем, способных одновременно обрабатывать данные камер, LiDAR, радаров и выполнять инференс нейросетевых моделей.
На платформе могут использоваться различные семейства современных моделей, в том числе:
- Llama
- Qwen
- Mistral
- Gemma
- Phi
- модели семейства DeepSeek
- специализированные Vision-Language Models (VLM)
- собственные модели, развернутые с использованием экосистемы NVIDIA
Конкретный размер запускаемой модели и скорость генерации зависят от архитектуры модели, длины контекста, используемой точности и квантизации.
AI непосредственно на роботе
Jetson AGX Thor позволяет создавать системы, в которых LLM работает непосредственно на роботе или автономной машине. Например, платформа может использоваться для:
- голосового управления роботом на естественном языке;
- анализа изображения с нескольких камер;
- понимания окружающей сцены;
- обработки данных LiDAR и радаров;
- принятия решений на основе информации от нескольких датчиков;
- построения автономных AI-агентов;
- генерации и выполнения последовательностей действий;
- интеллектуального человеко-машинного интерфейса;
- локального поиска и анализа технической документации;
- работы с мультимодальными моделями «текст + изображение + видео».
Главное преимущество локального запуска — низкая задержка, отсутствие постоянной зависимости от облачного сервиса и возможность обработки конфиденциальных данных непосредственно на устройстве.
Характеристики:
Производительность искусственного интеллекта: 2070 терафлопс (FP4 — разреженные данные)
Графический процессор: Графический процессор NVIDIA Blackwell с 2560 ядрами и 96 тензорными ядрами пятого поколения
Максимальная Частота графического процессора: 1,57 ГГц
Память: 128 ГБ, 256-битная память LPDDR5X 273 ГБ/с
Хранение: 1 ТБ NVMe M.2 Key M Slot
PCIe: Слот M.2 Key M с интерфейсом x4 PCIe Gen5 |Слот M.2 Key E с интерфейсом x1 PCIe Gen5
Потребление: 40–130 Вт
Размеры: 243,19 мм x 112,40 мм x 56,88 мм
Теплоотводящая пластина (TTP) и дополнительный вентилятор или радиатор
Графический процессор Blackwell, обработка данных с датчиков и программное обеспечение для робототехники
Суперкомпьютер для гуманоидов
Ускорьте работу генеративного ИИ и больших моделей-трансформеров на периферии с помощью графического процессора Blackwell с производительностью 2070 FP4 TFLOPS.
Высокоскоростная обработка сенсоров
Получайте высокоскоростные данные с датчиков для работы в режиме реального времени с помощью сети 4x 25 GbE, механизма разгрузки данных с камер и сенсорного моста Holoscan.
Роботизированное Программное Обеспечение искусственного интеллекта
Представляем решение, разработанное для гуманоидной робототехники и приложений физического ИИ на базе платформы NVIDIA Isaac™ и базовых моделей GR00T.
Надежная защита
Обеспечьте комплексную защиту и безопасность вычислительной платформы, моделей ИИ и всего конвейера от периферии до облака.
Начните работу с NVIDIA Jetson Thor
Комплект разработчика Jetson Thor AGX обеспечивает непревзойденную производительность и масштабируемость для гуманоидов и физического ИИ. В этом видео показаны его ключевые функции, технические характеристики и компоненты, а также способы включения и первой загрузки. Кроме того, демонстрируются некоторые из новейших рабочих процессов, в том числе Isaac GR00T N1, поиск и обобщение видео (VSS) и NVIDIA Holoscan Sensor Bridge.
