Машина искусственного интеллекта Скала^р: промышленный фундамент для доверенного ИИ

Искусственный интеллект становится одним из важных факторов конкурентоспособности. Согласно исследованию McKinsey, более половины опрошенных организаций отмечают, что ИИ способствует их инновациям, и уже экспериментируют с ИИ-агентами. Однако, несмотря на преимущества, внедрение ИИ существенно затрудняется комплексом системных барьеров. Компании сталкиваются с высокой стоимостью технологической инфраструктуры, дефицитом профильных специалистов и высокими интеграционными рисками, что зачастую превращает перспективные ИИ-инициативы в затяжные проекты с трудно прогнозируемым итогом.

Машина искусственного интеллекта Скала^р МИИ помогает преодолеть барьеры на пути к внедрению ИИ. Это программно-аппаратный комплекс (ПАК), который берет на себя всю сложность построения ИИ-инфраструктуры, позволяя бизнесу сосредоточиться на главном: разработке и внедрении моделей, приносящих измеримый экономический эффект. Подробности о нем и обзор — в статье.

Описание продукта

Машина ИИ Скала^р — это единый преднастроенный аппаратно-программный комплекс для обучения и исполнения моделей с гарантированной производительностью и отказоустойчивостью. В отличие от разрозненных решений, где заказчик вынужден самостоятельно интегрировать серверы, сети, СХД и ПО, Машина поставляется как целостный продукт, в котором работа всех компонентов (включая драйверы, прошивки и инструменты управления) согласована на этапе проектирования и протестирована до релиза.

Продукт предназначен для высоконагруженных информационных систем и обеспечивает работу с большими и малыми языковыми моделями (LLM/SLM), классическим машинным обучением (ML) и системами компьютерного зрения (CV) в защищенном контуре предприятия.

Особенности

Высокая производительность

В основе Машины лежат передовые технологии распределенных вычислений, включая NVLink, которые позволяют обрабатывать и передавать данные, а также поддерживают все популярные фреймворки для машинного обучения: TensorFlow, PyTorch, Keras и другие. Один рабочий узел ПАК обеспечивает производительность не менее 6 Пфлопс в формате TF32 (в формате FP32 — не менее 400 Тфлопс) и способен разместить языковую модель размером  235 млрд параметров и выше без квантования.

Ключевым элементом архитектуры является использование технологий прямого доступа к памяти (RDMA) и GPU Direct. Это позволяет объединять ресурсы множества графических процессоров (GPU) в единый вычислительный пул, минимизируя задержки при передаче данных. Сетевые взаимодействия между узлами с GPU работают на скоростях до 1,6 Тбит/с Ethernet с поддержкой RDMA RoCEv2 и GPUDirect, что создает кратный прирост производительности при кластеризации.

Еще одна особенность — высокая плотность контейнеризации, деления и развертывания микросервисов ИИ. По словам разработчика, в ближайшем будущем планируется добавить возможность адаптации ресурсов GPU на MIG и профили.

Масштабируемость

В Машину искусственного интеллекта Скала^р заложена гибкая система масштабирования под изменяющиеся нагрузки, которая позволяет поддерживать отказоустойчивость всей системы при росте инфраструктуры.

• Вертикальное: наращивание числа GPU в рабочих узлах.
• Горизонтальное: добавление новых рабочих узлов (воркеров) в кластер.

По словам разработчика и производителя, архитектура ПАКа позволяет экономить до 20–40% ресурсов при масштабировании за счет эффективного распределения вычислительных мощностей и планировании запускаемых задач, что критически важно при эксплуатации сотен дорогостоящих GPU.

Единое управление 

Машина искусственного интеллекта Скала^р позволяет работать с моделями ИИ и вычислительной инфраструктурой через единое окно — программную платформу Спектр ИИ. Интерфейс ориентирован на три типа пользователей: 

• конечных специалистов/бизнес-пользователей (юристов, разработчиков, финансистов), использующих готовые ИИ-ассистенты для решения повседневных задач;
• DevOps-инженеров, получающих инструменты для оптимизации работы и управления инфраструктурой;
• дата-сайентистов (аналитиков), которым необходима среда для сборки сложных рабочих процессов, создания кастомных ассистентов и интеграции различных языковых моделей.

Центральное управление системой позволяет отслеживать состояние ресурсов и контролировать использование вычислительной мощности. С помощью панели управления можно получить информацию о количестве рабочих узлов и графических процессоров, о запущенных моделях и имеющейся нагрузке. Система автоматически распознает доступные графические процессоры (включая NVIDIA и китайские карты) и позволяет назначать задачи без ручного указания ресурсов. Пользователь выбирает пул GPU или пул хостов, а инфраструктура сама определяет доступные ресурсы на узлах. Это закладывает основу для дальнейшего развития: управления сетью и прямым доступом между хостами через RDMA (Remote Direct Memory Access).

Возможность настройки языковой модели

Интерфейс Машины позволяет выполнять тонкую настройку языковых моделей и запускать чат с ними. Это дает возможность напрямую взаимодействовать с моделью, используя ее как «второго пилота» (copilot) для формирования или развития ИИ-ландшафта. Поддерживается интеграция с разными моделями, а проверка корректности их работы критически важна для заказчиков с высокими требованиями к SLA.

По словам разработчика, в следующем релизе в коллаборации с партнерами будет добавлена функциональность MLOps: автоматизация развертывания, управление версиями, масштабирование и безопасность.

Подробнее — в обзоре Компьютерры