Группа Rubytech протестировала российские LLM на китайских GPU

Группа Rubytech, лидер в области разработки ПАК и решений для инфраструктуры высоконагруженных ИТ-систем, завершила испытания российских LLM на
графических процессорах (GPU) китайского производства. На базе программно-аппаратного комплекса собственного производства «Машина искусственного интеллекта» специалисты вендора проверили, подходит ли подобная конфигурация для построения корпоративной ИИ-инфраструктуры. Результаты тестирования подтвердили, что на данном оборудовании российские модели работают стабильно. Тем самым доказана возможность построения корпоративной ИИ-инфраструктуры без ускорителей NVIDIA, что расширяет для компаний выбор при проектировании ИИ-проектов.

На развитие корпоративного ИИ влияет не только качество моделей, но и доступность вычислительных ресурсов. Компаниям, внедряющим ИИ-сервисы внутри собственного контура, важно учитывать стоимость оборудования, возможность масштабирования, безопасность и отсутствие зависимости от одного поставщика. В последние годы технологическим стандартом для задач машинного обучения оставались решения NVIDIA. Но стремительный рост спроса на ИИ привел к дефициту GPU и росту стоимости оборудования, что заставило рынок активнее искать альтернативные платформы.

Для России вопрос особенно актуален: обеспечение технологической независимости, включающей собственные LLM и корпоративные ИИ-сервисы, требует соответствующей вычислительной базы. Она поможет запускать решения внутри собственного контура и адаптировать инфраструктуру под конкретные задачи. Одним из направлений этой работы стала проверка совместимости отечественных моделей с различными ускорителями. Наиболее высокий спрос на локальную ИИ-инфраструктуру сегодня формируют государственный сектор, компании с госучастием и организации критической информационной инфраструктуры: для них принципиально важно разворачивать модели внутри собственного контура и иметь доступную аппаратную платформу для масштабирования.

В ходе испытаний специалисты Группы Rubytech проверили работу одной из ведущих российских LLM на китайских GPU — Cotype 3 от MWS AI. Для этого инженеры подготовили программное окружение, которое позволило адаптировать модель под альтернативную аппаратную платформу без использования ускорителей NVIDIA. На тестах оценивались ключевые параметры работы системы при повышенной нагрузке: скорость обработки запросов, время отклика и стабильность работы при увеличении объема данных.

Модификация Машины искусственного интеллекта Скала^р с восемью китайскими GPU показал качественную производительность, которая в наиболее распространенных сценариях инференса сопоставима с конфигурациями на базе NVIDIA H100. Например, при обработке 27k токенов время генерации первого токена (mean TTFT) составило около 8К ms, а межтокенная задержка (TPOT) — от 111 ms и выше, что полностью соответствует требованиям корпоративных сценариев применения.

Отдельно в компании оценили влияние программной оптимизации на итоговые показатели. Благодаря настройкам драйверов, программного окружения и инструментов оркестрации в отдельных сценариях удалось получить производительность в 2-2.2 раза выше, чем с использованием исходной программной среды для этих GPU. Использование контейнерной архитектуры дополнительно упрощает развертывание моделей и сокращает время перехода от тестирования к промышленной эксплуатации.

Возможность работать с разными аппаратными платформами снижает зависимость от одного поставщика и дает больше свободы при проектировании ИИ-систем, но чем они масштабнее, тем дороже. Связка «китайские GPU — российская платформа (ПАК) — отечественная LLM», благодаря тестам, становится легитимным вариантом для корпоративных внедрений: компании могут учитывать доступность оборудования, требования конкретных задач и необходимость дальнейшего масштабирования.

Отдельный вопрос — совокупная стоимость владения (TCO). Стоимость графических процессоров составляет основную долю бюджета ИИ-проектов и напрямую влияет на затраты при запуске и развитии ИИ-ландшафта, включая стоимость обработки запросов и расширение вычислительных мощностей. В отдельных сценариях сравнение конфигураций на базе китайских GPU и систем с NVIDIA H100 показывает, что альтернативная аппаратная база может быть экономически оправданным решением для корпоративных проектов и позволяет снижать совокупную стоимость владения при масштабировании ИИ-сервисов. При этом речь не идет о полном отказе от действующих технологических стеков, но для рынка критически важно использование различных вариантов оборудования в зависимости от бюджета проекта, характера задач и требований к производительности.

«Настоящая технологическая независимость — не абстрактный лозунг, а строгая инженерная логика: она начинается там, где у заказчика есть реальная, технически выверенная альтернатива на каждом уровне стека. Российский рынок в сегменте ИИ-моделей и ПО этот путь уже прошел, а в сегменте оборудования процесс только набирает обороты.

Результаты тестирования Cotype 3 на китайских GPU в составе Машины ИИ от Группы Rubytech не просто подтверждают нашу гипотезу — они служат практическим доказательством того, что строить ИИ‑инфраструктуру без привязки к одному вендору не только возможно, но и необходимо в текущих условиях», — комментирует Антон Юдин, руководитель направления ИИ, Группа Rubytech.

Текущий этап испытаний лег в основу развития платформы. В обозримой перспективе Группа Rubytech планирует расширить программу ИИ-тестирования: проверить работу решения с новым поколением китайских GPU и совместимость платформы с расширенным набором российских промышленных и корпоративных ИИ-сервисов. Это позволит оценить, в каких задачах такой подход может быть максимально востребован, и определить приоритетные направления его использования.