Платформа SberCloud ML Space получила масштабное обновление

Компания SberCloud, провайдер облачных технологий, представила обновлённую платформу ML Space. Об этом в ходе международной конференции AI Journey 2021 заявил исполнительный вице-президент Сбербанка, СТО Сбера, руководитель блока «Технологии» Давид Рафаловский.

Самым значимым обновлением ML Space является то, что платформа стала мультикластерной. Пользователи могут обучать свои модели, используя мощности сразу двух самых мощных суперкомпьютеров в России — Christofari и Christofari Neo. А также использовать для обучения индивидуальные карты GPU V100 или A100. Это позволяет гибко управлять скоростью и стоимостью разработки в зависимости от потребностей и бюджета пользователя.

Эффективная производительность нового суперкомпьютера Christofari Neo в двойной точности составляет почти 12 петафлопс. В нём установлены самые мощные карты А100 на максимальные 80 гигабайт памяти.

Другое важное обновление платформы связано с крупнейшим пополнением библиотеки базовых docker-образов для ноутбуков, задач в платформе ML Space. Теперь клиент может самостоятельно создавать собственные docker-образы на основе базовых и запускать их без ошибок в ML Space. Всё это экономит время DS и сокращает их непроизводительную работу.

Ещё одно обновление облачной платформы ML Space касается модуля AutoML, который теперь стал доступен для задач NLP и Computer Vision. Раньше модуль по автоматическому созданию моделей работал только на табличных данных и уже тогда занимал высокие рейтинги в бенчмарках точности и производительности. Теперь разработчики и DS получили возможность работать с новыми классами задач.

Также Давид Рафаловский представил два новых модуля ML Space: AI Services и Pipelines. Модуль AI Services похож на маркетплейс мобильных приложений, которые позволяет публиковать и продавать разработанные сторонними DS сервисы и продукты с ML-составляющей. Для этого нужно загрузить свою модель и описать сервис на платформу в данный модуль, а вся необходимая обвязка продукта — например, авторизация, аутентификация, мониторинг и т.п. — будет предоставляться за счет SberCloud. Модуль запущен для бета-тестирования, а с марта 2022 будет открыта полноценная монетизация AI-сервисов, созданных сторонними специалистами в области машинного обучения.

Модуль Pipelines позволяет ставить на поток цикл экспериментов, и будет востребован продвинутыми DS. Благодаря этому модулю высвобождается еще больше времени у специалиста, которое он может посвятить, к примеру, разработке новой задачи или обработке данных.

Удобные сервисы и модули сделали платформу ML Space очень востребованной как среди разработчиков экосистемы Сбера, так и у дата-сайентистов из компаний любого размера и научных организаций. Всего за год ею воспользовались 1,5 тыс. человек из порядка 250 команд. За это время ими было использовано 2,5 петабайта данных и 300 млн GPU-минут.

ML Space делает ML-разработку ещё более доступной. В честь обновления платформы и запуска Christofari Neo увеличен размер гранта для тестового доступа на ML Space: первым 100 клиентам — юридическим лицам будут доступны 180 тысяч рублей.

Давид Рафаловский, исполнительный вице-президент Сбербанка, CTO Сбера, руководитель блока «Технологии»: «Мы знаем, как много времени дата-сайентисты тратят на подготовку инструментов для ML-разработки. Поэтому мы продолжаем активно обогащать ML Space дополнительными к модулями и фичами для удобства пользователей. Мы видим, насколько это мощный, высокотехнологичный и при этом доступный инструмент для разработки AI-сервисов. Наша задача — сделать ML-разработку максимально удобной. Могу заверить, что мы и впредь будем совершенствовать нашу платформу ML Space, а также продукты на её базе».