# Исследователи Yandex Research показали, как запускать большие языковые модели в распределённой сети пользовательских

> Учёные Яндекса создали его совместно с коллегами из Университета Вашингтона и Hugging Face.

В программу одной из самых авторитетных международных конференций по машинному обучению NeurIPS 2023 вошло исследование команды Yandex Research о системе Petals. Учёные Яндекса создали его совместно с коллегами из Университета Вашингтона и Hugging Face. Исследование демонстрирует экономически эффективный подход к запуску и тонкой настройке больших языковых моделей (LLM) благодаря использованию распределённой сети компьютеров с графическими ускорителями потребительского класса.
Petals — это система с открытым исходным кодом, которая делает работу с большими нейронными сетями доступной не только корпорациям с суперкомпьютерами, но и небольшим командам исследователей. Система делит модель на несколько блоков и размещает их на разных серверах, которые могут находиться в любой точке планеты. Все желающие могут присоединиться к одному из них, чтобы поделиться вычислительной мощностью своей видеокарты. Волонтёры могут подключаться и отключаться в любой момент — это не повлияет на происходящие в сети процессы.
Помимо доклада о Petals в программу NeurIPS 2023 вошли ещё семь исследований учёных из команды Yandex Research.

Новый алгоритм ускоренной адаптации диффузионных генеративных сетей под пользовательские изображения. С ним процесс может проходить до восьми раз быстрее.

Новый алгоритм прореживания передовых трансформерных моделей для компьютерного зрения. Он убирает часть менее эффективных параметров, уменьшает размер модели и ускоряет её работу без потери качества.

Новая метрика для квантификации степени гетерофильности заданного графа. Определять наличие гетерофильности необходимо для выбора более подходящей модели.

Оценка устойчивости передовых моделей графовых нейросетей к различным сдвигам в распределении обучающих и тестовых данных.

Работа, которая показывает, что дизайн и протокол обучения модели можно создать таким образом, что подсказки разработчика в области нейро-алгоритмического обоснования (NAR) больше не будут нужны. Нейросеть может научиться эффективно приближать классические алгоритмы без них.

Новая схема распределённой оптимизации для задач вариационных неравенств. Подход радикально снижает количество передаваемых по сети данных, что приводит к ускорению работы модели.

Анализ стохастического градиентного спуска (один из основных методов обучения нейросетей) с нижними оценками на его сложность — на примере задачи с вариационными неравенствами.

---
Раздел: пресс-релизы
Темы: искусственный интеллект
Опубликовано: 2023-12-24
Источник: https://www.content-review.com/articles/62853/