Petals — это система с открытым исходным кодом, которая делает работу с большими нейронными сетями доступной не только корпорациям с суперкомпьютерами, но и небольшим командам исследователей. Система делит модель на несколько блоков и размещает их на разных серверах, которые могут находиться в любой точке планеты. Все желающие могут присоединиться к одному из них, чтобы поделиться вычислительной мощностью своей видеокарты. Волонтёры могут подключаться и отключаться в любой момент — это не повлияет на происходящие в сети процессы.
Помимо доклада о Petals в программу NeurIPS 2023 вошли ещё семь исследований учёных из команды Yandex Research.
- Новый алгоритм ускоренной адаптации диффузионных генеративных сетей под пользовательские изображения. С ним процесс может проходить до восьми раз быстрее.
- Новый алгоритм прореживания передовых трансформерных моделей для компьютерного зрения. Он убирает часть менее эффективных параметров, уменьшает размер модели и ускоряет её работу без потери качества.
- Новая метрика для квантификации степени гетерофильности заданного графа. Определять наличие гетерофильности необходимо для выбора более подходящей модели.
- Оценка устойчивости передовых моделей графовых нейросетей к различным сдвигам в распределении обучающих и тестовых данных.
- Работа, которая показывает, что дизайн и протокол обучения модели можно создать таким образом, что подсказки разработчика в области нейро-алгоритмического обоснования (NAR) больше не будут нужны. Нейросеть может научиться эффективно приближать классические алгоритмы без них.
- Новая схема распределённой оптимизации для задач вариационных неравенств. Подход радикально снижает количество передаваемых по сети данных, что приводит к ускорению работы модели.
- Анализ стохастического градиентного спуска (один из основных методов обучения нейросетей) с нижними оценками на его сложность — на примере задачи с вариационными неравенствами.