Ensemble aware optimization in federated learning

18 May 2025, 17:58
12m
Клуб Выпусников

Клуб Выпусников

ТЦ Дирижабль, ул. Первомайская 3а
Машинное обучение и нейросети 18-Машинное обучение и нейросети

Speakers

Amir Zainullin (MIPT) Timofey Belinsky (MIPT)

Description

В то время как ансамблевые методы традиционно обучают модели независимо, в этой статье исследуется смешанный подход,
который сочетает независимое обучение с оптимизацией совместных потерь. Удивительно, но эта идея имеет потенциал
в нескольких вариантах ансамблевого обучения. Наше направление относится к федеративному обучению (FL),
где мы стремимся обучать ансамбль как глобальную модель. Мы предлагаем новый алгоритм для этих задач.
С помощью обширных экспериментов мы демонстрируем, что наши предлагаемые подходы превосходят известные бейзлайны в сценариях FL с
экстремальной неоднородностью данных.

Primary authors

Co-author

Dmitrii Feoktistov (Faculty of Computational Mathematics and Cybernetics of Moscow State University (MSU))

Presentation materials