Speaker
Timofey Belinsky
(MIPT)
Description
Пока традиционные методы ансамблирования обучают модели независимо, в данный работе исследуется гибридный подход, комбинирует независимое обучение с "joint loss"-оптимизацией. Неожиданно эта идея имеет потенциал в нескольких вариантах обучения ансамблей. Первый -- это "aligned training", где члены обучаются строить наиболее скоординированные прогнозы. Второе направление относится к федеративному обучению, где мы стремимся обучать ансамбль как глобальную модель. Мы предлагаем новый алгоритм для решения этих задач, через эксперименты показывая, что он превосходит бейзлайны в сценариях федеративного обучения при высокой неоднородности данных.
Primary authors
Amir Zainullin
(MIPT)
Timofey Belinsky
(MIPT)
