Распределенная оптимизация с композитом в условиях гомогенности данных

20 May 2025, 14:43
12m
Поточная Арктики (УЛК2) (МФТИ)

Поточная Арктики (УЛК2)

МФТИ

Математическая оптимизация 20-Математическая оптимизация

Speaker

Ekaterina Alimaskina (MIPT)

Description

В последние годы одной из ключевых задач математической оптимизации стало федеративное обучение — сценарий, в котором данные и/или компоненты оптимизируемой функции распределены между множеством клиентских устройств и центральным сервером, обладающим наибольшими вычислительными ресурсами и часто хранящим основную часть данных. В таких условиях важную роль играет не столько количество итераций алгоритма, сколько число коммуникационных раундов между клиентами и сервером. При этом, используя информацию о гомогенности распределения данных, можно адаптивно регулировать частоту обменов, уменьшая количество ресурсоёмких коммуникаций. В данной работе рассматривается задача с коммуникационно затратным композитом; для её решения предлагается стохастический проксимальный метод со смещённым аппроксиматором, направленный на достижение оптимальных оценок сходимости при сохранении разделения сложностей. Также представлены результаты численных экспериментов, подтверждающие эффективность предложенного подхода.

Primary author

Co-authors

Presentation materials