Распределенная оптимизация с композитом в условиях гомогенности данных

20 May 2025, 14:31
12m
Поточная Арктики (УЛК2) (МФТИ)

Поточная Арктики (УЛК2)

МФТИ

Математическая оптимизация 20-Математическая оптимизация

Speaker

Roman Maksimov (MIPT)

Description

В настоящее время важной задачей математической оптимизации стало федеративное обучение, когда данные и/или части оптимизируемой функции распределены между множеством клиентских устройств и сервером, содержащим большую часть данных и обладающим наибольшими вычислительными мощностями. В такой ситуации ключевым становится не количество итераций алгоритма, а количество коммуникаций между клиентом и сервером, причем, используя знания о гомогенности данных на устройствах и сервере, можно варьировать количество коммуникаций по тем или иным данным, сокращая количество “тяжелых” коммуникаций. В нашей работе к такой задаче с коммуникационно тяжелым композитом строится стохастический проксимальный метод со смещенным аппроксиматором, в попытке добиться как наилучших оценок сходимости, так и разделения сложностей, а также проводятся численные эксперименты.

Primary author

Co-authors

Presentation materials