Метрический анализ пространства параметров глубоких нейросетей

19 May 2023, 18:00
15m
Физтех.Арктика, Поточная аудитория (МФТИ)

Физтех.Арктика, Поточная аудитория

МФТИ

Computer & Data Science Computer & Data Science 19

Speaker

Ruslan Nasyrov (MIPT)

Description

Исследуется проблема снижения размерности пространства параметров модели машинного обучения. Решается задача восстановления временного ряда. Для восстановления используются авторегресионные модели: линейные, автоенкодеры, реккурентные сети ~--- с непрерывным и дискретным временем. Проводится метрический анализ пространства параметров модели. Предполагается, что отдельные параметры модели, случайные величины, собираются в векторы, многомерные случайные величины, анализ взаимного расположения которых в пространстве и представляет предмет исследования данной работы. Этот анализ снижает число параметров модели, оценивает значимости параметров, отбирая их. Для определения положения вектора параметров в пространстве оцениваются его матожидание и матрица ковариации с помощью методов \textit{бутстрэпа}, оценки в процессе \textit{SGD} и байесовской нейросети. Эксперименты проводятся на задачах восстановления синтетических временных рядов, квазипериодических показаний акселерометра, датасетах IRIS и MNIST.

Primary authors

Presentation materials