Speaker
Description
Методы DL (глубокое обучение) исторически не выигрывали у классических ML-моделей на задачах с табличными данными, состоящими из категориальных, бинарных и числовых признаков. Более того, модели основанные на градиентном бустинге решающих деревьев (как СatBoost, XGBoost) зачастую значительно выигрывали нейросети. Однако современные модели, основанные на полносвязных сетях (MLP) начали превосходить стандартные GBDT-архитектуры.
В данной работе исследуется применение в Tabular DL новой архитектуры нейросетей — Kolmogorov-Arnold Networks (KANs) [1]. Эти модели основаны на теореме Колмогорова-Арнольда о представлении многомерной функции в виде суммы и композиции одномерных функций. Но в отличии от MLP, линейные весы и фиксированные активации заменены на обучаемые одномерные функции активации, параметризованные сплайнами. Гипотетически такой подход повышает точность аппроксимации сложных зависимостей и адаптивность модели.
