Conveners
18-Машинное обучение и нейросети
- Kirill Ivanov (Moscow Institute of Physics & Technology (MIPT))
18-Машинное обучение и нейросети
- Kirill Ivanov (Moscow Institute of Physics & Technology (MIPT))
Abstract:
Мы расширяем результат статьи Gloeckle (2024), заключающийся в том, что LLM обученная с несколькими дополнительными головами (используя метод multi token prediction) получается лучшего качества. В нашей работе мы показываем, что используя multi token prediction, можно улучшить также качество Fine Tuning-а моделей. Также в данной работе улучшения появляются начиная с размера...
Несмотря на значительные успехи глубокого обучения в обработке изображений и текстов, его применение к табличным данным традиционно сталкивалось с существенными ограничениями. Ансамблевые методы, такие как XGBoost и CatBoost, долгое время демонстрировали превосходство над нейронными сетями в задачах обработки табличных данных, сочетающих категориальные, числовые и бинарные признаки. Однако в...
Абстракт. Задача визуального определения местоположения (visual place recognition) является ключевой для обеспечения надежной локализации и навигации автономных роботов. Однако использование визуальных данных сопряжено с трудностями, связанными с изменением ракурса камеры и частичными изменениями окружающей сцены, например, из-за перемещения объектов. Алгоритм SegVLAD предлагает решение этих...
В современном мире активно используются языковые модели и не менее важно их правильное дообучение (fine-tuning), например, техника low rank adaptation (LoRA), которая добавляет к выделенным слоям тренируемые параметры. Однако LoRA требует много памяти для достижения точных результатов, потому что на все слои добавляются адаптеры одинаковых рангов, и интуиции, на какие слои ее необходимо...
Language models have become central to many AI applications. Effective fine-tuning
is essential to adapt these models to specific tasks. Traditional methods like Low-Rank
Adaptation (LoRA) add fixed-rank adapters to all layers, often resulting in memory
inefficiency due to non-optimal layer selection. We propose SimplexLoRA, a novel
fine-tuning framework that adaptively scales adapter...
In this paper, we address the problem of detecting manipulations in biological images. Ensuring the integrity of biological image data is essential for reliable scientific research. The study focuses on developing a model for pairwise image comparison using contrastive learning, demonstrating high pairwise comparison metrics to detect manual modifications or more subtle alterations. The...
Тезис:
В связи с улучшением качества машиносгенерированных изображений становится очень сложно отличать реальное изображение от сгенерированных. Существующие на данный момент решения имеют низкую обобщающую способность. В этой статье рассматриваются разные модели, в том числе несвязанные с нейронными сетями. Также используется вся существующая информацию и модели, для подбора наилучшего...
В наше время понимание того, как мозг воспринимает и обрабатывает внешние раздражители, имеет ключевое значение для развития нейронауки и совершенствования методов диагностики. В данной работе мы исследуем взаимосвязь между восприятием человеком окружающего мира и сигналами, регистрируемыми фМРТ-сканером. Анализ направлен на выявление корреляции между последовательностью фМРТ-изображений и...
В задачах промышленного контроля качества с использованием компьютерной томографии (КТ) критически важна точная сегментация внутренних дефектов объектов, таких как пористость, трещины и инородные включения. Несмотря на широкое распространение в медицине, современные нейросетевые архитектуры ещё не получили должного распространения в промышленной КТ.
В рамках данной работы был проведён...
Устная речь широко используется психиатрами для описания психического состояния пациентов, например выявления депрессии. Наиболее распространенный способ оценки степени депрессии это шкала Гамильтона(HDRS). Результаты ее применения все равно достаточно субъективны, поэтому возможность использования методов машинного обучения крайне актуальна. Доступность предобученных больших мульти-язычных...
Устная речь широко используется психиатрами для описания психического состояния пациентов, например выявления депрессии. Наиболее распространенный способ оценки степени депрессии это шкала Гамильтона(HDRS). Результаты ее применения все равно достаточно субъективны, поэтому возможность использования методов машинного обучения крайне актуальна. Доступность предобученных больших мульти-язычных...
В то время как ансамблевые методы традиционно обучают модели независимо, в этой статье исследуется смешанный подход,
который сочетает независимое обучение с оптимизацией совместных потерь. Удивительно, но эта идея имеет потенциал
в нескольких вариантах ансамблевого обучения. Наше направление относится к федеративному обучению (FL),
где мы стремимся обучать ансамбль как глобальную модель. Мы...
Пока традиционные методы ансамблирования обучают модели независимо, в данный работе исследуется гибридный подход, комбинирует независимое обучение с "joint loss"-оптимизацией. Неожиданно эта идея имеет потенциал в нескольких вариантах обучения ансамблей. Первый -- это "aligned training", где члены обучаются строить наиболее скоординированные прогнозы. Второе направление относится к...
Работа посвещена проблеме эквифинальностей моделей в области гидрологического прогнозирования. Исследуются классические модели машинного обучения на их восприимчивость к важным статическим характеристикам датасетов.
