Conveners
17-Машинное обучение и нейросети
- Kirill Ivanov (Moscow Institute of Physics & Technology (MIPT))
В работе исследуется проблема дообучения больших языковых моделей (LLM) в условиях ограниченных ресурсов. Под ограниченными ресурсами понимается видеопамять, человеческое участие и время обучения. В работе рассматриваются модели до 1.5B. Предлагается метод дообучения, основанный на внедрении адаптеров LoRA, малоранговых раложений матриц, в слои архитектуры трансформера, и использовании...
В данной работе исследуется применение методов оценки неопределенности для повышения качества детекторов машинно-сгенерированного текста при обработке данных, содержащих атаки, такие как омоглифы, перефразирование и зашумление. Эти атаки не только позволяют обходить детекцию, но и служат для тестирования устойчивости детекторов. Мы проверяем гипотезу о том, что методы оценки неопределенности...
В работе предлагается стратегия дообучения LLM Последнего слова сначала, которая переносит ключевое для рифмовки слово в начало каждой строки, сохраняя при этом левосторонний порядок генерации и тем самым позволяя использовать преимущества предварительно обученных моделей. Эксперименты на корпусе песенных текстов на английском, что данная стратегия значительно повышает точность рифмовки и...
В данной работе рассматривается задача классификации многомерного временного ряда, представляющего собой электроэнцефалограмму головного мозга человека. Стандартные подходы, использующие двухмерные свертки, не могут учесть пространственную структуру сигнала, поскольку датчики, считывающие показатели, находятся на сферической поверхности. В качестве решения предлагается использовать графовое...
Идентификация человека по походке является перспективным методом биометрической аутентификации, позволяющим распознавать личность на расстоянии без физического контакта. Проект направлен на разработку инструмента, который использует методы машинного обучения для анализа статических и динамических характеристик движения для идентификации. С помощью стереокамеры Realsense и алгоритма...
