Генерация поэзии стратегией Сначала последнее слово при дообучении языковых моделей

17 May 2025, 15:54
12m
Клуб Выпусников

Клуб Выпусников

ТЦ Дирижабль, ул. Первомайская 3а
Машинное обучение и нейросети 17-Машинное обучение и нейросети

Speaker

Никита Вамбриков

Description

В работе предлагается стратегия дообучения LLM Последнего слова сначала, которая переносит ключевое для рифмовки слово в начало каждой строки, сохраняя при этом левосторонний порядок генерации и тем самым позволяя использовать преимущества предварительно обученных моделей. Эксперименты на корпусе песенных текстов на английском, что данная стратегия значительно повышает точность рифмовки и читабельность по сравнению с существующим подходом обратного языкового моделирования, при этом требуя меньше данных и вычислений.

Primary authors

Presentation materials