LoRA

LoRA (Low-Rank Adaptation) — метод адаптации LLM-моделей, при котором веса предобученной модели фиксируются, а к ним добавляются обучаемые матрицы низкого ранга. Метод позволяет значительно уменьшить количество параметров, необходимых для дообучения модели на новые задачи, сохраняя её производительность.