PEFT

PEFT-методы (Parameter-Efficient Fine-Tuning) — это подходы к дообучению LLM-моделей, которые позволяют сократить количество обучаемых параметров, сохраняя при этом высокую производительность модели.

Основная идея PEFT-методов заключается в адаптации небольшого числа параметров, а не всей модели, что делает процесс дообучения более эффективным и менее ресурсоёмким.

Примеры PEFT-методов включают Low-Rank Adaptation (LoRA), адаптацию через мягкие промпты (prompt tuning) и другие техники, использующие небольшие модули или слои для дообучения.