PEFT — файн-тюнинг LLM через LoRA и QLoRA

★ 7.7 · ai-tooling

peft — это скилл для Claude Code, который реализует параметрически-эффективную тонкую настройку LLM через LoRA, QLoRA и более 25 методов адаптеров из официальной библиотеки HuggingFace PEFT. Скилл позволяет файн-тюнить модели размером 7B–70B на потребительских GPU (RTX 4090, A100), обучая менее 1% параметров — например, адаптер весит 6 МБ против 14 ГБ полной модели. QLoRA с 4-битным квантованием через bitsandbytes даёт возможность обучить 70B-модель на одном GPU с 24 ГБ памяти, принимая около 5% потери качества относительно полного файн-тюнинга. Зависимости включают peft ≥ 0.13.0, transformers ≥ 4.45.0, torch ≥ 2.0.0 и bitsandbytes ≥ 0.43.0. Подходит командам, которым нужно быстро итерировать несколько task-specific адаптеров поверх одной базовой модели при ограниченных вычислительных ресурсах.