LitGPT — обучение и файн-тюнинг языковых моделей

★ 7.7 · ai-tooling

litgpt — это скилл для Claude Code, который реализует и обучает LLM с помощью LitGPT от Lightning AI, поддерживая 20+ предобученных архитектур: Llama, Gemma, Phi, Qwen, Mistral. Скилл предоставляет однофайловые реализации без дополнительных уровней абстракции — это делает архитектуру трансформеров прозрачной и пригодной для изучения. Ключевые сценарии: скачивание моделей через `litgpt download`, полный файн-тюнинг (`litgpt finetune`), эффективная адаптация через LoRA/QLoRA (`litgpt finetune_lora`) с настройкой ранга от 8 до 64 и опциональным слиянием весов, а также предобучение с нуля на собственных данных с поддержкой multi-GPU через FSDP. Зависимости — litgpt, torch, transformers. Подходит ML-инженерам и исследователям, которым нужны воспроизводимые эксперименты, production-файн-тюнинг на одном GPU от 8 ГБ или понятный обучающий код по устройству LLM.