Hugging Face Accelerate — распределённое обучение PyTorch

★ 7.7 · devops

accelerate — это скилл для Claude Code, который упрощает переход к распределённому обучению PyTorch-моделей: достаточно добавить 4 строки кода, чтобы скрипт заработал на любом железе — от одного GPU до многоузловых кластеров. Единый API охватывает DeepSpeed (ZeRO-2/3), FSDP, Megatron и DDP без изменения основной логики обучения; поддерживаются mixed precision FP16, BF16 и FP8. Интерактивная команда `accelerate config` задаёт конфигурацию за несколько вопросов, а `accelerate launch` запускает скрипт в любом окружении. Скилл покрывает gradient accumulation, автоматическое размещение тензоров на устройствах и интеграцию с экосистемой HuggingFace (transformers, torch). Подходит ML-инженерам, которым нужно быстро масштабировать тренировочный пайплайн без переписывания кода под конкретный бэкенд.