Megatron-Core — распределённое обучение LLM на GPU

★ 7.7 · engineering

megatron-core — это скилл для Claude Code, который помогает обучать большие языковые модели от 2B до 462B параметров с использованием NVIDIA Megatron-Core. Фреймворк обеспечивает до 47% Model FLOP Utilization на GPU H100 за счёт тензорного, конвейерного, контекстного и экспертного параллелизма, а также sequence parallelism. Скилл охватывает полный цикл: выбор конфигурации параллелизма под размер модели, запуск распределённого обучения через torchrun или SLURM, настройку FP8-точности (даёт ускорение 1.5–2× на H100), обучение MoE-моделей с expert parallelism и мониторинг производительности. Подходит командам, которым нужно воспроизвести подходы Nemotron, LLaMA или DeepSeek в production-среде с максимальной эффективностью GPU.