ML-инжиниринг для больших языковых моделей

★ 7.3 · ai-tooling

ml-engineering — это скилл для Claude Code, который содержит проверенную на практике методологию и конкретные рецепты для обучения и эксплуатации крупных LLM/VLM/мультимодальных моделей от начала до конца. Материал основан на реальном опыте обучения BLOOM-176B и IDEFICS-80B: охватывает выбор и бенчмаркинг акселераторов, хранилищ и сети, оркестрацию через SLURM/Kubernetes, максимизацию MFU и работу с памятью через DP/TP/PP/ZeRO и offload, диагностику нестабильностей (NaN/Inf, loss spikes), чекпоинтинг и отказоустойчивость, а также отладку зависаний multi-node/multi-GPU и оптимизацию инференса. Скилл устроен как операционный runbook: помогает определить реальное узкое место — вычисления, память, сеть, хранилище или загрузка данных — и сразу перейти к нужному рецепту. Подходит инженерам, которые сталкиваются с OOM, низким TFLOPS, медленным dataloading, сбоями узлов или проблемами с чекпоинтами при обучении и файн-тюнинге больших моделей.