MLX-GRPO — дообучение LLM методом GRPO на Apple Silicon

★ 245

MLX-GRPO — это конвейер обучения на чистом MLX, фреймворке Apple для машинного обучения, который дообучает большие языковые модели методом GRPO на компьютерах с Apple Silicon. GRPO — групповая относительная оптимизация политики, способ обучения с подкреплением, при котором ответы модели сравниваются внутри группы. Проект берут, когда хочется дообучить небольшую языковую модель прямо на Mac без облачных видеокарт, разобраться, как устроено обучение с подкреплением для LLM, на компактном и читаемом коде, или проверить идею с GRPO до переноса на большой кластер. Конвейер написан на Python и использует только MLX с бэкендом Metal, без PyTorch и CUDA; по описанию проекта, процесс включает подготовку набора данных и сам цикл обучения. В отличие от универсальных библиотек дообучения, MLX-GRPO сосредоточен на одном методе и одной платформе. У репозитория около 245 звёзд. Подходит только владельцам Mac на Apple Silicon; размер модели ограничен объёмом памяти компьютера, поддерживаемые модели стоит уточнить в репозитории.