Ревью ML-сервера: PyTorch, Transformers и FastAPI

learning

runtime-skills — это скилл для Claude Code, который содержит best practices и чеклисты код-ревью для Universal Runtime LlamaFarm: локального ML-сервера с OpenAI-совместимыми эндпоинтами на базе HuggingFace-моделей. Скилл охватывает четыре специализированных раздела — PyTorch (управление устройствами, dtype, очистка памяти), Transformers (загрузка моделей, токенизация, инференс), FastAPI (дизайн API, стриминг, lifespan) и Performance (батчинг, кэширование, оптимизации) — и расширяет общие Python-практики проекта. Внутри описаны ключевые паттерны: double-checked locking при загрузке моделей, TTL-кэш с автоматической выгрузкой неактивных моделей (5 мин), device-aware операции с тензорами (CUDA/MPS/CPU) и запуск блокирующих GGUF-моделей через ThreadPoolExecutor. Скилл не вызывается напрямую пользователем (user-invocable: false) и предназначен для автоматического применения Claude при работе с кодом в директории runtimes/universal/ на Python 3.11+.