LocalAI — локальный сервер моделей с OpenAI-совместимым API

LocalAI — это самостоятельно размещаемый движок для запуска моделей на своём железе: LLM, а также голосовые, визуальные и графические модели, без передачи данных наружу. Берут как приватную замену облачным API: поднять у себя генерацию текста, распознавание и синтез речи, генерацию изображений и эмбеддинги — и обращаться к ним через API, совместимый с OpenAI, чтобы существующие приложения переключались почти без правок. Архитектура «малого ядра»: бэкенды llama.cpp, vLLM, whisper.cpp, stable-diffusion, MLX и другие подключаются как модули под нужную модель и железо; работает и без GPU. Направление — единый локальный сервер под разные типы моделей с OpenAI-совместимым API, а не десктопный чат в один клик (для этого LM Studio/Ollama) и не облачный сервис: это серверный компонент, который вы разворачиваете и интегрируете в свои сервисы.