Единый шлюз для AI-провайдеров с OpenAI API
★ 7.9 · ai-tooling
omni-inference — это скилл для Claude Code, который предоставляет основные OpenAI-совместимые inference-эндпоинты: chat completions, embeddings, генерацию изображений, аудио (TTS/STT), модерацию контента, rerank и Responses API. Скилл работает как единый API-шлюз на порту 20128 и маршрутизирует запросы к нужному провайдеру — через универсальный эндпоинт или напрямую через `/api/v1/providers/{provider}/...`. Помимо OpenAI-формата поддерживаются Anthropic Messages API и Ollama-совместимый `/api/chat`. WebSocket-соединение позволяет стримить ответы и отменять запросы на лету, а отдельный live-канал (порт 20129) передаёт события дашборда с heartbeat каждые 15 секунд. Подходит разработчикам, которым нужен единый интеграционный слой для AI-агентов с поддержкой нескольких провайдеров под одним Bearer-токеном.
- #openai-compatible
- #chat-completions
- #embeddings
- #text-to-speech
- #api-gateway