Experiential — шлюз и роутер для LLM API

★ 8.3K

Experiential — это открытый инструмент (open-source шлюз и роутер) для агентных AI-рабочих процессов, который объединяет hosted-, BYOK- и локальные модели под единым OpenAI-совместимым API и учится оптимизировать маршрутизацию на основе реального трафика. Берут, когда устали переплачивать за LLM API через посредников, когда нужен единый endpoint для нескольких провайдеров сразу (OpenAI, Anthropic, Gemini, Azure, Bedrock, Fireworks, OpenRouter), когда команда хочет контролировать, какие агенты и пользователи к каким моделям обращаются и сколько тратят, или когда нужно превратить накопленный трафик в специализированный роутер или дообученную модель. Написан на Python, устанавливается через pip install experiential, запускается локально командой exp — поднимает нативный data plane на loopback; есть также управляемая hosted-платформа на platform.experientiallabs.ai с тем же API. Поддерживает OpenAI и Anthropic SDK без изменения кода. Умеет захватывать трафик из Claude Code и Codex (функция capture, только macOS, Python 3.13+), строить симуляцию из OTLP-трассировок и запускать файнтюнинг через Tinker. Направление — маршрутизация и оптимизация исходящих LLM-запросов, а не приём входящих или хостинг моделей. Подойдёт командам с реальным агентным трафиком; захват трафика пока экспериментальный и только на macOS.