Promptfoo — проверка промптов и защита ИИ-приложений

★ 8.0 · testing

Promptfoo — это плагин для Claude Code, который помогает подключить модели и цели, написать наборы проверок и запустить сканирование на уязвимости для приложений на основе языковых моделей. Сам Promptfoo — консольная утилита и библиотека с открытым кодом под лицензией MIT: она тестирует промпты, агентов и RAG, сравнивает модели рядом (OpenAI, Anthropic, Azure, Bedrock, Ollama и другие) и проводит red teaming, то есть ищет слабые места вроде обхода защиты. Подойдёт, когда нужно проверить качество промптов перед релизом, сравнить, какая модель отвечает лучше, встроить проверки в CI/CD или просмотреть пулреквесты на проблемы безопасности, связанные с LLM. Проверки запускаются локально, промпты не покидают ваш компьютер. Установка самой утилиты: npm install -g promptfoo, затем promptfoo init --example getting-started; для большинства провайдеров нужен свой API-ключ. Команды promptfoo eval и promptfoo view запускают проверку и показывают результаты. Для разработчиков ИИ-агентов и чат-ботов.