Red-teaming и аудит безопасности LLM

★ 7.3 · security

Безопасность AI-систем (наступательный аспект) — это скилл для Claude Code, который реализует методологию наступательного тестирования безопасности AI и LLM-систем по структурированному чеклисту: prompt injection, jailbreaking, model extraction, poisoning обучающих данных, adversarial inputs, memory poisoning, tool chaining escalation, tokenization exploits и другие векторы атак. Берут, когда нужно провести red-teaming языковой модели перед выпуском, когда заказчик просит проверить, насколько легко обойти контентные фильтры продукта на базе LLM, когда исследуется, возможна ли утечка данных через RAG-пайплайн или плагины, или когда требуется задокументировать поверхность атаки AI-агента с инструментами. Внутри — полный офензивный чеклист из репозитория SnailSploit/offensive-checklist: разведка компонентов системы (LLM, API, источники данных, плагины), оценка уязвимостей с инструментами garak и LLMFuzzer, эксплуатация цепочек уязвимостей, исследование постэксплуатационных сценариев (кража модели, латеральное движение). Охватывает механизмы атак на мультимодальные модели, multi-agent фреймворки (AutoGPT, CrewAI, LangChain Memory), виртуализационные атаки и конфликты политик провайдеров. Направление — наступательное тестирование, а не защита и харденинг AI-систем. Скилл применять только законно, на своих или авторизованных системах, с явного разрешения владельца.