Оценка RAG-модели сессионных вложений

★ 7.2 · testing

session-rag-eval — это скилл для Claude Code, который запускает и отлаживает оценку RAG-модели сессионных вложений Chatbox на синтетических и реальных длинных файлах-фикстурах. Скилл проверяет два аспекта поведения модели: корректный вызов `query_session_attachment` при ответах по загруженному большому файлу и отсутствие лишнего обращения к поиску для не связанных с файлом запросов. Фикстуры охватывают синтетические документы со скрытыми «иголками», реальные статьи Wikipedia, прямые и неявные позитивные сценарии, а также негативные (несвязанные) случаи. Для полноценной продуктовой валидации используется Chatbox-харнес через Electron, охватывающий рендерер, локальный API, загрузку файлов, индексацию, SQLite-базу и сохранение сообщений; для быстрой итерации по поведению модели доступен режим `--dry-run` без Electron. Подходит QA-инженерам, тестирующим деградацию RAG-пайплайнов в чат-приложениях с большими вложениями.