Inspect AI — анализ логов оценок моделей

data

read-eval-logs — это скилл для Claude Code, который читает и анализирует логи оценок Inspect AI с помощью Python API и CLI-команд. Скилл охватывает работу с файлами форматов .eval и .json: листинг логов по статусу (success, error, retryable), чтение полного лога или только заголовка, потоковую обработку сэмплов с экономией памяти, а также фильтрацию сэмплов с ошибками через summaries. Из ключевых операций — inspect log list, log dump, log convert, log schema и интерактивный просмотр через inspect view. Структуры EvalLog и EvalSample дают доступ к агрегированным метрикам, статистике использования модели, истории сообщений и транскрипту событий. Скилл полезен ML-инженерам и исследователям, которым нужно отлаживать прогоны оценок, изучать результаты по отдельным сэмплам или конвертировать форматы логов без написания скриптов с нуля.