quant.cpp — LLM на CPU без GPU и зависимостей

★ 6.7 · vibe-coding

score — это скилл для Claude Code, который помогает работать с quant.cpp — открытой C-библиотекой для запуска больших языковых моделей на потребительском железе без GPU и внешних зависимостей. Библиотека реализует 6.4× сжатие KV-кэша с потерей перплексии менее 3%, что позволяет использовать контекст 128K токенов на Mac с 16 ГБ RAM. Установка через `pip install quantcpp`, затем доступны CLI-команды `pull`, `run`, `serve` и Python API из трёх строк; сервер экспонирует OpenAI-совместимый эндпоинт `POST /v1/chat/completions` с SSE-стримингом. По замерам на Llama 3.2 3B подход «полный документ без чанкинга» даёт 7/7 правильных ответов против 0/7 у chunk-RAG при неверно извлечённой секции. Скилл подойдёт разработчикам, которые ищут локальный инференс LLM без облака и хотят заменить RAG-пайплайны полноконтекстной обработкой документов.