Mistral — локальный запуск LLM на своём железе

★ 9.5k

mistral-src — это референсный репозиторий Mistral AI с минимальным кодом инференса для локального запуска open-weight моделей семейства Mistral без тяжёлых фреймворков. Берут, когда нужно поднять модель Mistral на своём железе, разобраться в устройстве инференса и sliding-window attention на чистом читаемом коде или взять его за основу для своей интеграции. Покрывает линейку от Mistral 7B и Mixtral 8x7B/8x22B до Codestral, Mathstral, Mistral Nemo и мультимодальных Pixtral; веса скачиваются напрямую, запуск идёт из командной строки или Python. Это компактная эталонная реализация для запуска и обучения, а не высоконагруженный прод-сервер: для скорости и батчинга в бою берут vLLM, а для простого локального чата без кода — Ollama. Официальный устанавливаемый пакет вынесен в mistral-inference.