Mamba — эффективные SSM-модели без трансформерного квадрата

★ 7.7 · ai-tooling

mamba — это скилл для Claude Code, который реализует архитектуру Mamba (selective state-space model) с линейной сложностью O(n) вместо квадратичной O(n²) у трансформеров. Скилл охватывает обе версии: Mamba-1 с d_state=16 и Mamba-2 с d_state=128 и многоголовой структурой с поддержкой тензорного параллелизма. Доступна загрузка предобученных моделей от 130M до 2.8B параметров с HuggingFace через `MambaLMHeadModel.from_pretrained`, генерация текста и бенчмаркинг скорости относительно трансформеров. Работает без KV-кэша, что снижает расход памяти и обеспечивает 5× ускорение инференса при обработке сверхдлинных последовательностей (100K+ токенов). Требует Linux, NVIDIA GPU, PyTorch 1.12+ и CUDA 11.6+; зависимости: mamba-ssm, causal-conv1d, torch, transformers.