RWKV — работа с гибридной RNN-трансформер моделью

★ 7.7 · ai-tooling

rwkv — это скилл для Claude Code, который помогает работать с архитектурой RWKV (Receptance Weighted Key Value) — гибридом RNN и трансформера с линейной сложностью O(n) при инференсе, бесконечным контекстом и отсутствием KV-кэша. Скилл охватывает установку через pip, загрузку моделей с поддержкой CUDA, работу в GPT-режиме (параллельная обработка) и RNN-режиме (последовательная обработка), потоковую генерацию токенов и обработку сверхдлинных последовательностей — память остаётся константной O(1) независимо от длины контекста. Поддерживается файнтюнинг через PyTorch Lightning и DeepSpeed. RWKV — проект Linux Foundation, применяется в Windows, Office и NVIDIA NeMo; актуальная версия RWKV-7 (март 2025) предлагает модели до 14B параметров. Подходит разработчикам, которым нужен деплой с ограниченной памятью, стриминговые приложения или обработка документов длиной от 100K токенов и выше.