HuggingFace Tokenizers — быстрая токенизация текста

★ 7.7 · ai-tooling

huggingface-tokenizers — это скилл для Claude Code, который обеспечивает высокопроизводительную токенизацию текста на основе Rust-реализации библиотеки HuggingFace Tokenizers, способной обработать 1 ГБ текста менее чем за 20 секунд. Скилл поддерживает три алгоритма: BPE (используется в GPT-2, RoBERTa), WordPiece (BERT, DistilBERT) и Unigram (ALBERT, T5), а также обучение кастомных токенайзеров с нуля с заданным размером словаря и специальными токенами. Доступны пакетное кодирование, паддинг, трункация и отслеживание выравнивания токенов к позициям в исходном тексте. Зависимости — tokenizers, transformers, datasets. Подходит для исследователей и инженеров, которым нужна быстрая токенизация больших корпусов или создание собственного токенайзера для доменно-специфичных NLP-задач.