NeMo Curator — подготовка данных для обучения LLM

★ 7.7 · data

nemo-curator — это скилл для Claude Code, который упрощает работу с GPU-ускоренным инструментом NVIDIA NeMo Curator для подготовки высококачественных обучающих данных для LLM. Скилл охватывает полный пайплайн: фильтрацию качества (30+ эвристик), точную и нечёткую дедупликацию на основе MinHash+LSH (в 16 раз быстрее CPU на наборах вроде 8TB RedPajama v2), семантическую дедупликацию через эмбеддинги, редакцию PII и NSFW-фильтрацию. Поддерживаются все модальности: текст, изображения, видео и аудио; масштабирование идёт через RAPIDS и Dask на несколько GPU с почти линейным ростом производительности. Подойдёт командам, которые чистят веб-данные (Common Crawl), дедуплицируют большие корпуса или собирают мультимодальные датасеты для обучения моделей.