Crawl4AI — веб-скрейпинг для языковых моделей

★ 73.3K

Crawl4AI — это открытый инструмент для обхода сайтов и сбора их содержимого, заточенный под то, чтобы результат сразу шёл в языковую модель. Его берут, когда нужно собрать базу знаний по документации или блогу, вытащить статьи и карточки товаров для анализа, подготовить корпус для RAG-конвейера, отслеживать изменения на страницах конкурентов. Ключевое отличие от обычного скрейпера: страница отдаётся не сырым HTML, а чистым Markdown — с заголовками, таблицами, блоками кода и ссылками, без меню, рекламы и разметки. Такой текст можно класть в модель или в векторную базу без дополнительной чистки. Умеет вытаскивать структурированные поля по схеме, обходить сайт по ссылкам вглубь, работать с динамическими страницами через браузер и запускаться параллельно. Ставится как Python-библиотека или поднимается сервисом в контейнере.