Scrapling — адаптивный веб-скрейпинг на Python

★ 84.4K

Scrapling — это открытый Python-фреймворк для сбора данных с сайтов, от одного запроса до полноценного краулинга; его парсер запоминает элементы и находит их заново, когда вёрстка страницы меняется. Берут, когда нужно следить за ценами конкурентов, а сайт постоянно перерисовывают, когда скрипты ломаются после каждого обновления фронтенда, когда страницу защищает Cloudflare Turnstile и обычные запросы не проходят, или когда нужен крупный обход с несколькими сессиями, паузой и продолжением. Внутри: адаптивный парсер (css с adaptive=True и auto_save), фетчеры Fetcher, AsyncFetcher, StealthyFetcher и DynamicFetcher, фреймворк пауков (Spider) с параллельными сессиями, автоматической ротацией прокси и скоростью обхода, которая подстраивается под ответы сайта и притормаживает при блокировке, потоковая выдача с живой статистикой, CLI и MCP-сервер. Ставится через pip. Направление — извлечение данных со сторонних сайтов; применять только законно, на ресурсах, где сбор разрешён, и с соблюдением их условий использования. Подойдёт тем, кто пишет на Python и хочет одну библиотеку для всех задач сбора; без кода и графического интерфейса она не работает. Лицензия BSD-3-Clause.