Firecrawl — скрапинг сайтов для ИИ и RAG

★ 148.7K

Firecrawl — это открытый сервис обхода и скрапинга сайтов, который отдаёт страницы в виде, пригодном для языковой модели. Его берут, когда нужно превратить чужой сайт в данные: собрать документацию в базу знаний, вытащить карточки товаров и цены, подготовить корпус для RAG, дать агенту возможность читать веб. Страница возвращается чистым Markdown, структурированным JSON по заданной схеме или скриншотом — без меню, рекламы и разметки, то есть результат можно класть в модель без дополнительной обработки. Берёт на себя тяжёлую часть: работает с сайтами на JavaScript, сам крутит прокси и обходит блокировки, ходит по ссылкам вглубь. Есть облачный сервис и возможность развернуть у себя. Помните про правовую сторону: условия использования сайтов и законы о персональных данных никуда не деваются.