Аудит доступности сайта для AI-краулеров

★ 7.4 · marketing

geo-crawlers — это скилл для Claude Code, который анализирует доступность сайта для AI-краулеров: проверяет robots.txt, мета-теги и HTTP-заголовки, чтобы определить, какие боты могут индексировать контент. Скилл работает с полным списком краулеров — GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended и другими — и классифицирует их по приоритету влияния на видимость в AI-поиске. По данным Originality.ai (2025), более 35% топ-1000 сайтов случайно блокируют хотя бы одного крупного AI-краулера из-за устаревших настроек robots.txt. На выходе скилл формирует полную карту доступа и конкретные рекомендации: что разрешить, что ограничить и как не выпасть из ChatGPT Search, Perplexity и Claude при сохранении контроля над контентом. Подходит для SEO-специалистов и владельцев сайтов, которые хотят присутствовать в ответах генеративных AI-систем.