Magnitude — браузерный агент на визуальном ИИ

★ 4.1K

Magnitude — это открытая TypeScript-библиотека для управления браузером на естественном языке: агент видит страницу как изображение, через визуально обученную модель определяет пиксельные координаты элементов и выполняет точные действия мышью и клавиатурой. Берут, когда нужно автоматизировать рутину на сайтах без API, когда хочется писать тесты веб-приложения человеческим языком с визуальными проверками, когда нужно извлечь структурированные данные из динамического интерфейса или подключить проверки в CI/CD. Внутри: act (высокоуровневые задачи и точечные действия, с передачей данных агенту), extract (данные по схеме Zod), встроенный тест-раннер magnitude-test. Старт — npx create-magnitude-app или npm i --save-dev magnitude-test && npx magnitude init. Нужна крупная визуально обученная модель: рекомендован Claude Sonnet 4, совместим Qwen-2.5VL 72B. Лицензия Apache 2.0. Vision-first подход опирается на координаты, а не на пронумерованные рамки вокруг элементов DOM, и не зависит от разметки страницы. Направление — управление браузером и автоматизация сайтов. Подойдёт TypeScript-проектам с доступом к совместимой модели; детерминированный кэш в README помечен как «в разработке».