GLM-OCR — распознавание сложных документов

★ 7.5K

GLM-OCR — это открытая мультимодальная OCR-модель для сложных документов на архитектуре GLM-V: визуальный энкодер CogViT, лёгкий кросс-модальный коннектор и языковой декодер GLM-0.5B, всего около 0,9 млрд параметров. Берут, когда нужно достать текст и структуру из PDF и сканов с плотными таблицами, формулами, печатями или кодом, когда обычный OCR теряет разметку страницы, или когда распознавание надо встроить в сервис с высокой нагрузкой и малой задержкой. Работает в два этапа: разметка страницы на базе PP-DocLayout-V3 и параллельное распознавание областей; на OmniDocBench V1.5 авторы заявляют 94,62 балла. Установка: pip install glmocr. Запускать можно через облачный API Zhipu MaaS (GPU не нужен), локально через vLLM или SGLang, а также через Ollama и mlx-vlm на Apple Silicon; есть режим Skill для вызова из CLI и Python и связка сервер плюс клиент без GPU на клиенте. Веса в BF16 лежат на Hugging Face и ModelScope, дообучение описано через LLaMA-Factory. Результат — Markdown и JSON с разметкой. Для самостоятельного хостинга нужна видеокарта с достаточной памятью; это инструмент распознавания, а не генерации изображений.