GigaAM — распознавание речи и эмоций

★ 831

GigaAM — это семейство открытых акустических моделей на Python для распознавания речи и эмоций от команды SaluteSpeech, лицензия MIT. Берут, когда нужно расшифровывать звонки колл-центра, голосовые сообщения и записи совещаний; когда важна точность на русском; когда нужно распознавать казахский, киргизский и узбекский; когда аудиозаписи нельзя отправлять в облако. Внутри: Conformer-энкодер на 220–600 млн параметров и четыре линейки — v1, v2, v3 (предобучены на русской речи) и multilingual (70+ языков, 2 млн часов аудио; на английском качество умеренное). Модели v3-e2e выдают текст с пунктуацией и нормализацией; есть CTC- и RNNT-декодеры, модель эмоций GigaAM-Emo, метки времени на уровне слов, экспорт в ONNX, Triton Inference Server и дообучение. Нужны Python 3.10+ и ffmpeg; веса лежат на Hugging Face. Метод transcribe рассчитан на аудио до 25 секунд, для длинных записей нужны pyannote.audio и токен Hugging Face. Направление — речь в текст, а не синтез речи. По данным авторов, e2e-модели выигрывают у Whisper-large-v3 в соотношении 70:30 по оценке LLM-судьи. Подойдёт для локального запуска; не подходит для генерации голоса.