MOSS-TTS — модели синтеза речи и звука

★ 4.1K

MOSS-TTS Family — это семейство открытых моделей синтеза речи и звука от MOSI.AI и команды OpenMOSS: длинная озвучка, диалоги нескольких говорящих, клонирование и дизайн голоса, звуковые эффекты и потоковая озвучка в реальном времени. Берут, когда нужно озвучить длинный текст или подкаст с несколькими голосами; когда нужен голос по образцу для дубляжа; когда нужна потоковая озвучка с малой задержкой; когда надо сгенерировать звуки окружения для игры или видео. В семействе: MOSS-TTS-v1.5 (многоязычная озвучка, стабильное клонирование, управление паузами), MOSS-TTSD (диалоги, подкасты, дубляж), MOSS-TTS-Realtime (потоковая речь), MOSS-TTS-Nano (около 100 млн параметров, работает на 4 ядрах CPU), MOSS-SoundEffect-v2 (текст в звук до 30 секунд, DiT с Flow Matching) и Local-Transformer-v1.5 на 4B параметров с выводом 48 кГц стерео через MOSS-Audio-Tokenizer-v2. Инференс возможен через vLLM-Omni и SGLang-Omni с OpenAI-совместимым эндпоинтом /v1/audio/speech, а также через llama.cpp с GGUF и mlx-audio. Веса лежат на Hugging Face, лицензия Apache 2.0, код на Python. Направление — генерация речи и звука, а не распознавание. Голос клонировать только с согласия его владельца. Для распознавания речи нужен другой инструмент.