Веб-интерфейс для локального запуска LLM

text-generation-webui — это веб-интерфейс для локального запуска больших языковых моделей, своего рода «панель управления» для работы с открытыми LLM. Берут, когда нужен гибкий локальный интерфейс к моделям с множеством настроек: чат и генерация текста, загрузка разных форматов моделей и бэкендов, тонкая настройка параметров сэмплирования, работа с персонажами и инструкциями, расширения, а также дообучение (LoRA) под свои данные. Запускается на своём железе (лучше с GPU). Направление — универсальный настраиваемый веб-UI для запуска и экспериментов с локальными LLM, включая файнтюн, а не десктопное приложение в один клик (Jan/LM Studio) и не серверный движок для нагрузки (vLLM): ценность — максимум контроля и возможностей для энтузиастов и исследователей в одном интерфейсе. По задаче соседствует с Jan и Open WebUI; отличие — упор на гибкость, множество бэкендов и обучение. Подойдёт тем, кто хочет глубоко экспериментировать с локальными моделями и их дообучением.