tgoop.com/neuraldeep/1523
Last Update:
Whispex+Frontend+Open-source
Ваш личный/корпоративный/безопасный транскрибатор который можно доделать до крутого MVP
И так как вы помните я рассказывал тут про свой опыт AI кодинга (когда ни строчки не пишу сам)
Вышло достаточно сложно но если кратко ОНО не работает если ты не стараешься (как из мема "Да ладно?")
Меня все просили выпустить это чудо-юдо в open-source(нашел минимум 10 реквестов!) но неугомонные руки Артёма доделали это чудо до https://speechcoreai.com (вменяемого прод решения которое почти не валится под нагрузкой, его увы выкладывать не будем), кстати он собрал огромный опус своих действий болей и проблем, он как синьор из тех тестов что форсят уже 3 дня решил взять и погрузится только в задачи чатинга LLM внутри курсора на пару недель
Но мы немного поразмышляли (я выпросил пару вечеров)
Встречайте!
Локальный домашний безопасный сервис whisperx-fronted-docker-compose полностью AI VIBE CODING 3000
Что переделал:
все конфиги через env
вырезал все хардкоды урлов
упростил сборку
выкинул кучу мусора
вырезал саммари из хардкода js файла перенес на бэкенд
как мог поработал над стабильностью (увы синхронщины оч много)
Удалил все лишние зависимости, база файлов в s3 сессии и бд в json)
Как поднимать (нужно будет два сервера или две видяхи) можно vllm взять удаленный
Берем локальную модель не тупее 7b на vllm
Берем еще сервер с 8гб памяти у видяхи
Делаем
git clone https://github.com/vakovalskii/whisperx-fronted-docker-compose
docker compose build
docker compose up -d `
Ииии, вы прекрасный у вас свой локальный сервис ASR (там даже есть апи)
Так как за основу взят whisperx то на rtx4500 скорость анализа записи длиной 1:30ч занимает 4 минуты
Юзабилити в массы!
BY Neural Kovalskii
Share with your friend now:
tgoop.com/neuraldeep/1523