Сегодня мы с вами научимся клонировать любой голос и воспроизводить его через текст (TTS - text to sound).
Делать мы всё это будем с помощью Fish Speech. Её отличительная особенность в том, что она с открытым исходным кодом, а следовательно бесплатная.
Использовать мы будем её локально на своём компьютере, системные требования - видеокарта Nvidia, от 8gb памяти для комфртной работы, но говоря, что работает и на 6gb (про AMD - без понятия, простите).
А так же мы создадим подобие подкаста, то есть сделаем озвучку диалогов несколькими голосами.
И сразу хочется отдельное спасибо сказать каналу Нейро-Софт (https://t.me/neuroport) за репак, там улучшен интерфейс, есть перевод с китайского языка на русский, а так же скачивание аудиодорожек доступно в форматах WAV, MP3, и FLAC. Плюс очень легко и быстро можно делать голосовые модели!
К тому же благодаря им установка будет гораздо проще и быстрее.
Ссылки из урока:
🔹 https://t.me/neuroport/134 - Fish Speech Mod Portrable ZIP (для одного голоса)
🔹 https://t.me/neuroport/150 - Fish Speech Dialogue DLC (для нескольких голосов)
🔹 https://t.me/neuroportchat/8/8090 - здесь скрипт, который нужно вставить в Start.bat после установки и затем удалить
🔹 https://t.me/neuroportchat/ - Тут чат с поддержкой по репаку
🔹 https://t.me/neuroportchat/6633 - тут база готовых голосов (можете делиться и своими тоже)
🔹 https://github.com/Const-me/Whisper - для транскрибации текста
🔹 https://huggingface.co/ggerganov/whisper.cpp/tree/main - тут модель для Whisper
🔹 https://mp3cut.net/ru/ - тут нарезаем аудио (1 минуты достаточно для обучения)
🔹 https://github.com/Anjok07/ultimatevocalremovergui - программа для удаления шума
🔹 https://github.com/fishaudio/fish-speech - Исходный код Fish-Speech на Github
⚡️ Отдельная благодарность за репак https://t.me/neuroport и https://t.me/neuro_art0
Не забудьте подписаться на наш тг-канал "Личка забита", где выходят
полезные уроки и актуальные новости по нейросетям:
⚡️ https://t.me/ls_zabito - вот сюда тык :)
Таймкоды:
0:00 - О чём видео
0:42 - Установка Fish Speech
02:10 - Ошибка RuntimeError: Numpy
03:53 - Интерфейс Fish Speech
04:25 - Создание голоса и настройки
05:19 - Результат 1
05:45 - Создаём свою модель голоса
06:36 - Моя запись
06:47 - Нарезаем запись в mp3cut
08:18 - Делаем текст для аудио
08:50 - Установка Whisper
11:02 - Установка Ultimate Vocal Remover
12:30 - Загружаем модель в Fish Speech
13:20 - Тестируем свой клон голоса
14:10 - Результат 2
14:34 - Результат 3
15:00 - Установка Fish Speech Dialogue
15:50 - Тестим Fish Speech Dialogue
16:35 - Результат 4
17:00 - Рекомендации