Что нового!

Мы выпустили аналог клиента Text To Speech.
- Вы можете насладиться генерацией голоса через простой интерфейс.
- Подробнее здесь.
Код тренировки Beatrice V2 теперь доступен!
- Репозиторий кода обучения
- Версия для Colab
v.2.0.70-beta (only for m1 mac)
- ЗДЕСЬ
- Новые функции:
  - В версии VCClient для Mac на базе M1 теперь поддерживается Beatrice v2 beta.1.
v.2.0.69-beta (только для Windows)
- ЗДЕСЬ
- Исправления ошибок:
  - Исправлена ошибка, из-за которой кнопка запуска не отображалась в случае некоторых исключений
  - Настроен выходной буфер для режима серверного устройства
  - Исправлена ошибка, при которой изменялась частота дискретизации при изменении настроек в режиме серверного устройства
  - Исправлена ошибка при использовании японского hubert
- Прочее:
  - Добавлен фильтр API хоста (выделено) для режима серверного устройства
v.2.0.65-beta
- ЗДЕСЬ
- Новые функции: теперь поддерживается Beatrice v2 beta.1, обеспечивающая ещё более качественное преобразование голоса.

Что такое VC Клиент

Это клиентское ПО для выполнения преобразования голоса в реальном времени с использованием различных AI для преобразования голоса. Поддерживаемые AI:
- MMVC (только v1)
- so-vits-svc (только v1)
- RVC (Retrieval-based Voice Conversion)
- DDSP-SVC (только v1)
- Beatrice JVS Corpus Edition экспериментальный (не по лицензии MIT, см. readme), только для Windows, зависит от процессора (только v1).
- Beatrice v2 (только v2).
Распределение нагрузки между разными ПК Реализация преобразования голоса работает по схеме "сервер-клиент". Вы можете запустить сервер MMVC на отдельном ПК для минимизации влияния на другие ресурсоёмкие процессы, такие как стриминг или игры.

Кроссплатформенная совместимость Поддерживаются Windows, Mac (включая Apple Silicon M1), Linux и Google Colaboratory.

Как использовать

Это приложение для изменения голоса с использованием MMVC и so-vits-svc.

Есть два основных способа использования, в порядке сложности:

Использование готового исполняемого файла.
Настройка окружения с Docker или Anaconda.

(1) Использование готовых исполняемых файлов

Вы можете скачать и запустить готовые исполняемые файлы.
Смотрите здесь для получения руководства (устранение неполадок).
Теперь можно попробовать на Google Colaboratory (требуется аккаунт ngrok). Запустите через кнопку "Открыть в Colab" в верхнем левом углу.

Мы предлагаем версии для Windows и Mac на Hugging Face.
v2 для Windows:
- Скачайте и используйте vcclient_win_std_xxx.zip. Преобразование голоса можно выполнять с использованием мощного процессора без GPU или с использованием DirectML для GPU (AMD, Nvidia). v2 поддерживает как torch, так и onnx.
- Если у вас Nvidia GPU, скачайте vcclient_win_cuda_xxx.zip для более быстрого преобразования.
v2 для Mac (Apple Silicon):
- Скачайте и используйте vcclient_mac_xxx.zip.
v1:
- Для Windows с Nvidia GPU скачайте ONNX (cpu, cuda), PyTorch (cpu, cuda).
- Для Windows с AMD/Intel GPU скачайте ONNX (cpu, DirectML) и PyTorch (cpu, cuda). AMD/Intel GPU поддерживаются только для ONNX моделей.
Для пользователей Windows: после распаковки zip-файла запустите соответствующий start_http.bat файл.
Для Mac: после распаковки zip-файла дважды щёлкните на startHttp.command. Если появится сообщение о невозможности проверки разработчика, нажмите Ctrl и повторно запустите.
Если подключаетесь удалённо, используйте .command (Mac) или .bat (Windows) файл с https вместо http.
Энкодер DDPS-SVC поддерживает только hubert-soft.
Скачать с hugging face

(2) Использование после настройки окружения с Docker или Anaconda

Клонируйте этот репозиторий и используйте его. Для Windows требуется настройка WSL2. Для Mac нужно настроить виртуальные среды Python, например Anaconda. Этот метод обеспечивает наивысшую скорость в большинстве случаев. Даже без GPU можно получить достаточную производительность на современном процессоре (смотрите раздел о производительности в реальном времени ниже).

Видео-инструкция по установке WSL2 и Docker

Видео-инструкция по установке WSL2 и Anaconda

Для запуска Docker смотрите start docker.

Для запуска на Anaconda venv смотрите руководство разработчика.

Для запуска на Linux с AMD GPU смотрите руководство.

Подпись программного обеспечения

Это ПО не подписано разработчиком. Появится предупреждение, но его можно запустить, нажав на иконку с удержанием клавиши Ctrl. Это связано с политикой безопасности Apple. Использование ПО на ваш риск.

https://user-images.githubusercontent.com/48346627/212569645-e30b7f4e-079d-4504-8cf8-7816c5f40b00.mp4

Благодарности

Это ПО использует голосовые данные бесплатного материала персонажа "Цукуёми-тян", предоставленного CV. Юмесаки Рэй.

Tsukuyomi-chan Corpus (CV. Yumesaki Rei)

https://tyc.rei-yumesaki.net/material/corpus/

Авторское право. Юмесаки Рэй(Yumesaki Rei), Все права защищены.

9.5 KiB Raw Blame History Unescape Escape