|
|
||
|---|---|---|
| demo | ||
| docker | ||
| docs | ||
| frontend/dist | ||
| script | ||
| template | ||
| work_dir | ||
| .gitignore | ||
| LICENSE | ||
| MMVCTrainerFrontendDemo.ipynb | ||
| package-lock.json | ||
| package.json | ||
| README.md | ||
| SoftVcDemo.ipynb | ||
| start2.sh | ||
| start_v0.1.sh | ||
| VoiceChangerDemo_Simple.ipynb | ||
| VoiceChangerDemo.ipynb | ||
| VoiceRecorder.ipynb | ||
Voice Changer Trainer and Player Container
概要
AIを使ったリアルタイムボイスチェンジャーMMVCのヘルパーアプリケーションです。
MMVCで必要となる一連の作業（トレーニング用の音声の録音、トレーニング、ボイスチェンジャ）をお手軽に実行できます。
Dockerを前提としたアプリケーションですが、Github PagesとGoogle Colaboratory上での実行も可能です。（Google Colaboratoryの制約により使用感が一部悪いです。）
このアプリケーションを用いることで、以下のことを簡単に行うことができます。
- MMVCトレーニング用の音声録音 (GithubPages (Docker不要))
- MMVCのモデルのトレーニング (Dockerを強く推奨、Colabでも可)
- MMVCモデルを用いたリアルタイムボイスチェンジャー（Docker推奨、Colabでも可）
- リアルタイム話者切り替え
- CPU/GPU切り替え
- リアルタイム/ニアリアルタイム声質変換
本アプリケーションのリアルタイムボイスチェンジャーは、サーバ・クライアント構成で動きます。MMVCのサーバを別のPC上で動かすことで、ゲーム実況など他の負荷の高い処理への影響を抑えながら動かすことができます。（MacのChromeからも利用できます！！）
使用方法
詳細な使用方法等はwikiをご参照ください。
トレーニング用音声録音アプリ
MMVCトレーニング用の音声を簡単に録音できるアプリです。 Github Pages上で実行できるため、Dockerの準備は不要です。
録音したデータは、ブラウザ上に保存されます。外部に一切漏れることはありません。
詳細な使用方法はwikiをご覧ください。
トレーニング用アプリ
MMVCのトレーニングを行うアプリです。 Dockerでの実行を強く推奨します。
詳細な使用方法等はwikiをご参照ください。
Colaboratoryでの実行を行う場合は、次のノートから実行できます。
Colaboratoryで実行する場合は、Colabの制約により途中切断が発生する可能性があります。Web上では各種対策が示されていますので、必要に応じて各自でご対応をお願いします。また、途中切断に備え、こまめなモデルのダウンロードをお勧めします。
ボイスチェンジャーアプリ
Dockerでの使用を推奨します。一部ユーザ体験が劣化しますが、次のノートでColaboratoryでの実行も可能です。
動画との差分
- サーバの起動完了のメッセージは、「Debuggerほにゃらら」ではなく「Application startup complete.」です。
- プロキシにアクセスする際に、index.htmlを追加する必要はありません。
詳細な使用方法等はwikiをご参照ください。
デモ動画
リアルタイム性
GPUを使用すると100msec強の遅延で変換することが可能です。
CPUでも最近のであればそれなりの速度で変換可能。
古いCPU( i7-4770)だと、1000msecくらいかかってしまう。
Misc
簡易デモ(soft-vc)
soft-vcを用いたボイスチェンジャです。