4.0 KiB
Voice Changer Trainer and Player Container
概要
AIを使ったリアルタイムボイスチェンジャーMMVCのトレーニングと実行を簡単にするためのヘルパーDockerコンテナです。 このコンテナを用いることで、以下のことを簡単に行うことができます。
- MMVCトレーニング用の音声録音
- MMVCのモデルのトレーニング
- MMVCモデルを用いたリアルタイム声質変換（ボイスチェンジャ）
- リアルタイム話者切り替え
- CPU/GPU切り替え
- リアルタイム/ニアリアルタイム声質変換
使用方法
使用方法等はwikiをご参照ください。
MMVCのトレーニング用音声データと、実行時の音声入力の考え方
なお、「MMVCトレーニング用の音声録音」と「MMVCモデルを用いたリアルタイム声質変換」では同一のノイズキャンセル技術が使用されています。 一般にMMVCなどのAI/機械学習を用いたアプリケーションでは、学習データと似たデータをボイスチェンジャに入力することが望ましいとされます。「MMVCトレーニング用の音声録音」と「MMVCモデルを用いたリアルタイム声質変換」を本コンテナに統一することで、実行時の精度が向上する可能性があります。
関連技術
本レポジトリでは、関連するボイスチェンジャとしてsoft-vcに注目しています。soft-vcにもリアルタイムでボイスチェンジできるようにしています。下記の「Docker不要な実行方法」のセクションからご利用ください。
Docker不要な実行方法
本コンテナの一部の機能は、Google ColabやGithub Pagesを利用することで、ローカルPCにDockerの環境を用意することなく利用可能になっています。
お気軽に利用することが可能ですので、試しに使用してみてください。
トレーニング用音声録音アプリ
MMVCトレーニング用の音声を簡単に録音できるアプリです。 Github Pagesにおいてあります。下記リンクにアクセスすることで利用可能です。
録音したデータは、ブラウザ上に保存されます。外部に一切漏れることはありません。
また、Google Colab上にサーバを立てて利用することもできます。 こちらを使うと、録音データをGoogle Drive上に保存することができるようになります。MMVCのトレーニングをColab上で行う場合は、こちらを使用すると多少の手間が省けます。 コラボのノート
使用方法はwikiをご覧ください。
簡易デモ(MMVC)
MMVCを用いたボイスチェンジャです。
動画との差分
- サーバの起動完了のメッセージは、「Debuggerほにゃらら」ではなく「Application startup complete.」です。
- プロキシにアクセスする際に、index.htmlを追加する必要はありません。
簡易デモ(soft-vc)
soft-vcを用いたボイスチェンジャです。