| client | ||
| docker | ||
| docker_onnx | ||
| docs | ||
| script | ||
| server | ||
| .gitignore | ||
| Checklist.md | ||
| LICENSE | ||
| MMVCTrainerFrontendDemo.ipynb | ||
| package-lock.json | ||
| package.json | ||
| README.md | ||
| SoftVcDemo.ipynb | ||
| start2.sh | ||
| start_v0.1.sh | ||
| VoiceChangerDemo_Simple.ipynb | ||
| VoiceChangerDemo.ipynb | ||
| VoiceRecorder.ipynb | ||
Voice Changer Trainer and Player
概要
AIを使ったリアルタイムボイスチェンジャーMMVCのヘルパーアプリケーションです。
MMVCで必要となる一連の作業（トレーニング用の音声の録音、トレーニング、ボイスチェンジャ）の中で、音声の録音とボイスチェンジャを各種プラットフォームでお手軽に実行できます。
※ 公式のv1.3.2.0において、トレーニング用ノートブックに大幅なユーザビリティ向上がありました。簡単化を目指していたこちらのトレーニング用アプリの役目は終了したと思われますので開発をストップしています（2023/01/10)。今後は公式のトレーニングの利用を推奨します。
このアプリケーションを用いることで、以下のことを簡単に行うことができます。
- MMVCトレーニング用の音声録音 (GithubPages (ローカル環境構築不要))
- MMVCモデルを用いたリアルタイムボイスチェンジャー
- リアルタイム話者切り替え
- CPU/GPU切り替え
- リアルタイム/ニアリアルタイム声質変換
本アプリケーションのリアルタイムボイスチェンジャーは、サーバ・クライアント構成で動きます。MMVCのサーバを別のPC上で動かすことで、ゲーム実況など他の負荷の高い処理への影響を抑えながら動かすことができます。
使用方法
v.1.3.x(2023/01/10~)でボイスチェンジャーの大幅な変更を行っています。
レコーダー（トレーニング用音声録音アプリ）
MMVCトレーニング用の音声を簡単に録音できるアプリです。 Github Pages上で実行できるため、ブラウザのみあれば様々なプラットフォームからご利用可能です。
録音したデータは、ブラウザ上に保存されます。外部に一切漏れることはありません。
詳細については引き続きwikiをご確認ください。
プレイヤー（ボイスチェンジャーアプリ）
MMVCでボイチェンを行うためのアプリです。 お手元のPCでの使用を推奨します。一部ユーザ体験が劣化しますが、次のノートでColaboratoryでの実行も可能です。
また、バイナリ（α版）の配布も行っています。
** M1 Mac版は、ダウンロード後、ターミナルで実行権限を付与して実行してください。
** win版はcuda設定ができている場合はnocudaで実行可能なケースが多いです。環境によってcudaが認識されない場合はcudaの方をお試しください。
詳細は、こちらのBlogをご確認ください。
(古いボイスチェンジャについては、引き続きwikiをご確認ください。)
説明動画
| No | タイトル | リンク |
|---|---|---|
| 01 | ざっくり説明編 | youtube |
| 02 | ユーザー音声の録音編 | youtube |
| 03 | トレーニング編 | 作成中 |
| 04a | Colabでボイチェン編 | youtube |
| 04b | PCでボイチェン編 | 欠番(ex1, ex2, 04aの内容と被るため) |
| ex1 | 番外編：WSL2とDockerのインストール | youtube |
| ex2 | 番外編：WSL2とAnacondaのインストール | youtube |
リアルタイム性
GPUを使用するとほとんどタイムラグなく変換可能です。
https://twitter.com/DannadoriYellow/status/1613483372579545088?s=20&t=7CLD79h1F3dfKiTb7M8RUQ
CPUでも最近のであればそれなりの速度で変換可能。
https://twitter.com/DannadoriYellow/status/1613553862773997569?s=20&t=7CLD79h1F3dfKiTb7M8RUQ
古いCPU( i7-4770)だと、1000msecくらいかかってしまう。
Acknowledgments
免責事項
本ソフトウェアの使用または使用不能により生じたいかなる直接損害・間接損害・波及的損害・結果的損害 または特別損害についても、一切責任を負いません。