Voice Changer Trainer and Player

概要

AIを使ったリアルタイムボイスチェンジャーMMVCのヘルパーアプリケーションです。

解説動画

MMVCで必要となる一連の作業（トレーニング用の音声の録音、トレーニング、ボイスチェンジャ）の中で、音声の録音とボイスチェンジャを各種プラットフォームでお手軽に実行できます。

※ 公式のv1.3.2.0において、トレーニング用ノートブックに大幅なユーザビリティ向上がありました。簡単化を目指していたこちらのトレーニング用アプリの役目は終了したと思われますので開発をストップしています（2023/01/10)。今後は公式のトレーニングの利用を推奨します。

このアプリケーションを用いることで、以下のことを簡単に行うことができます。

• MMVCトレーニング用の音声録音
• MMVCモデルを用いたリアルタイムボイスチェンジャー
  • リアルタイム話者切り替え
  • CPU/GPU切り替え
  • リアルタイム/ニアリアルタイム声質変換

本アプリケーションのリアルタイムボイスチェンジャーは、サーバ・クライアント構成で動きます。MMVCのサーバを別のPC上で動かすことで、ゲーム実況など他の負荷の高い処理への影響を抑えながら動かすことができます。

使用方法

v.1.3.x(2023/01/10~)でボイスチェンジャーの大幅な変更を行っています。

(1) レコーダー（トレーニング用音声録音アプリ）

MMVCトレーニング用の音声を簡単に録音できるアプリです。 Github Pages上で実行できるため、ブラウザのみあれば様々なプラットフォームからご利用可能です。 録音したデータは、ブラウザ上に保存されます。外部に一切漏れることはありません。

録音アプリ on Github Pages

解説動画

詳細についてはwikiをご確認ください。

(2) プレイヤー（ボイスチェンジャーアプリ）

MMVCでボイチェンを行うためのアプリです。

大きく3つの方法でご利用できます。難易度順に次の通りです。

• Google Colaboratoryでの利用
• 事前ビルド済みのBinaryでの利用
• DockerやAnacondaなど環境構築を行った上での利用

本ソフトウェアやMMVCになじみの薄い方は上から徐々に慣れていくとよいと思います。

(2-1) Google Colaboratoryでの利用

Googleが提供している機械学習プラットフォームColaboratory上で実行できます。 MMVCのモデルをトレーニングが完了している場合、既にColaboratoryを利用していると思いますので、事前準備は必要ありません。ただし、ネットワーク環境やColaboratoryの状況によってボイスチェンジャのタイムラグが大きくなる傾向があります。

• 超簡単バージョン: 事前設定なしでColabから実行できます。
• 普通バージョン: Google Driveと連携してモデルを読み込むことができます。

解説動画

(2-2) 事前ビルド済みのBinaryでの利用

実行形式のバイナリをダウンロードして実行することができます。 Windows版とMac版を提供しています。事前準備は必要ありません。

・Mac版はダウンロードした後、実行権限を付与してください。

・Windows版は、directML版とGPU版を提供しています。

・NvidiaのGPUをお持ちの方はonnxgpuが含まれるファイルをご利用ください。多くの場合はonnxgpu_nocudaの方で動きます。環境によってはgpuが認識されない場合が稀にあります。その場合はonnxgpu_cudaの方をご利用ください。（サイズが大きく違います。起動時間も遅くなります）

・NvidiaのGPUをお持ちでない方はonnxdirectMLが含まれるファイルをご利用ください。多くの場合は、onnxdirectML_nocudavの方で動きます。環境によってはgpuが認識されない場合が稀にあります。その場合はonnxgpu_cudaの方をご利用ください。（サイズが大きく違います。起動時間も遅くなります）

• MMVCServerSIO_mac_onnxcpu_v.1.3.6.0 107MB
• MMVCServerSIO_win_onnxdirectML_cudav.1.3.6.0.exe 1864MB
• MMVCServerSIO_win_onnxdirectML_nocudav.1.3.6.0.exe 171MB
• MMVCServerSIO_win_onnxgpu_cudav.1.3.6.0.exe 1948MB
• MMVCServerSIO_win_onnxgpu_nocudav.1.3.6.0.exe 255MB

https://user-images.githubusercontent.com/48346627/212490839-9727daff-8629-4bd7-a885-39b9058a7eba.mp4

詳細は、こちらのBlogをご確認ください。

(古いボイスチェンジャについては、引き続きwikiをご確認ください。)

(2-3) DockerやAnacondaなど環境構築を行った上での利用

本リポジトリをクローンして利用します。WindowsではWSL2の環境構築が必須になります。また、WSL2上でDockerもしくはAnacondaなどの仮想環境の構築が必要となります。MacではAnacondaなどのPythonの仮想環境の構築が必要となります。事前準備が必要となりますが、多くの環境においてこの方法が一番高速で動きます。

WSL2とDockerのインストールの解説動画

WSL2とAnacondaのインストールの解説動画

説明動画

No	タイトル	リンク
01	ざっくり説明編	youtube
02	ユーザー音声の録音編	youtube
03	トレーニング編	作成中
04a	Colabでボイチェン編	youtube
04b	PCでボイチェン編	欠番(ex1, ex2, 04aの内容と被るため)
ex1	番外編：WSL2とDockerのインストール	youtube
ex2	番外編：WSL2とAnacondaのインストール	youtube

リアルタイム性

GPUを使用するとほとんどタイムラグなく変換可能です。

https://twitter.com/DannadoriYellow/status/1613483372579545088?s=20&t=7CLD79h1F3dfKiTb7M8RUQ

CPUでも最近のであればそれなりの速度で変換可能。

https://twitter.com/DannadoriYellow/status/1613553862773997569?s=20&t=7CLD79h1F3dfKiTb7M8RUQ

古いCPU( i7-4770)だと、1000msecくらいかかってしまう。

Acknowledgments

• 立ちずんだもん素材：https://seiga.nicovideo.jp/seiga/im10792934
• いらすとや：https://www.irasutoya.com/

免責事項

本ソフトウェアの使用または使用不能により生じたいかなる直接損害・間接損害・波及的損害・結果的損害 または特別損害についても、一切責任を負いません。

test