VC Helper

概要

AIを使ったリアルタイムボイスチェンジャーMMVCのヘルパーアプリケーションです。

MMVCで必要となる一連の作業（トレーニング用の音声の録音、トレーニング、ボイスチェンジャ）の中で、音声の録音とボイスチェンジャを各種プラットフォームでお手軽に実行できます。

※ トレーニングについては公式ノートブックをご利用ください。

解説動画

このアプリケーションを用いることで、以下のことを簡単に行うことができます。

MMVCトレーニング用の音声録音
MMVCモデルを用いたリアルタイムボイスチェンジャー
- リアルタイム話者切り替え
- CPU/GPU切り替え

本アプリケーションのリアルタイムボイスチェンジャーは、サーバ・クライアント構成で動きます。MMVCのサーバを別のPC上で動かすことで、ゲーム実況など他の負荷の高い処理への影響を抑えながら動かすことができます。

使用方法

詳細はこちらに纏まっています。

(1) レコーダー（トレーニング用音声録音アプリ）

MMVCトレーニング用の音声を簡単に録音できるアプリです。 Github Pages上で実行できるため、ブラウザのみあれば様々なプラットフォームからご利用可能です。録音したデータは、ブラウザ上に保存されます。外部に漏れることはありません。

録音アプリ on Github Pages

解説動画

詳細についてはこちらをご確認ください。

(2) プレイヤー（ボイスチェンジャーアプリ）

MMVCでボイチェンを行うためのアプリです。

大きく3つの方法でご利用できます。難易度順に次の通りです。

Google Colaboratoryでの利用
事前ビルド済みのBinaryでの利用
DockerやAnacondaなど環境構築を行った上での利用

本ソフトウェアやMMVCになじみの薄い方は上から徐々に慣れていくとよいと思います。

(2-1) Google Colaboratoryでの利用

Googleが提供している機械学習プラットフォームColaboratory上で実行できます。 MMVCのモデルをトレーニングが完了している場合、既にColaboratoryを利用していると思いますので、事前準備は必要ありません。ただし、ネットワーク環境やColaboratoryの状況によってボイスチェンジャのタイムラグが大きくなる傾向があります。

超簡単バージョン: 事前設定なしでColabから実行できます。
普通バージョン: Google Driveと連携してモデルを読み込むことができます。

解説動画

(2-2) 事前ビルド済みのBinaryでの利用

実行形式のバイナリをダウンロードして実行することができます。 Windows版とMac版を提供しています。事前準備は必要ありません。

・Mac版はダウンロードファイルを解凍したのちに、MMVCServerSIOをダブルクリックしてください。開発元を検証できない旨が示される場合は、再度コントロールキーを押してクリックして実行してください。（詳細下記 *1）

・Windows版は、directML版とGPU版を提供しています。環境に応じたzipファイルをダウンロードしてください。ダンロードしたzipファイルを解凍して、MMVCServerSIO.exeを実行してください。

・NvidiaのGPUをお持ちの方はonnxgpuがファイル名に含まれるファイルをご利用ください。多くの場合はonnxgpu_nocudaの方で動きます。環境によって極まれにgpuが認識されない場合があります。その場合はonnxgpu_cudaの方をご利用ください。（サイズが大きく違います。）

・NvidiaのGPUをお持ちでない方はonnxdirectMLが含まれるファイルをご利用ください。多くの場合は、onnxdirectML_nocudaの方で動きます。環境によって極まれにgpuが認識されない場合があります。その場合はonnxgpu_cudaの方をご利用ください。（サイズが大きく違います。）

・リモートからアクセスできるようにする方法など、より詳しくはこちらをご覧ください。

過去バージョン

https://user-images.githubusercontent.com/48346627/212569645-e30b7f4e-079d-4504-8cf8-7816c5f40b00.mp4

詳細は、こちらのBlogをご確認ください。

*1 本ソフトウェアは開発元の署名しておりません。下記のように警告が出ますが、コントロールキーを押しながらアイコンをクリックすると実行できるようになります。これはAppleのセキュリティポリシーによるものです。実行は自己責任となります。

(2-3) DockerやAnacondaなど環境構築を行った上での利用

本リポジトリをクローンして利用します。WindowsではWSL2の環境構築が必須になります。また、WSL2上でDockerもしくはAnacondaなどの仮想環境の構築が必要となります。MacではAnacondaなどのPythonの仮想環境の構築が必要となります。事前準備が必要となりますが、多くの環境においてこの方法が一番高速で動きます。 GPUが無くてもそこそこ新しいCPUであれば十分動く可能性があります（下記のリアルタイム性の節を参照）。

WSL2とDockerのインストールの解説動画

WSL2とAnacondaのインストールの解説動画

操作方法はこちらをご覧ください。