Merge pull request #63 from w-okada/dev

update
This commit is contained in:
w-okada 2022-09-19 22:08:32 +09:00 committed by GitHub
commit 3f0faff1c6
No known key found for this signature in database
GPG Key ID: 4AEE18F83AFDEB23

View File

@ -1,5 +1,6 @@
Voice Changer Trainer and Player Container
----
# 概要
AIを使ったリアルタイムボイスチェンジャー[MMVC](https://github.com/isletennos/MMVC_Trainer)のトレーニングと実行を簡単にするためのヘルパーDockerコンテナです。
このコンテナを用いることで、以下のことを簡単に行うことができます。
@ -12,22 +13,45 @@ AIを使ったリアルタイムボイスチェンジャー[MMVC](https://github
使用方法等は[wiki](https://github.com/w-okada/voice-changer/wiki)をご参照ください。
# リンク
## MMVCのトレーニング用音声データと、実行時の音声入力の考え方
なお、「MMVCトレーニング用の音声録音」と「MMVCモデルを用いたリアルタイム声質変換」では同一のイズキャンセル技術が使用されています。
一般にMMVCなどのAI/機械学習を用いたアプリケーションでは、学習データと似たデータをボイスチェンジャに入力することが望ましいとされます。「MMVCトレーニング用の音声録音」と「MMVCモデルを用いたリアルタイム声質変換」を本コンテナに統一することで、実行時の精度が向上する可能性があります。
![image](https://user-images.githubusercontent.com/48346627/191024059-9c90dfbc-8098-4a81-a905-2a8aa51662ba.png)
## 関連技術
本レポジトリでは、関連するボイスチェンジャとしてsoft-vcに注目しています。soft-vcにもリアルタイムでボイスチェンジできるようにしています。下記の「Docker不要な実行方法」のセクションからご利用ください。
# Docker不要な実行方法
本コンテナの一部の機能は、Google ColabやGithub Pagesを利用することで、ローカルPCにDockerの環境を用意することなく利用可能になっています。
お気軽に利用することが可能ですので、試しに使用してみてください。
## トレーニング用音声録音アプリ
MMVCトレーニング用の音声を簡単に録音できるアプリです。
Github Pagesにおいてあります。下記リンクにアクセスすることで利用可能です。
[録音アプリ](https://w-okada.github.io/voice-changer/)
[録音アプリ on Github Pages](https://w-okada.github.io/voice-changer/)
録音したデータは、ブラウザ上に保存されます。外部に一切漏れることはありません。
また、Google Colab上にサーバを立てて利用することもできます。
こちらを使うと、録音データをGoogle Drive上に保存することができるようになります。MMVCのトレーニングをColab上で行う場合は、こちらを使用すると多少の手間が省けます。
[コラボのノート](https://github.com/w-okada/voice-changer/blob/master/VoiceRecorder.ipynb)
使用方法は[wiki](https://github.com/w-okada/voice-changer/wiki/500_%E3%83%AC%E3%82%B3%E3%83%BC%E3%83%80%E3%83%BC)をご覧ください。
Google Colabで実行することもできます。こちらを使うと、録音データをGoogle Drive上に保存することができるようになります。MMVCのトレーニングをColab上で行う場合は、こちらを使用すると多少の手間が省けます。
[コラボのノート](https://github.com/w-okada/voice-changer/blob/master/VoiceRecorder.ipynb)
## 簡易デモ(MMVC)
ボイスチェンジャ(MMVC)の簡易デモをコラボから利用することができます。[コラボのノート](https://github.com/w-okada/voice-changer/blob/dev/VoiceChangerDemo.ipynb)
MMVCを用いたボイスチェンジャです。
[コラボのノート](https://github.com/w-okada/voice-changer/blob/dev/VoiceChangerDemo.ipynb)
[説明動画](https://twitter.com/DannadoriYellow/status/1564897136999022592)
@ -37,8 +61,11 @@ Google Colabで実行することもできます。こちらを使うと、録
- プロキシにアクセスする際に、index.htmlを追加する必要はありません。
## 簡易デモ(soft-vc)
ボイスチェンジャ(soft-vc)の簡易デモをコラボから利用することができます。[コラボのノート](https://github.com/w-okada/voice-changer/blob/master/SoftVcDemo.ipynb)
soft-vcを用いたボイスチェンジャです。
[説明動画](https://twitter.com/DannadoriYellow/status/1564897136999022592)
[コラボのノート](https://github.com/w-okada/voice-changer/blob/master/SoftVcDemo.ipynb)
[説明動画](https://user-images.githubusercontent.com/48346627/191019809-e7ae7c86-4b44-45f3-9dc3-3dc668992db4.mp4
)