Skip to content

taksas/voice-changer

 
 

Repository files navigation

「「「「「開発中(動作不可 ~ミスってmasterで作業してますが面倒なのでこのまま開発します~)」」」」」 Voice Changer Trainer and Player Container(ROHAN4600対応鬼畜版)

概要

w-okadaさんが作成したアプリケーションのレコーダー機能に、ROHAN4600(ROHANコーパス)録音機能を実装しました。

それ以外のアプリケーションは全く同じです。

ITAコーパスの500文に飽き足らないやべー方は是非ROHANコーパスの4600文に挑戦してみてください!!!!!!!!!!!!!!!!

録音アプリ(ROHAN4600対応版) on Github Pages


ほんとの概要

AIを使ったリアルタイムボイスチェンジャーMMVCのヘルパーアプリケーションです。

MMVCで必要となる一連の作業(トレーニング用の音声の録音、トレーニング、ボイスチェンジャ)をお手軽に実行できます。 image

Dockerを前提としたアプリケーションですが、Github PagesとGoogle Colaboratory上での実行も可能です。(Google Colaboratoryの制約により使用感が一部悪いです。) image

このアプリケーションを用いることで、以下のことを簡単に行うことができます。

  • MMVCトレーニング用の音声録音 (GithubPages (Docker不要))
  • MMVCのモデルのトレーニング (Dockerを強く推奨、Colabでも可)
  • MMVCモデルを用いたリアルタイムボイスチェンジャー(Docker推奨、Colabでも可)
    • リアルタイム話者切り替え
    • CPU/GPU切り替え
    • リアルタイム/ニアリアルタイム声質変換

本アプリケーションのリアルタイムボイスチェンジャーは、サーバ・クライアント構成で動きます。MMVCのサーバを別のPC上で動かすことで、ゲーム実況など他の負荷の高い処理への影響を抑えながら動かすことができます。(MacのChromeからも利用できます!!) image

使用方法

詳細な使用方法等はwikiをご参照ください。

トレーニング用音声録音アプリ

MMVCトレーニング用の音声を簡単に録音できるアプリです。 Github Pages上で実行できるため、Dockerの準備は不要です。

録音アプリ on Github Pages

録音したデータは、ブラウザ上に保存されます。外部に一切漏れることはありません。

詳細な使用方法はwikiをご覧ください。

トレーニング用アプリ

MMVCのトレーニングを行うアプリです。 Dockerでの実行を強く推奨します。

詳細な使用方法等はwikiをご参照ください。

Colaboratoryでの実行を行う場合は、次のノートから実行できます。

Colaboratoryで実行する場合は、Colabの制約により途中切断が発生する可能性があります。Web上では各種対策が示されていますので、必要に応じて各自でご対応をお願いします。また、途中切断に備え、こまめなモデルのダウンロードをお勧めします。

ボイスチェンジャーアプリ

Dockerでの使用を推奨します。一部ユーザ体験が劣化しますが、次のノートでColaboratoryでの実行も可能です。

説明動画

動画との差分

  • サーバの起動完了のメッセージは、「Debuggerほにゃらら」ではなく「Application startup complete.」です。
  • プロキシにアクセスする際に、index.htmlを追加する必要はありません。

詳細な使用方法等はwikiをご参照ください。

デモ動画

リアルタイム性

GPUを使用すると100msec強の遅延で変換することが可能です。

output.mp4

CPUでも最近のであればそれなりの速度で変換可能。

CPU_MMVC9700.mp4

古いCPU( i7-4770)だと、1000msecくらいかかってしまう。

Misc

簡易デモ(soft-vc)

soft-vcを用いたボイスチェンジャです。

コラボのノート

withVoice.mp4

Acknowledgments

About

No description, website, or topics provided.

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

 
 
 

Contributors

Languages

  • Jupyter Notebook 88.4%
  • Shell 9.7%
  • Dockerfile 1.9%