VOICEVOX を VSTプラグイン上で直接実行して、DAWと同期演奏をするというプロトタイプ。 VSTプラグイン内に設置したピアノロールGUIから音階を打ち込めるところまでできた。 歌詞入力のインタフェースが結構悩む。ノートの上に直接置くのは小さくないか？という気がしている。 #VOICEVOX #VST #JUCE pic.twitter.com/29trgzXnHQ

VOICEVOX を VSTプラグイン上で直接実行してDAWと同期演奏できるというプロトタイプ。 ピアノロールをDIYしていて、今日時点でここまで到達した。 この次はマウス入力からのスコア編集、歌詞入力を作っていきたい。 #VOICEVOX #JUCE #VST pic.twitter.com/QCCcM21OwR

VOICEVOXのソング機能をVSTプラグイン上で直接実行するVSTプラグイン、楽譜と歌詞の入力ができるようにピアノロールのDIYを始めた。 #VOICEVOX #JUCE #VST pic.twitter.com/bJIzct2trY

VOICEVOX を組み込んだ VSTプラグインのプロト、合成音声に対してオフラインでリサンプリングをすることで品質は保てたかも。 動画はDAWの再生中にボイスモデルを切り替えながら音声合成するというデモ。 スコア・歌詞入力のUIに進む ※リアルタイムのリサンプリングは後々の課題 #VOICEVOX #VST #JUCE pic.twitter.com/znKfBzTQa6

VOICEVOX のソング機能を VSTプラグイン上で実行して、合成音声の再生位置をDAWのトランスポートと同期させるというプロトタイプ。 VOICEVOX を JUCE に組み込むことでできた。 ※再生中のノイズはリサンプリングの処理が甘くて付いてしまったもので、合成音声自体には無いです。 #VOICEVOX #JUCE #VST pic.twitter.com/M7jaFznD5K

週末にゴリゴリとコードを書いて、VSTプラグイン上でVOICEVOXに歌ってもらうことで辿り着いた。 VSTプラグインの中で直接歌声合成をしていて、次は再生機構をDAWのシーケンスとの同期処理等をできるようにしたいところ。（リサンプリング処理等やることが多い…） #VOICEVOX #VST #JUCE pic.twitter.com/QVrwFmU7xY

VOICEVOXの音声合成をVSTプラグイン上で実行して、MIDIでトリガーするという遊び。 #VOICEVOX #JUCE #MIDI pic.twitter.com/xiQFtJBDSa

VOICEVOX の合成音声を使ってボイスパーカッションしてみたよ。というキャプチャ。※ボイパガチ勢からはマサカリが来そうだが。 VOICEVOX を JUCE で動かして、生成後の音声バッファは JUCE でハンドリングしているので、Battery のようなサンプラー的な演奏が可能。 #VOICEVOX #JUCE pic.twitter.com/2zsDnBJFlz

VOICEVOX を JUCE に組み込めるようにJUCEモジュール層を実装したことで、VST3プラグイン上で VOICEVOX の音声を生成→再生することができることを確認した。 画面右のLive2Dは先日実装済みのリアルタイムリップシンクの様子。 DAWのトラックにVOICEVOXの音声を流せる。 #JUCE #VOICEVOX #Live2D pic.twitter.com/JtnegjgsC4

Live2D Cubism + Cubism Motion Sync (CRI LipSync) を JUCE に組み込んで、VST3プラグイン上でリアルタイム・リップシンクするぞ、という成果物。 Live2D Cubism と CRI LipSync は公式で統合されたSDKがあるが JUCE サポートは無し。そのSDKをJUCEモジュール化して JUCE に組み込んだ。 #JUCE #VST pic.twitter.com/eGRcV4GZgh