ルカに対してリアルタイムでのリップシンクを適用。官能小説をまるでVTuberの如く滑らかにスラスラと読んでいくバーチャルアイドルがここに。
Libido-Labo ＜3DCGによるエッチな表現の最先端を模索する技術開発・実験作品です＞3DCGでどこまで官能的な表現が可能か、ということは我々Libido-Laboの目指す究極の目標です。最近、新しい技術を立て続けに導入したため、これらを使ってどのような表現が可能かということを模索しております。
今回、声優の声に合わせてルカを喋らせる（口の動きを同期させる）というリップシンクの技術を導入しました。
これにより、ルカをVTuber的に運用することが可能になります。
しかし、こういう運用には「配信のサイクルをできるだけ短く」という課題がつきまといます。
通常、3DCGは光の挙動を計算して1枚の画像を作り上げる「レンダリング」という作業が必要になり、秒間30コマの映像であればつまり1秒の動画を作るために30枚分のレンダリングを行う必要があります。
つまり、1秒の動画を作るためにパソコンのCPUを使って何十時間もレンダリング作業が必要であるわけです。
リップシンクができてもこんな状況では動画制作が間に合いません。
そこで、ビデオカードのリアルタイム3D描画の機能を使って、圧倒的に短時間でCG動画を生成するという技術を今回採用してみました。
3Dのゲームと同じDirectXを採用して作った動画（品質LowとHighの2種類）と、今まで通りかなりの時間を掛けてレンダリング（NvidiaのIray）を行ってみた動画（一応これが最高品質になります）の3本を入れてみました。
これは実験結果でありまだまだ発展途上なのですが、ご興味のある方は手に取って見て下さい。
よろしくお願い致します。