VroidStudioと3teneという顔認識ソフトを利用してみる
こちらの記事でVroidStudioの簡単な説明をしましたが、VroidStudioを利用してオリジナルで制作したモデルと3teneというWEBカメラで顔認識が出来るvTuber向けのソフトを利用してみたいと思います。
3tene（ミテネ）とは
フェイストラッキングが可能なソフト
WEBカメラを利用して、読み込んだ3Dのアバターをカメラの顔認識の機能でフェイストラッキングすることが出来るソフトです。
日本の企業が開発しています。
主な機能について
主な機能が
バージョンについて
3teneは有料版もありますが、VroidStudioから書き出したモデルを利用する際にはフリー版で利用することが可能です。
現在は
の合計３つのバージョンがあるみたいですね。
Vroid Studioと3tene freeを使ってみる
それではVroid Studioで制作したオリジナルモデルを3tene freeを利用してフェイストラッキングするところまでやってみましょう！
まずはVroidStudioからのエクスポート
VroidStudioでカスタマイズしたオリジナルモデルをエクスポートします。
上に並んでいるメニューから撮影・エクスポートを選択します。
左のメニューからエクスポートを選択します。
そのままエクスポートのボタンを選択します。
タイトル・作者・バージョンなどを入れてOKを押すとエクスポートが出来ます。
VRMという形式でエクスポートが可能です。
ファイル名を適当に入れて保存してください。
3teneのダウンロード
公式サイトからダウンロードが可能ですので、ご自分の環境に合ったインストーラーを選んでインストールしてください。
3teneを起動する
起動するとこのような画面になります。
以前にずん子さんのモデルを利用したためか、ずん子さんが開いていますが最初に利用するときは何も開いていない状態かもしれません。
アバターの登録
まずは表示するアバターを登録します。
左のメニュー上から2つ目を選択します。アバターの選択メニューが開きます。
黒い人にプラスがついているボタンを選択するとファイルを選択するウィンドウが開くので、先程エクスポートしたVRMデータを選んで登録します。
画面にエクスポートしたモデルが表示されます。
この状態でも、勝手に動きがついていたりしますね。これは3teneに搭載されているモーションが再生されている状態です。
カメラの設定
フェイストラッキングに使用するカメラの設定をします。
パソコンのカメラを利用する場合には必要ないかもしれませんが、アバター調整の画面からフェイストラッキングに利用するカメラを選択します。
フェイストラッキング機能をオンにする
右上のボタンを選択してフェイストラッキングのオンオフを切り替えます。
デフォルトではオフの状態になっているので、オンにします。リップシンクもオンにすると口の開閉のトラッキングもしてくれますよ。
フェイストラッキングしているところを動画にしてみました。口がパクパクしていますね！
まずはオリジナルモデルをフェイストラッキングするところまでいかがでしたでしょうか？
わりと簡単？ではないでしょうか？
しかし、このままではモデルをフェイストラッキングした段階なので、今後は動画との合成などご紹介出来ればと思っていますー！
vTuberの2Dと3Dの違いについての記事はこちら
