勝ったなガハハ.com

日常のオタク活動、ガジェットを中心に書いていきたいです

【Warudo】【3DVtuber】Warudoで簡単ハンドトラッキング3DVTuberになろう!

まえおき

この記事は無料でWarudoとWebカメラだけで

簡単にハンドトラッキングまでできる3DVTuberをやるまでの方法を書いた記事になります。

 

この記事ではVRM形式の3Dモデルを使います。

 

Vroidで簡単に3Dモデルを作りたい人は

↓の以前の記事を読んで、VRM形式の3Dモデルを作成してね!

 

kattana-gahaha.hatenablog.com

 

また、Live2DでVtuberをしたいという方は参考にならないと思います。

 

私自信の経験則によるものになるのであまり鵜吞みにせずに、参考程度にしていただけたらと思います。

 

この記事の通りに設定をして何かしら問題があっても私は責任を負いかねますので、

自己責任でお願い致します。

 

最終的に動きはこんな感じになるイメージです


www.youtube.com

 

大丈夫そうなら続きからどうぞ!

 

 

用意するもの、前提

WindowsのPC

VRM形式の3Dモデル(前述)

・Steamアカウントの作成とSteamのインストール

・Warudo(Steamでインストールできます)

・USBWebカメラ

・OBS Studio

・やる気

 

Warudoって何だ?

Steamで無料で公開されているVTuber用のソフトになります。

(個人利用は無料)

2024/05時点でアーリーアクセス版だというのは頭に置いておいてください。

 

warudo.app

 

普通に独学しようと思うと、公式サイトやリファレンスは英語もしくは中国語なので

なかなか日本語の記事がなかったり難しいと思いますが、

 

簡単に説明すると、

 

  • 3Dモデルを読み込んでトラッキングして動かす!
  • TwitchやYoutubeと連携してコメントやチャネポのイベントを取得して、3Dモデルに対してアクションを起こす!
  • 背景を設定したり、アイテムを持たせて3Dモデルを映えさせる!

 

といったことができるソフトになります。

詳しくは調べてみてね!(丸投げ)

 

Warudoを起動して初期設定をする

Warudoを起動します。

めっちゃ時間かかると思います。

気長に待ちます。

 

(ちょっと単調な説明になるので飽きたら飛ばそう!)

 


起動するとこのような画面が出ます。

 

ウィザード形式で順番に一緒に設定していってくれます。

「初心者ナビ」の「基本設定」の「始める」ボタンを押します。

 

 

 

ようこそ画面になるので、キャラクターを選択していきます。

 

ここで、「キャラクターフォルダを開く」ボタンを押すと、フォルダが開きます。

 

そのフォルダに3DモデルのVRMファイルを置きます。

 

すると、「キャラクターの選択」部分に置いたVRMファイルのキャラクターが出てくるので選択して「OK」ボタンを押します。

 

 

次に「モーションキャプチャーの設定」という画面になるので、

「いいえ、何を使うかを知っています。」を選択して

「OK」ボタンを押します。

 

今回はMediaPipeトラッカーというWarudoに内蔵されているトラッキングソフトを使用します。

 

 

 

次に、「モーションキャプチャーの設定」という画面になります。

 

フェイストラッキングの部分は「MediaPipe(カメラ)」を選択します。

ポーズトラッキングの部分も「MediaPipe(カメラ)」を選択します。

Secondary Pose Trackingは「なし」を選択します。

 

その後、「フェイストラッキングをカスタマイズします」というボタンを押します。

 

 

 

フェイストラッキングをカスタマイズしますという画面になります。

 

カメラを入力の部分に、自分がPCに接続しているWebカメラを選択します。

ここで設定したカメラでトラッキングをしてくれます。

 

 

 

下の方に行くと「リップ同期」という項目があります。

リップ同期は「永続的に有効」にしてください。

マイク台は使用しているマイクを設定してください。

 

このリップ同期を設定しておくと、マイクの音声に合わせて口が動きます。

口の動きだけでいい場合はここの項目を「無効化」にしてください。

 

設定が終わったら、この状態で「OK」ボタンを押します。

 

先ほどの画面に戻るので、

「ポーズトラッキングをカスタマイズします」ボタンを押します。

 

 

 

ポーズトラッキングをカスタマイズします画面が開きます。

 

カメラを入力の部分は先ほどのフェイストラッキングと同じWebカメラを選択します。

 

「OK」ボタンを押します。

 

 

 

設定できたらモーションキャプチャーの設定画面に戻るので、

「OK」ボタンを押します。

 

 

 

次に表情のインポート画面になるので、

「表情をインポートします。」を選択して「OK」ボタンを押します。

 

 

 

成功の画面が出れば大丈夫です。

 

「OK」ボタンを押します。

 

 

 

次に背景の設定画面が出ます。

 

「透明な背景を有効にします。」を選択しておくと

真っ黒な背景になるのでOBSに取り込む時に取り込みやすいと思います。

 

「OK」ボタンを押します。

 

 

 

すると、このように

 

①Warudoのメイン画面

 →3Dモデルが読み込まれた画面

 

②MediaPipeTracker

 →フェイストラッキングとハンドトラッキングの画面

 

③Warudo Editor

 →先ほどの初心者ナビをした画面

 

この3つの画面が表示されます。

 

お疲れさまでした!

 

とりあえずこれで必要最低限Warudoで3DVTuberをやる設定はできました。

 

ただ、このままだと目や手が正しくトラッキングできない可能性があるので、

次は簡単にフェイストラッキングやハンドトラッキングの調整を行っていきます。

 

(飽きたら飛ばそう!)

 

フェイストラッキングとハンドトラッキングの調整

 

細かい設定を説明し始めるとキリがないので、キャリブレーションだけしていきましょう。

 

 

先ほどの初心者ナビの画面(Warudo Editor)のところに

「MediaPipeトラッカー」というのができていると思います。

これをクリックします。

 

 

 

この設定画面でトラッキングの設定をしていきます。

 

フェイストラッキングのところまでスクロールしていきます。

 

 

フェイストラッキングキャリブレーション(自動調節)をします。

 

カメラに対して真正面を向いて、配信をする時の姿勢になります。

 

その状態でここの「キャリブレーション」というボタンを押します。

 

すると自動調整されてWarudoのメイン画面の3Dモデルが綺麗に動くようになったと思います。

 

「BlendShapeマッピングの構成」ボタンを押すと、細かい目の開き具合等をいじることができますが、長くなるのでここでは割愛します。

(私は目が閉じ気味になるので、ここで目が閉じるしきい値を調整しています。)

 

フェイストラッキングの下の方の設定も色々ありますが、割愛します。

 

さらにスクロールしていって、ハンドトラッキングの項目まで行きます。

 

 

 

ここではハンドトラッキングキャリブレーションを行います。

 

「ハンドトラッキングキャリブレーション」ボタンを押します。

 

 


すると上記のような画面が出ます。

 

カメラを正面にして、配信をする姿勢になって、片手を耳元に上げて、手のひらをカメラに向けて、もう片方の手で

「OK」ボタンを押します。

 

するとハンドトラッキングキャリブレーションが完了します。

 

 

フェイストラッキング、ハンドトラッキングの基本的な調整はこれで終わりです。

配信前にちょっと変だなと思ったら調整してあげると良いかも知れません。

 

Warudoのメイン画面の3Dモデルを見ながら確認してみてください。

 

 

OBSに取り込んで配信しよう!

 

さてここまで来たらあとはOBSに取り込むだけです。

 

OBS Studioを開きます。

 

 

ソース追加で「ゲームキャプチャ」を選択して開きます。

 

 

モードを「特定のウィンドウをキャプチャ」にして、

ウィンドウはWarudoのメイン画面を選んでソースを作成します。

 

背景は適当にフィルターにクロマキーを追加して透過してください。

 

 

これで配信すれば……

 

おめでとう!!!

 

これで君もハンドトラッキング3DVTuberだ!!!

 

あとがき

 

ここまで長かったよね...ごめんね...

 

kattana-gahaha.hatenablog.com

 

以前投稿したこの記事では、

WebcamMotionCaptureを使用して

フェイストラッキングとハンドトラッキングぞ!唯一だぞ!と説明しており、

実運用ではWebcamMotionCaptureからさらにWarudoに通してOBSに取り込んでいてPCがとても重かったんですよね。

 

最近Warudoだけでフェイストラッキングもハンドトラッキングもできることが判明して記事を書いた次第でございます。

(しかも現時点完全無料。)

 

WarudoとTwitchを連携すると以下の動画のようにチャネポでなでなでするギミックを導入できたりするんですよね。

だからWarudoだけでハンドトラッキングができるようになって一石二鳥という感じです。

 


www.youtube.com

 

 

次の記事はこのWarudoとTwitchを連携させて色々なギミックを実装するという本命の記事を書こうと思っています。

 

ここまで読んでくれてありがとう。

 

よかったらTwitterとTwitchとプロフィール見てくれよな!

 

https://x.com/loki_mbt

 

www.twitch.tv

 

lit.link

 

 

 

そんなことよりホタル実装が近づいてきてワクワクしてるよ。

待ってるよ。

 

 

 

 

 

 

 

pixivで星核ハンター女性組の二次創作絵ばっかり見てるの分かれ。