WebcamFbt｜WebカメラでVRChat向けボディトラッキング
- Windows版Digital0 JPY
- Mac版Digital0 JPY
WebcamFbt は、Webカメラに映った体の動きから腰・両足の位置と向きを推定し、VRChat の OSC トラッカーに送信するアプリです。専用の SteamVR ドライバは必要ありません。 試験版です。 カメラの位置や照明、体の向き、遮蔽などにより、動きがずれたり、震えたりすることがあります。特にカメラ1台では奥行きの推定に限界があり、背中を向ける動きや足を後ろに引く動きは正確に再現できません。VRトラッカーと同等の精度は保証できません。 画像はAI生成を利用しています。
できること
- カメラ映像から姿勢を推定し、腰・左足・右足のトラッカー情報を VRChat に OSC で送信 - 身長の設定と体のキャリブレーション、カメラの校正 - PC版 VRChat、または別の端末で動かす Quest 単体版への送信 - カメラ2台を使うステレオ推定
動作環境
- Windows 10 以降／Windows 11、64ビット。DirectX 12対応GPUを推奨します。GPUを使用できない場合はCPUで動作します - Mac版は macOS 13.4以降、Apple Silicon／Intel対応の試験版 です。Mac実機ではまだ動作を確認していません。Mac上でアプリを動かし、Quest単体のVRChatへ送信します - Webカメラ1台以上。全身が入り、頭上と足元に余白が必要です - 初回の推定モデルのダウンロードにインターネット接続が必要です（約70 MB） - Quest単体で使う場合、アプリを動かすPCまたはMacとQuestが同じネットワークに接続されている必要があります
ダウンロードするファイル
- Windows：WebcamFbt-0.1.3-Windows.zip を展開し、中のセットアップを実行してください - Mac：WebcamFbt-0.1.3-Mac.zip を展開し、中のインストーラを開いてください Windows版はコード署名がないため、SmartScreenの警告が表示される場合があります。Mac版もAppleの署名・公証を受けていないため、macOSが起動を制限する場合があります。利用するファイルの入手元を確認したうえで、各OSに表示される案内を参照してください。
使い方
1. カメラを腰の高さを目安に置き、約2.5〜3 m離れて全身が映るようにします。 2. アプリでカメラを開始し、実際の身長を入力して、カメラの方を向いたTポーズで体のキャリブレーションを行います。 3. VRChatのOSCを有効にし、アプリの「VRChat」タブで送信先を設定します。PC版を同じPCで使う場合の送信先は 127.0.0.1:9000 が目安です。Quest単体の場合はQuestのIPアドレスを指定します。 4. カメラの方を向いてアプリの「向きを合わせる」を押し、VRChat側でもフルボディのキャリブレーションを行います。
データと通信
初回は姿勢推定に必要なモデルを OpenMMLab のサーバーからダウンロードします。トラッカー情報は設定した送信先にOSCで送信します。設定や校正結果は使用しているPC／Macに保存されます。任意で作成できる診断記録には関節の位置などが保存されますが、映像は保存されません。更新通知を有効にしている場合はGitHubの公開情報を確認します。
ライセンス
アプリ本体は GPL-3.0-or-later（DirectMLに関する追加許可あり）です。推論モデルとその他のライブラリにはそれぞれの条件があります。詳しくは配布物のライセンス文書をご確認ください。