【XR Animator】VRM/MMD用AIモーキャプ(日本語UI対応)
- 無料版 / Free version (v0.29.0)Digital0 JPY
- 開発応援版 (無料版と同じ) / Dev-supporting version (same as Free version)Digital500 JPY
- 会員限定先行版 (v0.34.3 / パスワードが必要)Digital0 JPY
「XR Animator」は、AIベース (MediaPipe) の全身モーション キャプチャで、画像、ビデオ、および Webカメラを入力としてサポートします。ブラウザ版とWindows/Linux/macOS(*)版の両方が利用可能です。 Windows/Linux/macOS バージョンは、VMCプロトコルをサポートして、リアルタイム モーション データを VSeeFace、Unity、Unreal Engine などの外部アプリに送信できる。ブラウザ版はAndroidのAR（拡張現実）モードに対応。 (*) - macOS バージョンはまだベータテスト中です。
対応機能
・Webカメラまたはメディア ファイル (画像/ビデオ) を使用して全身 AIモーション トラッキングをサポート ・「Perfect Sync」/ARKit 互換の 52 ブレンドシェイプをサポート ・MMD/VRMモデルを 3Dアバターとして使用することをサポート ・モーション キャプチャを記録し、VMD/BVHモーション フォーマットにエクスポート ・VMD/BVH/FBX形式の3Dモーションの読み込みに対応 ・VMCプロトコルをサポートして、リアルタイム モーション データを VSeeFace、VNyan、Warudo などの外部アプリに送信できる (Windows/Linux/macOS版だけ) ・2D 画像/ビデオ、3D パノラマ、および 3D オブジェクト (.x/.glb 形式) を使用して、背景と 3D シーンをカスタマイズ ・自動 AI 生成の深度マップを割り当てることで 2D 画像を 3D 背景としてサポートするほか、オプションで Windows 背景 (Electron モード) で 3D 壁紙ガジェットとして独立して実行したり、Web アプリ モードを「2D から 3D への画像ビューア」（＊）として実行したりすることもできる ・Webカメラのオブジェクトトラッキングをサポートし、トラッキングした IRL オブジェクトを 3D小道具にマッピング ・OBSなどのビデオ キャプチャ アプリで背景が透明なフレームレス ウィンドウをサポート (Windows/Linux/macOS版だけ) ・Android Chromeブラウザーで AR (拡張現実) をサポート ・日本語UI対応 注: macOS バージョンは現在ベータ テスト中です。インストール手順については、付属の readme ファイルを必ずお読みください。バグや問題があれば報告してください。🙏 （＊）: 「2D から 3D への画像ビューア」は、スマートフォンを含むあらゆるブラウザから以下からアクセスできます。 https://sao.animetheme.com/SystemAnimator_online.html?cmd_line=demo21
先行版について / About the early access version
「先行版」のダウンロードは会員特典のひとつです。 私の FANBOX のファンになって XR Animator の開発をサポートし、すべての早期アクセス リリースやその他の特典をお楽しみください。 https://xra.fanbox.cc/ For English version, you can join my Ko-fi instead☕ https://ko-fi.com/butzyung/tiers
更新履歴 / Update History
XR Animator 先行版 (v0.34.3) ・💡軸ごとにプロップの回転を滑らかにすることで、プロップと手の位置合わせ（ギター プロップなど）を大幅に安定化 ・💡指とプロップの位置合わせ機能に双方向サポートを追加し、プロップの回転が手の位置に依存する場合に、サポートされているプロップ（ギターなど）をアバターの指に合わせるようになる ・💡上半身のモーキャプで使用する場合の複雑な外部モーションとの互換性を高め、腕の動きの非モーキャプ部分をIKではなくFKで計算することで腕の動きの異常性を軽減 ・モーションキャプチャのオン/オフを切り替えるホットキー（Ctrl+Pause）を追加 ・「上半身ブレンドモード」設定が「シンプル」（またはカスタムモーションの場合は「自動」）の場合、プリロードされたモーションからの頭の回転を維持 ・トレイメニューから3Dシャドウ設定を保存 ・3Dシーンを変更するときにローカル変数をリセット ・UIツールチップのフォントサイズを調整 ・three-vrm (v3.4.1) の更新 ・three.js (r177) の更新 ・N8AO (v1.10.0) の更新 XR Animator 先行版 (v0.34.2) ・💡特に上腕の一部のみが視界内にあるカメラに近い場合の腕のトラッキング（全身モーションキャプチャー）の安定性を向上 ・💡v0.34.1 からのボディコライダーの回帰バグを修正し、ボディの回転を考慮しながら、衝突する手を常に後方（つまりコライダーの前）に押し出す以前の動作を復元 ・さまざまな手のサイズのアバターモデルで、指と小道具の位置合わせ機能（ギターのモーションキャプチャなど）の互換性を向上 ・ローカルビデオをソースとしてモーションキャプチャがアクティブな場合に、プリロードされたモーションのループに関連するいくつかのランダムだが重大ではないエラーを抑制 ・3D壁紙生成のための超解像度AIの起動基準を変更し、アップスケール可能な解像度の上限を引き上げ、アスペクト比を考慮 ・「2D-3D壁紙」アプリモードのアニメーションとパフォーマンスを改善 ・ウェブ アプリ モードでは存在しないはずの、ウィンドウの位置に関する Electron のみの機能に関連する起動エラーを修正 ・macOS ウェブアプリモードでのウェブカメラの問題を修正 XR Animator 先行版 (v0.34.1) ・💡「上半身ブレンドモード」設定に「自動」モード（デフォルト）を追加 ・💡「上半身ブレンドモード」設定が「シンプル」の場合、すべての形式の上半身のモーキャプの互換性が向上し、どのような種類のプリロードされたモーションでもモーキャプのポーズが歪まない ・💡手首ではなく指と小道具（楽器など）の位置合わせをサポートし、場合によってはよりリアルなインタラクションを実現（ギターのフレッティングなど） ・「手の位置の安定化」設定の効果を強化 ・Y軸周りの大きな回転角度を含むプリロードされたモーション（スピン、ターンアラウンドなど）で使用する場合のヒップ調整の「胸部回転オフセット」設定の処理を改善 ・「上半身ブレンドモード」設定が「シンプル」の場合の頭の回転の処理を改善 ・上半身のモーキャプにおける肘の回転調整の改善 ・反応タイプを「Zプッシュ」にして「頭」ボディコライダーの動作を強制し、常に手を頭の前になるように押 ・手がウェブカメラの視界から外れている場合、上半身のモーキャプで小道具（楽器など）からの手の回転調整を無視 ・「上半身ブレンドモード」設定が「シンプル」の場合、上半身の「motion_default_weight」パラメータを無視 ・モーキャプ ソースがローカルビデオの場合、上半身のモーキャプの一時停止されたモーションを再開 ・ボディコライダーのバグを修正し、ボディの向きに関係なくインタラクションが正しく行われる ・「上半身の回転オフセット」設定に関するさまざまなバグと問題を修正 ・特定の小道具（楽器など）を使用しているときに、「上半身ブレンドモード」設定が「シンプル」になっている場合の手の回転調整を修正 ・「上半身ブレンドモード」設定が「シンプル」の場合の「手の動きで脚を動かす」コントロールを修正 ・「transformers.js」を更新 (v3.5.1) XR Animator 先行版 (v0.34.0) ・💡「上半身ブレンドモード」設定を追加 ・💡ドラムセットのモーキャプをサポート ・デフォルトと bvh2vrma ローダーを切り替えるための「BVH ローダー」オプションを追加 ・「上半身の回転オフセット」と「反転」の両方の設定が使用されている場合の肘の位置を改善 ・モーションレコーダーの速度を考慮して「手の位置の安定化」機能を改善 ・モーションに捩ボーンアニメーションが含まれている場合、一部の MMD モーションと上半身のモーキャプのブレンドを改善 ・モーキャプ ソースがローカルビデオの場合、プリロードされたモーションとモーキャプの再生時間を同期 ・サポートされているプロップ（楽器など）のホットキーを押したときに情報を表示 ・モバイル Web アプリの仮想テンキーの「/」キーに「Escape」キー機能を追加し、UI 表示の切り替えや吹き出しの閉じるなどの機能を使用できるようになる ・「上半身の回転オフセット」と「反転」の両方の設定が使用されている場合のウェブカメラの角度調整における計算の問題を修正 ・フレームがゼロ以外の時間で始まるモーションを BVH/VRMA 形式にエクスポートする際のエラーを修正 ・モーキャプ モードがオンのときにカスタムモーションを含む 3D シーンをロードする際のバグを修正 ・「transformers.js」を更新 (v3.5.0) XR Animator 先行版 (v0.33.5) ・💡「上半身の回転オフセット」に「反転」サブ設定を追加し、下半身ではなく上半身に反転回転オフセットを適用して、アバターが Web カメラと同じ向きではなく前を向く ・💡カスタムモーションの再生速度をより細かく制御（±0.1 単位） ・「ヒップ深度スケール」設定を 0% まで下げて、x/y 位置は有効なまま z 位置を固定 (つまりカメラ深度推定なし) できる ・3Dシーンのホットスワップの自動処理を改善し、既存のシーンをリセットせずに特定のタイプのシーンを追加できる ・同じ 3D オブジェクトだが設定が異なる 3D シーンをホットスワップするとアバター モデルの表示が壊れる可能性があるバグを修正 ・特定の HDRI およびパノラマ設定で 3D シーンを読み込むときに発生するエラーを修正 ・特定の HDRI およびパノラマ設定で 3D シーンをロードするときにパノラマが表示されない問題を修正 ・「Web カメラ角度オフセット補正」、「上半身回転オフセット」、および全身モーションキャプチャを同時に使用した場合の計算の問題を修正 ・ウェブアプリモードでの Web カメラリストを修正 ・electron を更新 (v35.1.2) XR Animator 先行版 (v0.33.4b) ・新しい VMC の「遅延」設定が内部的に 500 ミリ秒に固定され、変更できないバグを修正 ・指の骨が欠落している VRM モデルとフェイスロックカメラ機能を同時に使用した場合のエラーを修正 XR Animator 先行版 (v0.33.4) ・💡オカリナのモーションキャプチャをサポート ・💡VMC プロトコルに「遅延」設定を追加し、VRChat や Cluster などのメタバース アプリで一般的に発生する音声遅延をオフセットし、他のユーザーが表示したときにアバターのモーションと音声の同期を実現できるようにする ・Cluster などの外部アプリで、固定ボーン (手) に取り付けられた楽器アクセサリの位置合わせを行う際に、バイオリンなどの一部の楽器のモーション キャプチャの安定性が向上 ・カスタムモーション（MMD、FBXなど）を再生するときに、モーション速度の変更（メディアコントロールの進む/戻るボタン経由）を許可 ・指の骨が欠損したVRMモデルの互換性を向上 ・アバターモデルのサイズに合うようにボディコライダーのスケーリングを改善 ・アバターモデルのサイズに合うように、楽器のモーキャプ（フルート、サックスなど）を改善 ・アバターモデルを交換するときにスプリングボーンの物理とボディコライダーをリセット ・特定のボーン構造の VRM モデルを使用すると失敗する可能性がある BVH/VRMA エクスポーターのバグを修正 ・VRMアバターモデルで使用される一部の楽器小道具のスケーリングを修正 ・transformers.js を更新 (v3.3.3) ・electron を更新 (v35.0.2) XR Animator 先行版 (v0.33.3) ・💡最適化されたクラスタ (Cluster) のサポート ・💡macOSをサポート（ベータテスト） ・異なる 3D オブジェクトを含む新しいシーンがドロップされたときの 3D シーン更新の動作を変更し、追加する前に既存の 3D オブジェクトを削除するようになる ・同じモデルの異なる設定の 3D シーンのホットスワップをサポートし、重複した 3D モデルをロードする代わりに新しい設定を適用するだけなので、楽器の小道具の設定を調整する場合などに便利 ・サポートされているプロップを含む 3D シーンをエクスポートするときにアクセサリのエクスポート情報を追加し、追加の計算なしでこれらの値を直接コピーするだけで、Cluster などのアプリでのアクセサリ変換の調整が容易になる ・古くなった/冗長なファイルを削除 ・アプリウィンドウが最小化されているときにアバターのポーズが変更されると VMC 送信機の速度が低下する可能性があるバグを修正 ・3D シーン ビルダーで 3D オブジェクトを削除するとエラーが返される問題を修正 ・electron の更新 (v34.2.0) XR Animator 先行版 (v0.33.2) ・💡VRMAアニメーションのインポートとエクスポートをサポート ・💡Webカメラのデフォルトの非必須フレームレート設定（30）を適用 ・無制限の数のWebカメラ入力のリストをサポート ・Webカメラ入力のデフォルト以外のフレーム レート設定の動作を必須に変更 (注: 必要なフレーム レートがサポートされていない場合、Webカメラが読み込まれない可能性があります) ・Webカメラのフレームレート設定が正しく適用されないバグを修正 ・顔のトラッキングなしで体のトラッキングのみが有効になっている場合に首/頭の回転の計算に影響する回帰バグを修正 ・MMD 以外のモーション (BVH/FBX/glTF など) のインポートとエクスポートで、ヒップの位置が VRM モデルのサイズに適切に適応しないというバグを修正 ・特定の名前の脊椎ボーンをスキップする可能性がある BVH モーションインポートのバグを修正 ・圧縮された MMD モーション セットのアクティベーションを修正し、テンキーだけでなくすべての数字キーを受け入れるようにする ・MediaPipe の更新 (v0.10.21) ・electron の更新 (v34.1.1) XR Animator 先行版 (v0.33.1) ・💡VMC受信機のroot姿勢をサポート ・💡VMC受信機の「ハンドカメラ」機能をサポート ・一部の設定ではアバターがカメラに近づきすぎないように、ヒップ距離トラッキングに制限を追加 ・「カメラのフェイスロック」オプションの「最小距離」設定の下限を 1 から 0.5 に変更 ・「ハンドカメラ」の使用中は「カメラのフェイスロック」機能を自動的に無効にする ・「カメラのフェイスロック」オプションの「最小距離」設定を誤って適用していた回帰バグを修正 ・VMC受信機で手首にランダムな不具合が発生するバグを修正 ・VMC受信機の顔設定が「表情 + 頭 (絶対)」に設定され、アプリ内顔トラッキングが同時に実行されているときに、頭/首の回転が間違ってしまう可能性があるバグを修正 ・VMC受信機で、設定を変更した後に脚/足の IK が適切にリセットされないことがあるバグを修正 ・設定のJSONインポートを修正し、必要に応じてVMC受信機を適切に有効にするようになる ・electronを更新 (v34.0.1) ・three-vrmを更新 (v3.3.4) XR Animator 先行版 (v0.33.0) ・💡VMC受信機のサポートを追加し、外部モーキャプやその他のトラッキングオプションを可能にする ・「カメラのフェイスロック」機能に「垂直制約」オプションを追加して、アバターの頭が画面内で垂直になるように 3D カメラを自動調整 ・「カメラのフェイスロック」機能を改善し、マウスによるカメラ調整や「カメラの自動ズーム」機能と連携してより適切に動作するようになる ・「カメラのフェイスロック」の「ロック率」設定を更新して0%を許可 ・ARKit ブレンドシェイプにスムージングを追加 ・全身モーキャプ ポーズ使用時に、「腰の調整の設定セット」設定の動作をデフォルト構成に固定するように変更 ・「カメラのフェイスロック」に関連するバグと計算の問題を修正 ・カメラがアバターに近すぎる場合にマウスカメラのズームアウトがロックされる問題を修正 ・顔のトラッキングなしでボディトラッキングのみが有効になっている場合、一部のプリセットポーズのアバターの向きを修正 ・特定のプリセットポーズで「腰の調整」が使用されたときの頭の回転に関連する計算バグを修正 ・モーション録画中のAI感情検出の更新間隔を修正 ・「transformers.js」 を更新 (v3.2.4) XR Animator 先行版 (v0.32.0) ・💡AI感情検出のサポートを追加 ・顔追跡中の、特に顔がカメラに非常に近い場合の境界ボックスのスケーリングを改善 ・オブジェクト追跡オプションの下に画像分類 AI モデルを変更する設定を追加 (楽器などの可視性を追跡できる小道具で使用可能) ・感情追跡オプションに「母音」設定を追加 ・肩の動きを安定させる ・楽器のプロパティを設定する際に、いくつかの操作のヘルパーのサポートを追加 ・オブジェクト追跡オプションの検出/追跡スコアしきい値設定の下限を10%に変更 ・MMD モデルの悲しみ/怒りのモーキャプ表現を改善 ・MMDモデルの3D壁紙のシェーダーモードをサポート ・重複したファイルを削除する ・ボディトラッキング中に最初に肩が見えなかったエラーを修正 ・新しいモデルにアイコンが定義されていない場合の VRM モデル交換のエラーを修正 ・楽器プロップのオブジェクト追跡で、プロップ固有の設定が無視されるバグを修正 ・ターゲット位置が有効距離を超えたときに逆引き効果を引き起こす平面タイプの位置マグネット (主に楽器の小道具に使用される) のバグを修正 ・MediaPipe の更新 (v0.10.20) ・three-vrm の更新 (v3.3.1) ・transformers.js の更新 (v3.2.3) XR Animator 先行版 (v0.31.0) ・💡2D ビデオ ファイルを 3D アニメーション壁紙として使用するサポート ・💡繰り返し使用しても深度マップを再計算することなく、画像およびビデオ ファイルを深度マップが添付された 3D 壁紙形式に事前変換することをサポート ・💡一部の楽器プロップのオブジェクトトラッキング（可視性）をサポート ・💡「追跡喪失時にアバターを隠す」ボディトラッキングオプションを追加し、トラッキングが失われたときに 3D アバターを非表示にするか、ポーズをフリーズするかを決定 ・「独立したウェブワーカー」ハンド トラッキング オプションに「並列」モードと「同期」モードを追加 ・3D壁紙に最適かつ最大の深度AIモデル「depth-anything-v2-large」オプションを追加 ・脚が部分的にしか見えない場合や、ヒップが画面の下端に近い場合の脚のトラッキングの安定性を向上 ・手動カメラパンを無視するように「カメラのフェイスロック」機能を改善 ・「カメラのフェイスロック」の一部の設定の制限を±200%に増加 ・他のカメラ効果による調整を無視し、手動カメラ調整のみを考慮するように「3Dカメラのロック」(デフォルトでは Ctrl+L)を変更 ・「3Dカメラのロック」でカメラがロックされているときに 3D 壁紙の位置を更新 ・VRMの読み込みとパフォーマンス全般の改善 ・FBXローダーの精度とヒップボーンのデフォルト位置に関する互換性を改善 ・WebGPUをサポートしていないデバイスでの深度推定とオブジェクト追跡機能の下位互換性を改善 ・顔トラッキングのみが有効になっている場合の VMD 形式のモーション記録のブレンドシェイプ出力を修正 ・three-vrmを更新 (v3.3.0) XR Animator 先行版 (v0.30.0) ・💡3D壁紙をglTFモデルにエクスポートする機能をサポート ・💡一部のモデルに影響するVRMジョイントの硬直性の問題を完全に修正 ・顔追跡用の「AIモデル推論装置」オプションを追加し、顔追跡モデルを実行するためにCPUとGPUを切り替えることをサポート ・BVHモーションインポーターとエクスポーターを改良し、フォーマット仕様に忠実になるようにする ・顔の追跡が時々失われることによって生じる頭の回転のぎくしゃく感を軽減 ・ボディトラッキングの喪失時の処理を改善し、トラッキングが失われる前にTポーズが表示されないようにする ・上半身のモーキャプ中のアイドルアームの肘の回転を改善 ・3D壁紙のデスクトップモードで画像のアスペクト比に合わせてアニメーションパラメータを変更 ・足IK が使用されているときにモーションを BVH または glTF にエクスポートするときに足首のフレームが欠落する問題を修正 ・3D壁紙の読み込み完了メッセージの表示を修正 XR Animator 先行版 (v0.29.1) ・💡ウェブカメラからの縦向きビデオ入力を可能にする「ポートレートモード」オプションを追加 ・💡「腕IK」オプションを追加し、IK を使用してアームの位置を計算し、IK と FK を切り替えるときにアームの動きが揺れるのを防止 ・💡3D 壁紙に「ワーカー スレッドを保持する」オプションを追加し、「いいえ」(デフォルト) に設定すると常駐メモリの使用量が大幅に削減 ・立った状態でカメラに近づいたときに上半身のモーキャプを安定させる ・ターゲットに近づきすぎるときの小道具のアライメントを安定させる ・いくつかのプリセットポーズのパラメータを更新 ・上半身のモーキャプ中の肘の位置を改善 ・上半身のモーキャプ中に腕の位置の調整に影響する回帰バグを修正 ・一部のパラメータが適切にリセットされない小道具の取り外しに関するバグを修正 ・MediaPipe を更新 (v0.10.18) ・electron を更新 (v33.2.0) XR Animator 先行版 (v0.29.0) ・💡ウェブカメラ上の特定の現実世界のオブジェクトを追跡するオブジェクト検出AIのサポートを追加 ・VMCプロトコル経由でWarudoに接続する際のVRM1.0ボーン回転の問題を修正 ・シーンのリセットを修正 ・設定のリセットを修正 ・デスクトップの「2D-to-3D 壁紙」のバグを修正し、最後に使用した画像が存在しなくなった場合にデフォルトの壁紙を使用 ・Transformers.js を更新 (v3.0.0) v0.28.1以前: https://github.com/ButzYung/SystemAnimatorOnline/releases
ウェブアプリ版 / Web app version
https://sao.animetheme.com/XR_Animator.html
Windows版 - 動作環境 / System Requirements
Windows 10/11 CPU: 2.4GHz CPU Quad Core Memory: 4GB Graphics: Geforce GTX 750 注: ラップトップを使用していてフレーム レートが予想より低い場合は、アプリが低速の統合 GPU を使用している可能性があります。これはラップトップ ユーザーにとって非常に一般的な問題です。グラフィックス カードの設定を構成し、より高速な専用 GPU が使用されるようにします。方法が分からない場合は以下の記事をご覧ください。 NOTE: If you are using a laptop but you are experiencing lower-than-expected frame rate, the app may be using the slower integrated GPU. This is a pretty common problem for laptop users. Configure your graphics card settings and make sure that the faster dedicated GPU is used. Check out the article below if you don't know how. https://techcult.com/how-to-force-windows-to-use-dedicated-graphics/