XR Animator【XR Animator】VRM/MMD用AIモーキャプ(日本語UI対応)
- 無料版 / Free version (v0.21.0)ダウンロード商品¥ 0
- 開発応援版 (無料版と同じ) / Dev-supporting version (same as Free version)ダウンロード商品¥ 500
- 会員限定先行版 (v0.23.1 / パスワードが必要)ダウンロード商品¥ 0
「XR Animator」は、AIベース (MediaPipe) の全身モーション キャプチャで、画像、ビデオ、および Webカメラを入力としてサポートします。ブラウザ版とWindows版の両方が利用可能です。 Windows バージョンは、VMCプロトコルをサポートして、リアルタイム モーション データを VSeeFace、Unity、Unreal Engine などの外部アプリに送信できる。ブラウザ版はAndroidのAR（拡張現実）モードに対応。 "XR Animator" is an AI-based (MediaPipe) full-body mocap solution which supports image, video and webcam as input. Both browser and Windows version are available. Windows version supports the VMC-protocol which allows beaming realtime motion data to external apps such as VSeeFace, Unity and Unreal Engine. The browser version supports AR (Augmented Reality) mode on Android.
対応機能
・Webカメラまたはメディア ファイル (画像/ビデオ) を使用して全身 AIモーション トラッキングをサポート ・「Perfect Sync」/ARKit 互換の 52 ブレンドシェイプをサポート ・MMD/VRMモデルを 3Dアバターとして使用することをサポート ・モーション キャプチャを記録し、VMD/BVHモーション フォーマットにエクスポートします ・VMD/BVH/FBX形式の3Dモーションの読み込みに対応 ・2D 画像/ビデオ、3D パノラマ、および 3D オブジェクト (.x/.glb 形式) を使用して、背景と 3D シーンをカスタマイズします ・VMCプロトコルをサポートして、リアルタイム モーション データを VSeeFace、Unity、Unreal Engine などの外部アプリに送信できる (Windows版だけ) ・OBSなどのビデオ キャプチャ アプリで背景が透明なフレームレス ウィンドウをサポート (Windows版だけ) ・Android Chromeブラウザーで AR (拡張現実) をサポート ・日本語UI対応
Features
・Support full-body AI motion tracking using a single webcam or media file (image/video) ・Support "Perfect Sync"/ARKit-compatible 52 blendshapes for realistic face tracking ・Support using any MMD/VRM model as your 3D avatar ・Record mocap motion and export it to VMD or BVH motion format ・Support loading VMD/BVH/FBX format 3D motions ・Export BVH/FBX motions to VMD format ・Customize the background and 3D scene with 2D image/video , 3D panorama and 3D objects (.x/.glb format) ・Support VMC-protocol to animate a 3D model elsewhere in other VMC-enabled applications such as VSeeFace, Unity and Unreal Engine (Windows version only) ・Support frameless window with transparent background on video capture apps such as OBS (Windows version only) ・Support AR (Augmented Reality) on Android Chrome browser
先行版について / About the early access version
「先行版」のダウンロードは会員特典のひとつです。 私の FANBOX のファンになって XR Animator の開発をサポートし、すべての早期アクセス リリースやその他の特典をお楽しみください。 https://xra.fanbox.cc/ "Early access" version download is one of the perks for members. Join my ko-fi membership to support the development of XR Animator and enjoy all early access releases as well as other perks. https://ko-fi.com/butzyung/tiers
更新履歴 / Update History
XR Animator (v0.23.1): ・上半身のモーキャップに 3 つの新しいポーズを追加 ・「口追跡感度」を更新して、中程度の口ブレンドシェイプ値もブーストします ・非ARKitモデルの笑顔 (Joy/Fun) 追跡を改善 ・4K Webカメラのサポートを追加 ・FBXインポートを改善 ・低速でモーションを記録するときにヘッドの動きを安定させます ・「腰の調整」計算の改善 ・顔追跡のみがオンだった場合の「体の傾きの追跡」を修正しました ・ロックを解除した後、手動でリセットするまでカメラの回転が機能しない「カメラのフェイスロック」 (Ctrl+L) を修正しました。 ・以前カスタムモーションとして使用されていたモーションを含む圧縮されたMMDモーションセットをロードするときのバグを修正 ・複数回再生できない圧縮された MMD モーション セットのバグを修正 XR Animator (v0.23.1): - Add 3 new poses for upper body mocap - Update "Mouth tracking sensitivity" to boost mid-range mouth blendshape values as well - Improve smile tracking for non-ARKit model - Add 4K webcam support - Improve FBX import - Stabilize head motion when recording motion at low speed - Improve hip adjustment calculation - Fix body leaning tracking when only face tracking was on - Fix camera lock (Ctrl+L) in which camera rotation wouldn't work until manual reset after lock release - Fix bug when loading a zipped MMD motion set with motion which was used before as custom motion - Fix bug in zipped MMD motion set preventing it from playing more than once XR Animator (v0.23.0): ・glTF モーションのインポート/エクスポートのサポートを追加 ・楽器のモーキャプ記録のサポートを追加 ・手の位置との位置合わせに依存するプロップ (例: 一部の楽器) がモーキャプなしでもOK ・モーション録画の速度に合わせてデータフィルター設定を調整 ・VMD 形式でモーションを記録するときにアーム IK 出力を無効にし、再生のためにモーションを XR Animator に戻すときの問題を修正 ・指の動きによるQuickSync FBXをサポート ・BVH インポート/エクスポートの改善 ・VRM アバターの BVH アニメーション位置スケーリングを修正 ・上半身のモーキャプでの記録とモーション再生の両方で同じ速度を使用するようにモーション記録を修正 ・モーション再生が一時停止されたときのポーズオプションの表示を修正 ・3 つ以上のアバター モデルを追加する際のアンロードの問題を修正 ・MediaPipe 更新 (v0.10.13) XR Animator (v0.23.0): - Add support for glTF motion import/export - Add support for instrument mocap recording - Allow props that rely on aligning with hand positions (e.g. some instruments) to work without mocap - Adjust data filter settings to match the speed of motion recording - Disable arm IK output when recording motion in VMD format, fixing issues when putting the motion back to XR Animator for playback - Support QuickSync FBX with finger motions - Improve BVH import/export - Fix BVH animation position scaling for VRM avatar - Fix motion recording to use the same speed for both recording and motion playback in upper body mocap - Fix pose options display when motion playback was paused - Fix unloading issues when adding more than 3 extra avatar models - Update MediaPipe (v0.10.13) XR Animator (v0.22.0): ・ドラッグアンドドロップとホットキーによる VRM モデルの切り替えをサポート ・QuickMagic モーション FBX のインポートをサポート ・インベントリ UI がクリックされるまで入力フォーカスをキャプチャしていた視覚効果コントロール パネルを修正 ・「自動」に設定され、HDRI 背景がオンになっている場合にオンになる「カメラのフェイスロック」の設定を修正 ・誤作動を防ぐために「メディアレコーダー」のホットキーを修正 ・electron 更新 (v30.0.1) ・N8AO 更新 (v1.8.2/modified) ・以前のプロジェクトから継承されたいくつかの廃止された機能を無効にする XR Animator version (v0.22.0): - Add support for swapping VRM avatar model via drag-n-drop and hotkeys - Add support for importing QuickMagic motion FBX - Fix visual effects control panel which captured the input focus until the inventory UI was clicked - Fix face-locking camera and turn it on when set to "Auto" and HDRI background is on - Fix media recorder hotkeys to prevent misactivation - Update electron (v30.0.1) - Update N8AO (v1.8.2/modified) - Disable some obsolete features inherited from previous projects v0.21.0 and before: https://github.com/ButzYung/SystemAnimatorOnline/releases
ウェブアプリ版 / Web app version
https://sao.animetheme.com/XR_Animator.html
Windows版 - 動作環境 / System Requirements
Windows 10/11 CPU: 2.4GHz CPU Quad Core Memory: 4GB Graphics: Geforce GTX 750 注: ラップトップを使用していてフレーム レートが予想より低い場合は、アプリが低速の統合 GPU を使用している可能性があります。これはラップトップ ユーザーにとって非常に一般的な問題です。グラフィックス カードの設定を構成し、より高速な専用 GPU が使用されるようにします。方法が分からない場合は以下の記事をご覧ください。 NOTE: If you are using a laptop but you are experiencing lower-than-expected frame rate, the app may be using the slower integrated GPU. This is a pretty common problem for laptop users. Configure your graphics card settings and make sure that the faster dedicated GPU is used. Check out the article below if you don't know how. https://techcult.com/how-to-force-windows-to-use-dedicated-graphics/