MocapAssistant【Mocopi用】開発終了 無償公開
- Full版 無料ダウンロードダウンロード商品¥ 0
- 支援版 (中身は同じ)ダウンロード商品¥ 500
Mocopiユーザーの皆様、おうちフルトラ配信した時にモニターの前から動き回ったりすると段々位置がズレてしまう…なんてことはありませんか？ 今回はそんなお悩みをVtuber目線で解決したいと思い、位置をタイマーでリセットできるアプリを作ってみました。 可能であれば概要欄にクレジット表記お願いいたします。 霧雨なのは @kirisamenanoha MocapAssistant https://kirisamenanoha.booth.pm/items/5458434 SpoutのOBSプラグインインストール設定方法は各自お調べください。 SpoutプラグインダウンロードURL https://github.com/Off-World-Live/obs-spout2-plugin/releases -------------------------------------------------------- お知らせ WebCamMotionCaputureを利用する方へ WebCamMotionCaputureは内部で39543ポートを使用してる為WebCamMotionCaputureからMocapAssistantへの送信に39543を使うと送信できない可能性があります。他のポートを設定しお使いください。 -------------------------------------------------------- デバックにご協力頂いた皆様本当にありがとうございました。 ※個人、法人所属Vtuber問わず配信、動画投稿特に制限はありません。 ※本アプリはMocopi専用です。 ※本アプリを無断でコピー、配布、販売する行為はお止めください。 ※MocopiUDPは暗号化されていない為屋外ネットワークへの送信はお控えください。 ※ライセンスは同梱のテキストに添付。 ※VRM1.0非対応 今後対応予定
サポートについて
霧雨工房のサポート用Discordサーバーを開設しました。 使い方に関する問い合わせなどお問い合わせにご利用ください。 https://discord.gg/Sckd2sHQsZ
特長
・このアプリだけでスマホからmocopiのモーションを直接受信して、ハンドトラッキング受信、フェイストラッキング受信、各アプリへの送信ができます。 ・ifacialmocapやMeowFaceと連携が出来ます。 ・WebCamMotionCaptureやVseeFaceからハンドとフェイス両方受信可能。 ・Leapmotionによるハンドトラッキングが利用できます。 ・横ズレに対するポジション位置のタイマーリセット機能 ・リングフィットアドベンチャーの配信などで使えるHipボーン位置固定機能。 ・体が回転してほしくない時に使用するHipボーン回転固定機能。 ・頭の回転を固定するHeadボーン回転固定機能 ・OBSのアウトラインフィルタ不要で白枠が付けられます。（別途Spoutプラグインが必要） ・運動系配信向けにグーのハンドサインやグローブの装着が出来ます。
使い方
①起動後、セキュリティの重要な警告が出たら、アクセス許可を押す。 ②VRMファイルを読み込む。 ③スマホのMocopiアプリにて送信先PCのIPアドレスとポート（12351）を設定送信を開始する。 ④モーション受信にチェックを入れる (この時点でアバターが動かない場合はセキュリティソフトでブロックされていないか確認、再度ダウンロードし直して①のアクセス許可を押すを試してみてください) ⑤配信アプリへモーション送信のポートを設定する。（Vroom、Warudo、3teneなど） ⑥ハンドトラッキングを受信する。(WebCamMotionCaputureやVseeFaceなどVMCprotocolに限る) WebCamMotionCaputureからフェイストラッキングとハンドトラッキング両方受信したい方はWebCamMotionCaputureからハンド＆フェイス受信にチェック。ハンド＆フェイス受信にポート番号を設定。 ————————————————————— webcammotioncaptureの使い方 ①VRMを読み込む。 ②webcammotioncaptureの外部の送信にチェックを入れて、IPアドレスは127.0.0.1を入れる。ポート番号を任意の番号にして設定してください。例39547 送信開始を押してください。 ③ webcammotioncaptureからパーフェクトシンクも受信する方は表情の設定からパーフェクトシンクを選択してください。 ④MocapAssistantのハンドトラッキング受信にwebcammotioncaptureで設定したポート番号を入力 ⑤MocapAssistantのハンド＆フェイス受信にチェックを入れてください 上手く受信できない場合はポートを変えてみてください。 ⑥Leapmotionからハンドトラッキングを受信 USBでLeapmotionを接続ハンドトラッキング受信ポートを5555にする。首掛け前提です。 ⑦Waidayoからパーフェクトシンクを受信する(Waidayoの設定でポート番号を設定。同じ番号をWaidayo受信に入力) 上手く受信できない場合はポートを変えてみてください。 ifacialmocap、MeowFaceからパーフェクトシンクを受信する方は、スマホのifacialmocapもしくはMeowFaceを起動。MocapAssistantのifacialmocap又はMeowFaceからパーフェクトシンクを受信にチェックを入れる。スマホに表示されたIPアドレスを入力しSendボタンを押す。 パーフェクトシンク非対応モデルの場合はチェックを外してください。 ⑧モーションスムージングを使用するとMocopiモーションのカクツキを抑えることが出来ます。 ⑨リセットボタンを押すとVroomやWarudoの初期ポジションにスライドしながらリセットされます。 ⑩⑨を自動でリセットしたい場合はカウント時間を設定し(例：5分=300)自動リセット開始にチェックを入れる。カウントが開始されカウント後リセットされる。 ストップする場合はチェックを外す。 ⑪リングフィットなどズレて欲しくない配信ではHipボーン位置固定を使用する。チェックすると左右前後へ移動が制限されます。上下は固定されません。また、手動リセットや自動リセットと併用は出来ません。 ⑫Hipボーン回転固定機能。チェックを入れるとHipボーンが固定され回転しなくなります。Vroomなどの歌枠で腰が回転してしまう時やリングフィットアドベンチャー配信でHipボーン位置固定だけでは体が徐々に回転してしまう時にお勧め。胸や足の向きが若干おかしくなる場合があります。 ⑬Headボーン回転固定機能。HipBone回転固定使用時などに頭だけ回転する場合に使用。 ⑭Spout出力を利用する場合はOBSにSpoutプラグインをインストールしソースにSpout2captureを追加して、SpoutSendersをMocapAssistantにする。Composite modeはdefaultを選択。白枠のアウトラインを付ける場合はアウトライン表示にチェックを入れる。 ⑮マウス右クリック押しながら動かすとでカメラの移動が出来ます。ズームは右クリック押しながらホイール操作 ⑯ポートやIP、セットタイムを入力しLanguageの脇のセーブを押すと次回起動時から入力しなくて済みます。変更の度にセーブしてください。 ⑰ハンドサインはチェックを入れるだけで利用できます。上手く反映されない場合はハンドトラッキングはオフにしてアプリを再起動してください。 ⑱試験的な機能ヨーリセットはHipboneのドリフトに対して体の向きを正面に戻す機能です。位置がズレてしまう為少し扱いにくくはなっていますがHipbone位置固定と併せて使うと運動配信時に定期的に体の向きをリセットすることが出来ます。使い方は位置リセットと同じ。
How to use
① After launching, if an important security warning appears, press Access permission. ② Load the VRM file. ③ Set the destination PC's IP address and port (12351) in the Mocopi app on your smartphone and start sending. ④ Check Receive Motion (If the avatar does not move at this point, check if it is blocked by security software, download it again, and try pressing Access permission in ①) ⑤ Set the port for sending motion to the distribution app. (Vroom, Warudo, 3tene, etc.) ⑥ Receive hand tracking. (Only VMC protocol such as WebCamMotionCaputure and ContactGlove) If you want to receive both face tracking and hand tracking from WebCamMotionCaputure, check Hand & Face Receive from WebCamMotionCaputure. Set the port number for Hand & Face Receive. ——————————————————————— How to use webcammotioncapture ① Load VRM. ②Check external transmission in webcammotioncapture and enter 127.0.0.1 as the IP address. Set the port number to any number. Example: 39547 Click Start Sending. ③If you also want to receive Perfect Sync from webcammotioncapture, select Perfect Sync from the facial expression settings. ④Enter the port number set in webcammotioncapture in MocapAssistant's Hand Tracking Receive ⑤Check MocapAssistant's Hand & Face Receive If you are unable to receive properly, try changing the port. ⑥Receive hand tracking from Leapmotion Connect Leapmotion via USB and set the hand tracking receive port to 5555. This is a neck strap. ⑦Receive Perfect Sync from Waidaya (set the port number in Waidaya settings. Enter the same number in Waidaya Receive) If you are unable to receive properly, try changing the port. If you want to receive Perfect Sync from ifacialmocap or MeowFace, start ifacialmocap or MeowFace on your smartphone. Check Receive Perfect Sync from ifacialmocap or MeowFace in MocapAssistant. Enter the IP address displayed on your smartphone and press the Send button. If your model does not support Perfect Sync, uncheck it. ⑧ Using motion smoothing can reduce jerky Mocopi motion. ⑨ Pressing the reset button will reset the camera while sliding to the initial position of Vroom or Warudo. ⑩ If you want to reset ⑨ automatically, set the count time (e.g. 5 minutes = 300) and check Start automatic reset. The count will start and be reset after the count. Uncheck it to stop it. ⑪ Use Hip bone position fixation for broadcasts where you do not want the camera to shift, such as Ring Fit. Checking this will limit movement to the left, right, front, and back. Up and down will not be fixed. This cannot be used in conjunction with manual reset or automatic reset. ⑫ Hip bone rotation fixation function. Checking this will fix the Hip bone and prevent it from rotating. Recommended for when your hips rotate during singing in Vroom or when your body gradually rotates when you stream Ring Fit Adventure with the Hip Bone fixed. The orientation of your chest and legs may become slightly strange. ⑬Head Bone Rotation Fixation Function. Use this when only your head rotates when using Hip Bone Rotation Fixation. ⑭If you want to use Spout output, install the Spout plugin in OBS, add Spout2capture to the source, and set SpoutSenders to MocapAssistant. Select default for Composite mode. Check the box to display outlines if you want to add a white outline. ⑮You can move the camera by holding down the right mouse button and moving it. To zoom, hold down the right mouse button and use the wheel. ⑯Enter the port, IP, and set time, and click Save next to Language to avoid having to enter them the next time you start the app. Save every time you make a change. ⑰You can use hand signs just by checking the box. If they are not reflected properly, turn off hand tracking and restart the app. ⑱ Experimental function Yaw reset is a function that returns the body orientation to the front when the hipbone drifts. It is a little difficult to use because the position shifts, but when used together with Hipbone position fixation, it can reset the body orientation periodically during exercise distribution.
アップデート履歴
[2024-01-30: v1.1] 体験版ver1.1リリース [2024-01-31: v1.2] 体験版ver1.2リリース ポート番号カウント時間などのセーブ機能と言語切り替えを追加。 [2024-02-6: v1.3]体験版Ver1.2にセーブバグを確認した為公開停止、Ver1.3にて改善、リップシンクが動作しないバグ修正、一部アバターで動作しないバグ修正、アウトライン幅を修正。 [2024-02-6: v1.4]チェックボックスへの翻訳ポップアップの追加、リセット時の移動速度変更（1.3よりゆっくり）、新機能HIP回転固定、内部的な仕様変更の為位置固定ボタン廃止（チェックボックスに変更名称はHIP位置固定） [2024-02-16: v1.5]体験版リリース。ifacialmocap/MeowFaceからパーフェクトシンクを受信できるようにしました。UIの変更。Headボーン回転固定機能追加。 [2024-02-29: v1.6]体験版リリース リップシンクとフェイストラッキングの干渉を少なくしました。またリップシンクのオンオフボタン追加。mocopiロゴの追加 [2024-07-19: v1.7]体験版リリース ・影になっていた為太陽の向き修正。 ・Leapmotionに対応。 ・各フェイストラッキングのBlendshapeの干渉を抑えるためリップシンクを廃止。（上手く実装できれば復活させます） ・VRM野次郎読み込み機能を追加。直前に読み込んだVRMをロードします ・起動中にVRMを再ロードした際にmocopiUDPを受信出来なくなるバグを修正。再度受信開始に✓を入れることで継続して受信できるようになりました。 ・UIの完全翻訳を実装。 ・送信先アプリで床に足が埋まったり寝そべり時に体が埋まらないように床判定を実装 ・体全体のヨードリフトに対するタイマーリセットを追加。（試験的） ・RingfitやFitBoxing向けにグーのハンドサイン追加 ・Uiのオートセーブ対応。チェックボックスは除く。 ・FPSを60に固定。 [2024-07-19: v1.1]IllumiTrack体験版リリース。 ナンバリングを変更。リップシンクに対応。Mキーでマイク選択。 手の回転を無効化するトグルを追加。 パーフェクトシンクのスムージングを変更。 OBSアウトラインを細くなるように変更。 [2024-02-6: v1.2]フル版リリース。 [2024-02-10: v1.3]フル版リリース。アップデート内容は体験版と同じ。 [2024-02-16: v1.4]フル版リリース。アップデート内容は体験版と同じ。 [2024-02-29: v1.5]フル版リリース。アップデート内容は体験版と同じ。 [2024-07-19: v1.6]フル版リリースアップデート内容は体験版と同じ。 [2024-07-19: v1.1]IllumiTrackフル版リリース。 [2025-01-08: v1.1]IllumiTrack製品版販売開始に向けて商品を削除 [2025-04-08]開発終了 無償公開とします
Update history
[2024-01-30: v1.1] Trial version ver1.1 released [2024-01-31: v1.2] Trial version ver1.2 released Added save function such as port number count time and language switching. [2024-02-6: v1.3] Trial version ver1.2 was discontinued due to a save bug, and was improved in ver1.3, fixed the bug that lip sync did not work, fixed the bug that did not work with some avatars, and fixed the outline width. [2024-02-6: v1.4] Added translation popup to checkbox, changed movement speed when resetting (slower than 1.3), new function HIP rotation fix, abolished position fix button due to internal specification change (changed name to checkbox, HIP position fix) [2024-02-16: v1.5] Trial version released. It is now possible to receive perfect sync from ifacialmocap/MeowFace. UI change. Added head bone rotation fix function. [2024-02-29: v1.6] Trial version released Reduced interference between lip sync and face tracking. Also added lip sync on/off button. Added mocopi logo [2024-07-19: v1.7] Trial version released ・Fixed sun direction because it was in shadow. ・Supports Leapmotion. ・Abolished lip sync to reduce interference with Blendshape of each face tracking. (If it can be implemented well, it will be revived) ・Added VRM Nojiro loading function. Loads the VRM loaded immediately before ・Fixed a bug that prevented mocopiUDP from being received when reloading VRM during startup. It is now possible to continue receiving by checking Start Reception again. ・Implemented full UI translation. ・Implemented floor detection to prevent feet from being buried in the floor or body from being buried when lying down in the destination app ・Added timer reset for yaw drift of the entire body. (Experimental) ・Added a fist hand sign for Ringfit and FitBoxing ・Supports UI autosave. Checkboxes excluded. ・Fixed FPS to 60. [2024-02-6: v1.2] Full version released. [2024-02-10: v1.3] Full version released. Update contents are the same as the trial version. [2024-02-16: v1.4] Full version released. Update contents are the same as the trial version. [2024-02-29: v1.5] Full version released. Update contents are the same as the trial version. [2024-07-19: v1.6] Full version released. Update contents are the same as the trial version.
