□---------------------------------------------------------------- □ 事前準備 □---------------------------------------------------------------- ①ThreeDPoseTrackerをダウンロードし、姿勢がアバターに反映されるようにしてください。 https://qiita.com/yukihiko_a/items/43d09db5628334789fab ②Virtual Motion Trackerをダウンロードし、説明にしたがってセットアップしてください。 「VMT Manager」により簡単にセットアップ可能です。 https://gpsnmeajp.github.io/VirtualMotionTrackerDocument/ ※StermVRへ仮想トラッカーを追加するために必要です！ □---------------------------------------------------------------- □ 使用許諾 □---------------------------------------------------------------- ・ソフトウェアは「現状のまま」で、明示であるか暗黙であるかを問わず、何らの保証もなく提供されます。 　ここでいう保証とは、商品性、特定の目的への適合性、および権利非侵害についての保証も含みますが、それに限定されるものではありません。 　 　作者または著作権者は、契約行為、不法行為、またはそれ以外であろうと、ソフトウェアに起因または関連し、 　あるいはソフトウェアの使用またはその他の扱いによって生じる一切の請求、損害、その他の義務について何らの責任も負わないものとします。 開発は一人で行っているため、十分なサポートも出来ない可能性が ありますので、ご了承ください。 □---------------------------------------------------------------- □ License □---------------------------------------------------------------- ・THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, 　INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. 　 　IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, 　WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, 　OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE. Development is done alone. Please note that we may not be able to provide sufficient support. □---------------------------------------------------------------- □ ThreeDPoseTrackerの設定項目 (PC版 v0.4.2) □---------------------------------------------------------------- ①ThreeDPoseTracker単独で十分にトラッキング出来るようにセットアップしてください。 ②VMC Protocolの送信先の設定 「Configuration画面」を開き、「Others」タブを選択します。 IPに「127.0.0.1」 Portに「38900」を設定し、「Use VMC Protocol」にチェックします。 ※「Rot」のチェックは不要です。 ※別PCから送る場合は受信側PCのIPアドレスを指定してください。 ③鏡像機能の停止 「images」タブを選択し、「Mirror when using camera」のチェックを外します。 ④TDPToVRを起動し、「Start Receive」から受信を開始します。 □---------------------------------------------------------------- □ ThreeDPoseTrackerの設定項目 (iOS版) □---------------------------------------------------------------- ※実機非所持なので非検証 基本はPC版と同じはずです。(予想) ①「Use VMC Protocol」の送信先IPを設定する。 受信用PCのIPアドレスを設定する必要があります。 ※ローカルIPの調べ方 (Windows PC) キーボードの［Windows］キーを押しながら、［R］キーを押します。 「名前」欄に「cmd」と入力し、［OK］ボタンをクリックします。 コマンドプロンプト画面で「ipconfig」と入力し、［Enter］キーを押します。 ［IPv4 アドレス］または［IPアドレス］の値が、使用しているパソコンのIPアドレスです。 iOS版のTDPTにパソコンのIPアドレスを設定してください。 Portに「38900」を設定し、「Use VMC Protocol」にチェックします。 □---------------------------------------------------------------- □ 基本の操作方法 □---------------------------------------------------------------- □推定座標とSteamVR座標の調整 ・右上のドロップダウンより「Offset」を選択 　Heightに身長(m)を入力 　 　SteamVRを起動し、原点に立った状態で「Calibrate」ボタンを押す 　※頭と両足位置からオフセットを計算し座標を合わせます。 　　(両手位置は見ていません。) 　　(SteamVR設定 -> 一般 -> SteamVRホーム [オフ]がオススメです。) 　 　※キャリブレートが上手く行かない場合は、 　　XYZ = 0、Scale = 0.1などに設定し「Apply」ボタン 　 　※↑↓ボタンを押して、腰トラッカー位置を適切な位置へ移動 　 　画面上に10点のキューブが、姿勢に合わせて表示されていれば成功です。 　(SteamVR上には3点) □Z軸方向の調整 ・右上のドロップダウンより「Move Z」を選択 　 　「Camera」ボタンを押す 　SteamVRの原点に立った状態で「Set current」ボタンを押す 　 　原点より後ろに立った状態で、「Camera Z scale」を調整 □---------------------------------------------------------------- □ テスト環境 □---------------------------------------------------------------- OS : Windows 10 Home GPU : Geforce GTX1070 カメラ : BUFFALO BSW505MBK ・姿勢推定時のGPU負荷は70%、20fps程度 ・カメラは画角120°以上の物を推奨 　全身が映らないと良好にトラッキング出来ません □---------------------------------------------------------------- □ FAQ □---------------------------------------------------------------- ・VRChatでTポーズのまま動きが反映されないよ？ 　VRChatでも別途アバター用のキャリブレートが必要です。 　VRChatメニューのキャリブレートを実行し。 　実際に体をTポーズにしてトリガーしてください。 ・仮想トラッカーの位置がちゃんと合ってるか判り辛いよ？ 　SteamVR設定 -> 一般 -> SteamVRホーム [オフ]。 　この状態でVRゴーグルを被ります。 　そうするとコントローラや仮想トラッカーを見ることが出来ます。 　 　オフセット位置を調整して、腰両足へ仮想トラッカーを仮想装着してください。 □---------------------------------------------------------------- □ TODO □---------------------------------------------------------------- ・HMD位置を元に仮想トラッカー位置を補正 ・説明とマニュアルのHTMLページ対応 □---------------------------------------------------------------- □ 更新履歴 □---------------------------------------------------------------- 2020.11.02 (月) 開発初期α版を公開 2020.11.03 (火) ライセンスをThreeDPoseTrackerに準じたものに変更 2020.11.05 (木) 各軸への回転反映を取り込み 2020.11.06 (金) RenderTextureのメモリリークに対応 2020.11.12 (木) ・カルマンフィルタ、ローパスフィルタの取り込み ・フィルタ周りのGUI対応 2020.11.20 (金) ・オフセット調整用GUI対応 ・処理サイクル調整用GUI対応 　(画面更新頻度を下げて、少しでもGPU負荷を下げる) 　(ヒートマップからの座標変換処理の効率化) 2021.01.02 (土) ・Z軸の移動スケールGUI対応 ・両肘と両膝の表示を対応 ・トラッカーの軸回転対応 2021.10.13 (水) ・名称をPoseNetToVR → TDPToVRへ変更 2021.11.22 (月) ・Z軸の移動を再度対応 ・仮想トラッカーON, OFF用のGUIを対応 ・ポーズ固定FREEZE機能を追加 □---------------------------------------------------------------- □ 作者について □---------------------------------------------------------------- VRゲームを作りたいたぬきです □---------------------------------------------------------------- □ MEMO □---------------------------------------------------------------- Deep learning pose estimation by web camera.