Ukemochi（ウケモチ）
- Digital0 JPY
VR空間で食事を行うための支援ソフトウェアです HMD＋SteamVRを使用したアプリケーション（VRChat）などで動作します 現在，「無印VIVE」もしくは「VIVE Pro」で動作します． 「PC用HMD + Webカメラ」でも動作しますがVR空間で食事を行うための支援ソフトウェアです HMD＋SteamVRを使用したアプリケーション（VRChat）などで動作します 現在，「無印VIVE」もしくは「VIVE Pro」で動作します． 「PC用HMD + Webカメラ」でも動作しますが部分的な動作です 分割ファイルなので，Ukemochi.part1.rar〜をすべてダウンロードし，同じフォルダ内でUkemochi.part1.rarを解凍してください部分的な動作です 動作の様子 v1.00 : https://youtu.be/Teo_Gv3lFI4 v1.10 : https://youtu.be/yiVUAb10CAA
操作説明
VIVEコントローラの右コントローラ，もしくはディスプレイに表示されるサブメニューで操作できます． ・コントローラ 誤動作を防ぐため，グリップボタンを押しながらトラックパッドをクリックすることで動作するようにしています． 1.グリップ ＋ トラックパッド 上 初期化ボタンです．食べ物がうまくトラッキングされていない場合や，違う物体をトラッキングしている場合に押してください． 赤いメッセージが表示された場合も押してください． 2.グリップ ＋ トラックパッド 左 / 右 食べ物変換ボタンです．リンゴやパンなどに食べ物を変換できます．また，器に入った食べ物（ラーメンなど）の器を変化させることができます． デバッグ用ですが，グリップ ＋ トリガーボタンでも動作します． 3.グリップ ＋ トラックパッド 下 背景切り替えボタンです．現実の背景映像をON/OFFできます． 4.グリップ ＋ メニューボタン 表示ON/OFFボタンです．ソフトウェアの表示をON/OFFできます． 5.グリップ ＋ トリガー ＋ トラックパッド（Webカメラモードのみ） Webカメラモードで表示する画面の位置を調整できます．右手のコントローラの位置に画面が移動するので，Webカメラの位置に合わせてボタンを離してください． ・サブメニュー キーボードの「M」キーで表示/非表示を切り替えられます． 1.Reset チェックボックス 初期化ボタンです．食べ物がうまくトラッキングされていない場合や，違う物体をトラッキングしている場合に押してください． 赤いメッセージが表示された場合も押してください． 2.Food 番号 食べ物変換機能です．リンゴやパンなどに食べ物を変換できます．また，器に入った食べ物（ラーメンなど）の器を変化させることができます． 0〜6の番号をキーボードで入力し，Enterキーを押すと動作します． 3.Overlay チェックボックス 背景切り替えボタンです．現実の背景映像をON/OFFできます．
環境構築・実行
環境構築は不要です（Python等はすべて同梱．libjpeg-turboのインストールも不要になりました） サーバとアプリは同じPCで実行してください 食事検出を行いたい場合 1.Ukemochi\Server\python_console.batをダブルクリックで起動 2.consoleが開かれてpythonのプログラムが走るので、Ready...とログが出るまで待機（モデル読み込みに 少し時間がかかります） 3.Ukemochi\App\ukemochi.exeを起動する 4.リンゴのマークのStartボタンをマウスクリックorVIVEコントローラで押すことで起動します Webカメラの映像だけ欲しい場合 1.Ukemochi\Server\python_console_camera_only.batをダブルクリックで起動 2.consoleが開かれてpythonのプログラムが走るので、Ready...とログが出るまで待機 3.Ukemochi\App\ukemochi.exeを起動する 4.リンゴのマークのStartボタンをマウスクリックorVIVEコントローラで押すことで起動します
推定必要スペック（動作確認環境よりかなり低くても動作するはずです）
Windows 10 CPU: 6コア以上（Core i5-9400 / Ryzen 5 3600 相当以上） Memory: 16GB以上 Graphics: GeForce GTX 1660 / RTX 2060 以上（VRAM 6GB以上，GTX 10xx以前は非対応） ストレージ: 15GB以上の空き その他: CUDA 12.8対応のNVIDIAドライバ，VIVE/VIVE Proが動作するSteamVR環境 Webカメラモードなんかはもうちょっと低スペックでも動作するかもしれません
機能説明
Ukemochi.exeで表示される各チェックボックスをマウスでクリックすることでオプション機能が使用できます． ・Save Settings ONにしたまま実行すると，カメラ番号，WebカメラOnOff（Use Web Camera），VIVE Pro Mode等の設定をjsonで保存でき，次に起動した際の入力の手間を省くことができます． ・Use Web Camera ONにするとWebカメラモードに設定されます．VIVEのフロントカメラではなく，PCに接続したWebカメラの映像を使用します ・Web Camera Number Webカメラモードの時に使用するカメラを選択できます．使用したいWebカメラの番号(0~253)を何らかの方法で調査して，入力してください． ・VIVE Pro Mode ONにするとVIVE Proモードに設定されます．旧式VIVEではなく，VIVE Proの左目の映像を使用します
その他の拡張機能
・CPU使用率抑制機能 CPUの使用率が高すぎて正常に動作しない場合はCPU使用率を抑制することが可能です Ukemochi\Server\src\tracking\server_tracking_shm.py の task_wait_time = 0.0 の値を増加させると遅延の増加と引き換えにCPU使用率を下げることが可能です ・サブメニューの初期表示設定 サブメニューを最初から表示させたくない場合， Ukemochi\App\Ukemochi_Data\StreamingAssets\IPAddress.json の "Sub_UI_bool_json":"True" を "Sub_UI_bool_json":"False" に変更してください ・HMDに表示されるスクリーンの大きさ変更機能 スクリーンの大きさ（奥行き方向の距離）を変更することが可能です Ukemochi\App\Ukemochi_Data\StreamingAssets\IPAddress.json の "AR_z":"0.8" の値を変化させてください また，スクリーンが全く表示されない場合，この値を変化させることで表示される可能性があります（おそらく環境によって，SteamVRの位置情報同期が失敗していることが原因） "AR_z":"0.8" の値を"-28"や"-29"に変更すると表示される可能性があります． 再現性が取れないバグですが，修正予定です． ・サブメニューの初期表示設定 サブメニューを最初から表示させたくない場合， Ukemochi\App\Ukemochi_Data\StreamingAssets\IPAddress.json の "Sub_UI_bool_json":"True" を "Sub_UI_bool_json":"False" に変更してください
動かない場合
・CUDA関連のエラーが出る，Ready...まで進まない GPUまたはNVIDIAドライバが要件を満たしていない可能性があります GTX 16xx / RTX 20シリーズ以降のGPUと，新しいNVIDIAドライバ（CUDA 12.8対応）が必要です GTX 10xx以前では動作しません ・Ready...とログが出たが，アプリ画面が青色 サーバ側は動作しています SteamVRの設定から、カメラの項目を確認し， 1.カメラがONになっているか 2.カメラのテストボタンを押して、カメラが正常に動いているか を確認してください ・食べ物候補を発見したときに急激に重くなる 現在の既知のバグです 一部の環境だと発生するようです SteamVRが落ちた場合は，SteamVR を再起動し， Ukemochi\App\Ukemochi.exeを再度実行してください ・常に動作が重い，カクつく CPUの性能が足りていないかもしれません その他の拡張機能のCPU使用率抑制機能を利用してください ・コントローラの入力が反映されない グリップボタンを押しながら各ボタンを押してください トラックパッドの場合は触るだけではなく，クリックが必要です もしくは，アプリ側がコントローラを見失ってる可能性があります その場合は，再起動してください もしくはサブメニューを使用してください
※注意事項
遅延を最小限にするため，実行中はCPU/GPUに高い負荷がかかります 実行する際には，作業の保存，温度等に注意してください 不具合が起きた場合，こちらでは補完することができません
アップデート履歴
[2020-02-15: v1.00] 公開 [2020-09-26: v1.10] Webカメラモード追加 [2020-09-26: v1.11] Bug fix [2020-09-28: v1.12] Webカメラの番号確認用プログラム追加 [2020-09-28: v1.13] Webカメラだけ使う機能（食事検出を行わない）を追加 [2020-12-18: v1.14] modelのpathを修正 [2021-10-21: v1.15] サブメニュー機能を追加，いくつかのバグ修正 [2021-10-21: v1.16] ARTimeWarpingを追加，VIVE関連のバグ修正 [2022-06-01: v1.18] VIVE Pro対応，サーバの起動速度の更新と遅延削減 [2026-07-06: v1.20] 通信を共有メモリ方式に変更（高速化，IPアドレス入力と環境構築を廃止），RTX 50シリーズ等の新GPU対応（GTX 10xx以前は非対応に），Unity製アプリの脆弱性（CVE-2025-59489）対策を適用
連絡先
Twitter/X : @signs0302
メディア等
・公式サイト https://signs0302.github.io/ukemochi/ ・バーチャル内で“本当の食事”を体験できるか？ 奈良先端大と東大が検証（ITmedia NEWS） https://www.itmedia.co.jp/news/articles/2205/09/news020.html ・Ukemochi: A Video See-through Food Overlay System for Eating Experience in the Metaverse（CHI 2022） https://dl.acm.org/doi/10.1145/3491101.3519779