【Steam Frame】視線とまぶたを VRChat に送る「frameeyeosc」（アイトラッキング OSC）
- ダウンロード商品¥ 0
Steam Frame のアイトラッキング（視線と、まぶたの開き具合）を、VRCFaceTracking 形式のアバターパラメータとして OSC で VRChat に送るツールです。 ヘッドセットの上でバックグラウンドのサービスとして動き、Steam Link でストリーミングしている PC 版 VRChat で使えます。PC の VRCFaceTracking に送って、ほかのトラッカーとまとめることもできます。 使いたい人は Frame の目のカメラも使えて、見開き・目を細める動き・瞳孔の大きさも送れます。 PC なしで、Frame の中だけでインストールできます（1 行コマンドか、この zip から）。
特徴
- 送り先の PC は自動で見つける：Steam Link でつないでいる PC に送るので、アドレスの設定は要りません - 送り先は 3 通り：VRChat に直接送るか、PC の VRCFaceTracking（LiveLink か ETVR）に送るかを、パネルで選べます - なめらかな視線：細かい揺れを抑え、目を閉じている間は視線を固定します（Frame は目を開けた瞬間に視線が跳ねるため） - まぶたは自動で調整：左右それぞれの普段の開き具合を覚えるので、片目だけ開いて見える人でもアバターでは揃って見えます。ウインクはそのまま伝わります - 目のカメラにも対応（使うかは自由）：Frame の目のカメラを使うと、SteamOS 0.4.3 でも見開きが届きます。目を細める動きと瞳孔の大きさも送れます - SteamVR と一緒に起動：サービスとして常駐し、止まっても自動で起動し直します - 被ったまま設定できるパネル：SteamVR のダッシュボードにパネル（入れなくてもよい）を出して、その場で設定を変えられます - 英語にも対応：パネルは Steam の言語に合わせて日本語か英語で表示され、パネルの「言語」で切り替えられます。インストーラーも Steam の言語が日本語以外なら英語で表示され、zip には英語の説明書（README-en）も入っています
主な機能
- 視線（両目で同じ視線、または左右別々）とまぶたの送信 - 送り先の切り替え：VRChat に直接／VRCFT（LiveLink。パネルでおすすめと出ます）／VRCFT（ETVR）。LiveLink は見開きも VRCFaceTracking に伝わります。ETVR では見開きは伝わりません - VRCFaceTracking 用ではないアバター向けに、Steam Link の名前でも送る機能と、VRChat 標準の目（Eye Look）も動かす機能（どちらもパネルでオンにしたときだけ。VRChat に直接送るとき） - 目のカメラを使うときは、見開きのほか、瞳孔の大きさ（VRChat に直接か LiveLink のとき）と、目を細める動き（最初に 1 回の校正のあと。VRChat に直接送るとき）も送ります - 視線とまぶたの「目を合わせる」（ボタン 1 つで約 20 秒）。合わせたあとは、被るたびに正面を自動で合わせ直します - パネルの「更新する」ボタンで新しい版に更新。版ごとの更新履歴もパネルで見られます
使い方
Frame の中だけでインストールできます。方法は 2 つで、入るアプリは同じです（違うのは版で、方法 1 はその時点の最新版、方法 2 は zip に入っている版）。 はじめに：開発者モードをオンにして、Konsole を開く Konsole は開発者モードのときだけ出ます。先に Frame の 設定 → システム → 開発者モード をオンにしてください。 そのあと、画面下のバーの「＋」→「プログラムを起動」→「Konsole」を開きます。下のコマンドはコピーして、Konsole 右上の「Paste」ボタンで貼り付けられます（手で打っても大丈夫です）。 方法 1：1 行コマンドで（かんたん・いつもその時点の最新版） 1. Konsole に次の 1 行を貼り付けて Enter curl -fsSL https://frame.sasaken1102s.net | sh 2. メニューで frameeyeosc の番号を入力して Enter（このメニューでは 1）。パネルも入れるかを聞かれます 方法 2：この zip から 1. Frame のブラウザで、この商品ページから zip をダウンロードします（ホームの Downloads フォルダ ＝ ~/Downloads に入ります） 2. Konsole に次の 1 行を貼り付けて Enter cd ~/Downloads && unzip -o frameeyeosc_booth.zip && sh frame-apps/install.sh 3. メニューで frameeyeosc の番号を入力して Enter（この zip だけなら 1）。パネルも入れるかを聞かれます インストールしたら： - PC 側で Steam Link の OSC 送信をオフにします（SteamVR の設定 → Steam Link → OSC）。Steam Link もスムージングなしの目のデータを送っているので、両方が動いているとアバターの目を 2 つのデータが取り合ってしまいます。VRCFaceTracking に送るときも同じです - VRCFaceTracking に送るときは、パネルの基本タブの「送り先」で選び、PC の VRCFaceTracking にモジュールを入れます。やることはパネルの送り方タブに出ます - 目のカメラを使うときは、パネルの「目のカメラ」タブで一度だけ準備します。SteamOS のパスワードを決める（まだないときだけ）→［Konsole で開く］で開いた Konsole で Enter を押し、SteamOS のパスワードを打って道具を入れる → 両目が見えている状態で、画面の指示どおりに 18 秒目を動かす、の順です。準備が済めば、被るたびにすることはありません アンインストール（削除）も上のどちらかの 1 行で、メニューの u から選べます。目のカメラの道具を入れていたときは、その道具はアンインストールでは消えないので、先に取り除いてください（手順は公式サイトの説明の「止める・取り除く」にあります）。くわしくは zip の中の「はじめにお読みください_frameeyeosc.txt」へ。
必要なもの
- 開発者モードを有効にした Steam Frame（設定 → システム → 開発者モードを有効化） - Steam Link でストリーミングしている PC 版 VRChat（Action Menu → Options → OSC → Enabled） - 次のどれかのアバター：VRCFaceTracking の目のパラメータ（小数）を持つアバター、Steam Link の OSC 向けに作られたアバター、Eye Look を設定したアバター（VRChat 標準の目。まぶたは両目で 1 つの値になるので、ウインクや見開きは出ません） - VRChat に直接送るときは、パラメータをビットに詰める「バイナリパラメータ」のアバターには対応していません（目のカメラの瞳孔だけは対応）。VRCFaceTracking を通すときは、アバター側は VRCFaceTracking しだいです - VRCFaceTracking に送るときは、PC に VRCFaceTracking と、LiveLink モジュールか ETVR Tracking Module。LiveLink では、Windows のファイアウォールで受信を許可する必要があります - 目のカメラを使うときは、パネルと SteamOS のパスワード
同梱の版について
zip には、zip を作った時点の最新版が入っています。インストールしたあとは、パネルを入れていればパネルの「更新する」で、入れていなければ方法 1 の 1 行コマンドで新しい版にできます。パネルを入れていれば、すでに新しい版が入っているときに、zip の古い版で勝手に上書きすることはありません（戻すかどうかを聞きます）。パネルを入れていないときは入っている版が分からないので、この確認は出ずに zip の版で入れ直します。
ご利用前に必ずお読みください
- 非公式のツールです。Valve Corporation、VRChat Inc.、VRCFaceTracking プロジェクト、EyeTrackVR プロジェクトとは関係なく、承認も受けていません - 自己責任でご利用ください。無保証です - ヘッドセットのアイトラッキングが使っている、公開されていない共有メモリの形式を読んでいます。SteamOS の更新でこの形式が変わると、対応するまで使えなくなります - SteamOS 0.4.3 からは、Frame がふつうに開いた目をもう上限と読むので、目のカメラを使わないと見開きは届きません - 目のカメラの道具は frameeyeosc と一緒に入りますが、準備をするまでは待っているだけで、何も変わりません。準備では sudo の手順が 1 回あり、ご自身でパスワードを打って実行します。これで、カメラの映像を受け取る権限を 1 つだけ持つ小さなプログラムがヘッドセットに入ります（root で動き続けるものはありません）。入れたあとは、あなたのユーザーで動くプログラムなら、これを通して目のカメラの映像を受け取れるようになります - 目のカメラの映像も、公開されていない仕組みから読んでいます。SteamOS の更新で読めなくなることがあり、そのときは今までどおりの値だけで送ります - Valve の非公開の内部データを読むことは、リバースエンジニアリングを制限している Steam 利用規約に触れる可能性があります。使うかどうかはご自身で判断してください - 視線とまぶたの値（目のカメラを使えば、目を細める動きと瞳孔の大きさも）は、あなたの PC にだけ送ります。目のカメラの校正では目の映像を残さず、小さな記録のファイルだけをヘッドセットに残します。パネルの開発用の「目の撮影」だけは、目の映像をヘッドセットに保存します（始める前にパネルに出ます）。どれもヘッドセットの外には出しません。パネルは新しい版の確認のため、起動時と 1 時間に 1 回 GitHub に接続します - このフォークでの変更は AI（Claude Opus 5.5）を使って作りました。自分の Steam Frame で動作は確かめていますが、あなたの環境で何か起きても責任は取れません
ライセンス
MIT ライセンスです。konsti219/frameeyeosc（https://github.com/konsti219/frameeyeosc） をフォークしたもので、元の作品は konsti219 さんによるものです。目のカメラの映像の取り出し方は、Curtis English さんの FrameEyeCameraFeed（https://github.com/Curtis-VL/FrameEyeCameraFeed）（MIT）から移植しました。zip の中の tar.gz に LICENSE と THIRD_PARTY_LICENSES が入っています。 画像・動画のアバター：リセ -Lise-（Re:Gista 様）／衣装：ソルト・ライン（Délice Haute 様）／髪：セキレイヘアー（ぽた屋様） 見開き・瞳孔の画像のアバター：輝夜 -kaguya-（© Paryi 様）／フェイストラッキング：輝夜/Kaguya - Face Tracking Add-on（hashedits 様）
お問い合わせ
不具合や要望は X（@sasaken_1102s）または GitHub の Issues へどうぞ。
公式サイト
https://github.com/sasaken1102r/frameeyeosc
English
Sends the Steam Frame's eye tracking (gaze and eye openness) to VRChat over OSC as VRCFaceTracking-style avatar parameters. It runs on the headset and works with PC VRChat streamed through Steam Link. - Sends to VRChat directly, or to VRCFaceTracking on the PC (LiveLink or ETVR module) - Can also move avatars made for Steam Link's own OSC, or VRChat's built-in eyes (Eye Look) - Optional: the Frame's eye cameras add widened eyes (also on SteamOS 0.4.3), squints and pupil size, after a one-time setup on the panel that includes one sudo step you run yourself - The panel and the installer show English when Steam is set to a language other than Japanese (the panel can also be switched). The zip includes README-en How to install (on the headset, in Konsole): Turn on Developer Mode first. Konsole only shows up in Developer Mode. - Latest version: curl -fsSL https://frame.sasaken1102s.net | sh - From this zip: cd ~/Downloads && unzip -o frameeyeosc_booth.zip && sh frame-apps/install.sh Then pick it from the menu. Turn off Steam Link's own OSC on the PC. Unofficial, not affiliated with Valve. Use at your own risk. MIT licensed. The eye-camera code is ported from Curtis English's FrameEyeCameraFeed (MIT). Avatar in the images and video: リセ -Lise- (Re:Gista); outfit: ソルト・ライン (Délice Haute); hair: セキレイヘアー (ぽた屋). Avatar in the widen and pupil image: 輝夜 -kaguya- (© Paryi), with the Face Tracking Add-on by hashedits.