# 🎭 AIデスクトップキャラクター ### あなたのPCに住む、AIとVRMで動く賢いデスクトップマスコット **AIデスクトップキャラクター**は、VRMアバターをデスクトップに透過表示し、Google Gemini AIがあなたの画面を「見守り」ながら状況に応じて話しかける、Windows向けのデスクトップマスコットアプリです。 プッシュツートークでの音声会話やお好みのVOICEVOX音声での読み上げ、会話の積み重ねによる長期記憶機能など、作業やゲームのおともになる機能を備えています。 **現在のバージョン：Ver 1.0.4（2026年9月12日更新）** ※ VRMモデルは同梱されていません。AI機能にはインターネット接続と、ご自身で用意したGemini APIキーが必要です。 --- ## ✨ 主な機能 - 🧍 VRM透過表示：お好みのVRMモデルをデスクトップに透過・最前面表示。 - 👁️ 視線・首追従：マウスの動きに合わせてキャラクターの顔が自然に追従。 - 🖥️ 画面見守り：ランダムな間隔で画面をキャプチャ・AI分析し、状況に合わせてつぶやく。 - 🎙️ 双方向音声会話：ホットキー長押し（プッシュツートーク）で、マイクから声で話しかけられます。 - 🔊 VOICEVOX連携：ローカルのVOICEVOXと連携し、詳細な音声パラメータ調整にも対応。 - 🧠 長期記憶システム：会話から趣味や思い出を整理して記憶し、その後の返答に反映。 - 💾 魂データの継承：記憶や関係性のデータをエクスポートし、別PCへ移行可能。 - 🪟 表示調整：設定画面を開いている間、表示枠の端や角をドラッグしてサイズを調整。 - 💤 スリープ：トレイへ最小化して自動見守りや描画を一時停止。 --- ## 🚀 導入・セットアップ手順 ### 1. 必要なもの 本アプリの動作には、本体のほかに以下のデータや外部連携が必要です。 - Google Gemini APIキー：[Google AI Studio](https://aistudio.google.com/)で用意してください。APIの無料枠・料金・利用制限はモデルと利用条件によって異なります - お好みのVRMモデルファイル（`.vrm`）：※本アプリに3Dモデルは同梱されていません - VOICEVOX：音声読み上げ機能を使用する場合に必要です - マイク：音声で話しかける場合に必要です - インターネット接続：AIとの会話・画面分析・記憶更新に必要です ### 2. 初期設定 1. ダウンロードしたVer 1.0.4のインストーラー（`.exe`）を実行してインストール。 2. アプリ起動後、キャラクターを**右クリック ➡️「設定画面を開く」**。 3. 取得した **Gemini APIキー** を入力して保存。 4. 「VRMファイル」の項目から、ご用意いただいた `.vrm` ファイルを選択。 5. （音声利用時）VOICEVOXをあらかじめ起動しておくと、アプリが自動検出します。 > ⚠️ **Windows SmartScreen警告について** > 本アプリは個人開発のコード署名なしビルドのため、初回起動時に「WindowsがPCを保護しました」と表示される場合があります。配布元を確認したうえで実行する場合は、「詳細情報」➡️「実行」を選択してください。 --- ## 🕹️ 操作方法・設定項目 ### 基本操作 - 左クリックドラッグ：キャラクターウィンドウの移動 - 右クリック：コンテキストメニュー表示（手動ツッコミ / スリープ / 設定 / 終了） - F6キー（デフォルト）：自動見守りの一時停止 / 再開（手動操作での画面送信は停止しません） - F7キー（デフォルト）：手動トリガー（その瞬間の画面をAIに見せて反応させる） - F8キー長押し（デフォルト）：プッシュツートーク（音声と、そのときの画面をAIに送信） - 任意のキー（設定可能）：スリープモード（トレイに最小化）のON/OFF ### 主な設定項目 設定画面から以下のパラメータを動的にカスタマイズ可能です。 - AI挙動設定：使用モデルの選択（高速/高精度）、性格や口調を指定する「性格プロンプト」 - 見守り間隔：自動見守りの最小/最大間隔（分単位。両方を `0` にして保存すると自動見守りを無効化） - VOICEVOX詳細：話者ID（キャラクター）の選択、話速・音高・抑揚・音量・無音時間の調整 - 表示設定：ウィンドウサイズ、カメラ距離・高さ、キャラクターの明るさ - その他：マウス追従感度、各種ホットキーの再割り当て、Windows起動時の自動起動ON/OFF、記憶（魂データ）のバックアップ・復元 --- ## 🔒 データの保存と外部通信について 設定や長期記憶はPC内に保存します。AI処理にはGoogle Gemini APIを使用するため、**完全なオフライン動作ではありません。** ### 1. Google Geminiへ送信するデータ 会話・画面分析では、入力テキスト、会話履歴、長期記憶、対象画面の画像、音声入力を機能に応じて送信します。プッシュツートークでも音声と画面を送信します。記憶の更新時には、更新対象の会話と長期記憶を送信します。 APIキーはGeminiへの認証に使用します。起動時の接続確認や、設定画面でのモデル一覧取得でも通信します。Google側でのデータの取り扱いは、利用するサービス・契約条件に従います。[Gemini APIの利用規約](https://ai.google.dev/gemini-api/terms)をご確認ください。 ### 2. PC内に保存するデータ - APIキー：OSの暗号化機能を使って保存します。暗号化を利用できない場合は保存せず、エラーを表示します。設定ファイル全体を暗号化するものではありません。 - 長期記憶（魂データ）：`soul.json` に暗号化されていないJSON形式で保存します。設定画面からバックアップ・復元できます。 - 会話履歴：アプリ実行中のメモリ上に保持します。20往復ごと・終了時に長期記憶を更新します。すべての会話をそのまま保存する機能ではなく、異常終了や更新失敗で未反映の会話が失われる場合があります。 - 読み上げ音声：PC内のVOICEVOXへ返答テキストを渡して音声を生成し、一時音声ファイルとして保存・上書きします。 保存先は `%APPDATA%\ai-desktop-character\` です。 ### 3. 画面見守りの範囲と停止方法 - **送信対象**：撮影開始時にマウスカーソルがあるモニターを識別し、その1画面の画像をGeminiへ送信します。対象を一意に特定できない場合は送信を中止します。 - **画像の取得**：画面選択のため、各モニターの縮小画像がメモリ上に生成されます。選択した画面以外の画像はGeminiへ送信しません。現行版には、撮影画像をアプリがファイルとして書き出す処理はありません。 - **キャラクターの映り込み**：撮影時にキャラクターの表示を画像から除外する処理を行いますが、OSや描画方式によって挙動が異なります。 - **自動見守りの停止**：F6で一時停止、または設定の最小・最大間隔を両方0にして保存すると無効化できます。停止操作前に始まった処理・送信を取り消すものではありません。 - **手動操作について**：自動見守りを停止していても、F7や音声会話では画面が送信されます。機密情報などを表示している際は、これらの操作も控えてください。 --- ## ❓ よくある質問（FAQ） Q. Gemini APIは有料ですか？ A. 利用条件に応じて無料枠を使えるモデルもありますが、すべてのモデル・利用量で無料になるわけではありません。有料枠を利用する場合は、利用量に応じたAPI料金が発生します。本商品の価格にAPI利用料は含まれません。購入・利用前に[Google公式の料金表](https://ai.google.dev/gemini-api/docs/pricing)と、ご自身のプロジェクトの課金設定・利用制限をご確認ください。 Q. インターネットなしでも会話できますか？ A. AIとの会話・画面分析・記憶更新にはGeminiへの接続が必要です。VOICEVOXの音声合成はPC内で行います。 Q. 一部のゲームをプレイ中に、キャラクターが裏に隠れてしまう A. Windowsの「全画面表示の最適化」機能が影響している可能性があります。以下の対策を行うことで改善する場合があります： 1. ゲーム側の画面設定を「ボーダーレスウィンドウ」または「ウィンドウモード」に設定する。 2. ゲームの実行ファイル（例: `Cyberpunk2077.exe`）を右クリックして「プロパティ」を開き、「互換性」タブで **「全画面表示の最適化を無効にする」** にチェックを入れる。 3. アプリを再起動し、ゲームを起動し直す。 > ⚠️ **ご注意** > アプリ側では常に最前面で描画されるよう制御（Always On Top）していますが、OSの仕様やゲームタイトルの描画方式、またはグラフィックボード等の環境によっては、例外的にゲームの背後に隠れてしまう場合（最前面表示が機能しない場合）があります。あらかじめご了承ください。 Q. すべてのVRMモデルが動きますか？ A. 一般的なVRM（0.x / 1.x）に対応していますが、構造により例外があります。 モデルのポリゴン数、特殊なマテリアル設定、シェーダー、データ構成によっては、一部のテクスチャが乱れる、表情の動きが不自然になる、あるいは読み込めない場合があります。 --- ## ⚙️ 動作確認済み検証環境 開発時の動作確認環境は以下のとおりです。最低動作要件や、すべてのPC・VRMモデルでの動作を保証するものではありません。 - OS：Windows 11 Home (64bit) - CPU：AMD Ryzen 9 5900X 12-Core Processor - メモリ：32GB - GPU：NVIDIA GeForce RTX 4060 Ti - その他：インターネット接続（Gemini API通信用）、Gemini APIキー ※ 3Dモデル（VRM）の描画やVOICEVOXによる音声合成処理を行うため、動作にはある程度スペックに余裕のあるPCでのご利用を推奨します。 --- ## ⚠️ 免責事項・利用規約 1. 現状有姿での提供：本アプリは仕様上の不具合やバグを含まないことの保証を行わない「現状有姿（As-Is）」で提供されます。 2. 免責事項：本アプリの使用、または使用不能によって生じた直接的・間接的な損害（PCの不具合、データの消失、連携ゲーム等でのペナルティ、API課金の発生など）について、開発者は一切の責任を負いかねます。 3. 音声・モデルの商用利用について：本アプリを用いて出力された音声やVRMモデルを配信・動画等で使用する場合は、連携する外部ソフト（VOICEVOX等）およびアバター製作者の利用規約に必ず従ってください。 4. 禁止事項：二次配布、無断転載、再アップロード、リバースエンジニアリング（解析・改ざん・ソースコードの抽出）、自作発言、および公序良俗に反する活動への利用を固く禁止します。 5. メディア露出について：本アプリを使用した状態での動画配信、スクリーンショットの公開、非営利・営利目的のコンテンツ制作（配信の演出など）への利用は自由に行っていただいて構いません。 --- ## 📜 使用ライブラリ・ライセンス * Electron (MIT) * Three.js / @pixiv/three-vrm (MIT) * Google Generative AI SDK (Apache 2.0) * uiohook-napi (GNU LGPLv3) * screenshot-desktop (MIT／旧撮影方式の依存として同梱。現行の撮影はElectronを使用) ## 🔄 更新履歴 ### 🚀 Ver 1.0.4 (2026/09/12) - 字幕表示・ファイル操作・APIキー保存などの安全性を改善 - 長期記憶の更新対象から会話が欠落する問題を修正 - 画面の識別方法を改善し、撮影対象を特定できない場合は送信を中止 - ウィンドウのドラッグリサイズで、操作中断時の処理を改善 - 設定保存に失敗した場合の表示と、魂データ読み込み時の検証を改善 - 外部通信・データ保存に関する説明を見直し ### 🚀 Ver 1.0.3 (2026/06/28) - 【重要】マルチモニター環境（縦画面モニター等）における画面解像度以上のウィンドウサイズの強制縮小バグを修正し、ドラッグリサイズと1080pxを超える表示サイズの調整に対応 - 【重要】自動見守りの間隔設定で片方または両方を空欄にした場合に、タイマーが即時連続実行されてしまうバグを修正し、空欄時の安全処理を導入 ### 🚀 Ver 1.0.2 (2026/06/28) - スリープモード（トレイへの最小化）機能の追加 - 設定画面でのコンテキストメニュー呼び出し順序の改善 - トレイ最小化/復帰用のグローバルホットキー設定を追加 - ネイティブモジュール再構築（uiohook-napi）のインストール不具合を修正 ### 🚀 Ver 1.0.1 (2026/06/24) - 設定画面表示中のアバター境界線（表示エリア範囲）の可視化 - 設定画面のウィンドウ高さ最大値の引き上げ ### 🚀 Ver 1.0.0 (2026/06/19) - 初版リリース（販売開始）