Omnia: AI Assistant for VR
- 0 JPY
Introducing your new VRChat buddy, Omnia-VRC! Omnia-VRC is a revolutionary tool that uses the power of GPT-3 and GPT-4 to generate text and audio based on your spoken commands. Simply speak to Omnia-VRC, and it will respond with text and spoken audio that you can easily hear in-game. With Omnia-VRC, you can enjoy fully immersive conversations and interactions in VRChat, all without ever typing a single word. Plus, Omnia-VRC is incredibly easy to use. Simply add your API keys in the settings.txt file, then click on gpt-vrc.exe to get started. But that's not all! Omnia-VRC also supports Elevenlabs voices, avatar parameter triggering through OSC, jailbreaks, and more! So what are you waiting for? Try out Omnia-VRC today and take your VRChat experience to the next level! For help and updates, remember to join our discord: https://discord.gg/WFGvAXWpfY # Running the application - Click on omnia-vrc.exe # Features - GPT-3 and 4 support in VRChat and on your desktop - Voice control including wake up word(s) (Default: Pineapple) - OSC -> Sends data to VRChat to display the assistant's message in your textbox. - Elevenlabs voices -> Natural sounding voices, enable this in the settings.txt by setting the value use_elevenlabs to true and placing your elevenlabs API key in the setting: "elevenlabs" where it says "YOUR_11LABS_KEY_HERE". - Trigger OSC parameters. You can switch outfits, etc. with your voice. Set up your trigger sentence, the path to the parameter, and pick one of the types. Make sure to only pick one. Example: "osc_parameter_triggers": [["trigger sentence", "/avatar/parameters/MyParameter", "int"]] Read this to learn about avatar parameters (it's super easy): https://docs.vrchat.com/docs/osc-avatar-parameters To add your own parameters to the application: -- Go to: C:\Users\YOUR_USERNAME\AppData\LocalLow\VRChat\VRChat\OSC\ -- Find select the file with your user id, go to avatars. Select your avatar's ID and you'll see the parameters available for your avatar and the types. -- Now you can add parameters you want to trigger to settings.txt - Create your own custom assistant by setting the `assistant_prompt` in the settings. - AIMO is our new free tool that can record your desktop actions, and it generates .AIMO files Place these .AIMO files in the "actions" folder of omnia and you can trigger them when talking to the assistant by saying for example: "System call, start X" https://suro.booth.pm/items/4802592 ご紹介します!新しいVRChatの仲間、Omnia-VRCです! Omnia-VRCは、GPT-3とGPT-4のパワーを活用して、あなたの話し言葉に基づいてテキストと音声を生成する革新的なツールです。Omnia-VRCに話しかけるだけで、ゲーム内で簡単に聞くことができるテキストと音声で返答してくれます。 Omnia-VRCを使えば、VRChatで完全に没入した会話ややり取りを楽しむことができます。キーボードを一切使わずに、思いのままに会話を楽しめるのです。しかも、Omnia-VRCは使い方が非常に簡単です。設定ファイルのsettings.txtにAPIキーを追加し、omnia-vrc.exeをクリックするだけで、すぐに始めることができます。 それだけではありません!Omnia-VRCは、Elevenlabsの音声、OSCを通じたアバターパラメータのトリガー、ジェイルブレイクなどもサポートしています!さあ、何を待っているんですか?今すぐOmnia-VRCを試して、VRChatの体験をさらに向上させましょう! ヘルプや最新情報は、私たちのディスコードに参加してくださいね:https://discord.gg/WFGvAXWpfY # アプリケーションの実行方法 - omnia-vrc.exe をクリックしてください。 # 機能 - VRChatおよびデスクトップでのGPT-3およびGPT-4のサポート - ウェイクアップワードを含む音声制御(デフォルト:Pineapple) - OSC -> データをVRChatに送信し、アシスタントのメッセージをテキストボックスに表示します。 - Elevenlabsの声 -> 自然な音声です。設定.txtでuse_elevenlabsの値をtrueに設定し、"elevenlabs"と書かれた箇所に自分のElevenlabs APIキーを入力して有効にします。 - トリガーOSCパラメーター。音声で衣装の切り替えなどができます。トリガーセンテンス、パラメーターへのパス、およびタイプを設定してください。必ず1つだけ選択してください。 例: "osc_parameter_triggers": [["トリガーセンテンス", "/avatar/parameters/MyParameter", "int"]] アバターパラメーターについては、こちらのドキュメントを参照してください(非常に簡単です):https://docs.vrchat.com/docs/osc-avatar-parameters アプリケーションに独自のパラメーターを追加するには: -- C:\Users\YOUR_USERNAME\AppData\LocalLow\VRChat\VRChat\OSC\ に移動します。 -- ユーザーIDの付いたファイルを選択し、avatarsに移動します。アバターのIDを選択すると、アバターに利用可能なパラメーターとそのタイプが表示されます。 -- これで、トリガーしたいパラメーターをsettings.txtに追加できます。 - 設定で`assistant_prompt`を設定することで、独自のカスタムアシスタントを作成できます。
Official Website
https://www.suro.One
requirements
Windows 11/10/8/7 OpenAI API key Internet
Update information
## v1.8.1 - Default to MS Zira voice for all languages if available - Add support for system calls using .AIMO files. AIMO is our new tool that can record your desktop actions. Place these files in the actions folder and you can trigger them when talking to the assistant by saying for example: "System call, start X" ## v1.7.3 - Name change to Omnia ## v1.7.2 - Improved parsing of wake up word - Small improvements ## v1.7 - Fix autostart of recording - Fix mp3 playback for elevenlabs ## v1.6 - Updated README - Improved parsing of OSC parameter triggers. One Two, Three get parsed as 1,2,3 correctly. Fixes issues with transcription being too literal. - Fixed bug with elevenlabs audio - Added support for wake up message that triggers the assistant. Default: Pineapple (works best)