A2F Live Console
- Digital0 JPY
複数マイク対応 Audio2Face／VMC・OSCリップシンクツール A2F Live Consoleは、複数人のマイク音声をNVIDIA Audio2Faceで同時処理し、アバター用の表情データをOSCで送信するWindowsアプリです。 出演者ごとにマイク、入力チャンネル、Audio2Face、OSC送信先を設定できます。ローカル版では1つのAudio2Faceモデルを共有し、最大8入力まで処理します。 複数人でのVTuber配信、トーク番組、モーションキャプチャー収録などを想定しています。
主な機能
- 最大8チャンネルの音声を同時処理 - WDM／WASAPI対応 - ASIO対応ビルドを利用可能 - NVIDIA Audio2Face Local SDK対応 - Audio2Face-3D NIMへのgRPC接続 - ARKit 52 BlendShape出力 - A、I、U、E、Oの連続ウェイト出力 - VMC Protocol対応 - RNNoiseによるチャンネル別ノイズ抑制 - プリセット保存 - OSC Monitor - Audio2Faceなしで接続を確認できるMockモード
詳細
# OSC出力 チャンネルごとに次の形式を選べます。 - Native OSC - VMC VRM0 - VMC VRM1 - VMC PerfectSync - VMC Both Native OSCでは、ARKit 52、AIUEO、または両方を出力できます。 VMC Bothでは、PerfectSyncのBlendShapeとAIUEOを同じフレームで送信します。 # AIUEO判定 Audio2Faceの口周辺BlendShapeとマイク音声の音響特徴を組み合わせ、A、I、U、E、Oを連続値で出力します。 これは文章や発音内容を認識する音声認識機能ではありません。アバターの口形状を動かすためのリアルタイム判定です。 # ノイズ抑制 RNNoiseをAudio2Faceの前段に入れています。 抑制量は出演者ごとに調整可能です。背景ノイズを自動学習し、話していないときのAIUEO出力を滑らかに0へ戻します。推奨設定は35〜45%です。 # プリセットとモニター 複数チャンネルの設定をまとめてプリセットとして保存できます。 OSC Monitorでは、実際に送信したアドレス、BlendShape名、値、送信先をアプリ内で確認できます。受信側で表情が動かないときの切り分けにも使えます。
動作環境
Windows 10／11 NVIDIA GPU VRAM 4GB以上を推奨 Microsoft Edge WebView2 Runtime インターネット接続（初回セットアップ時） Local SDKを使う場合、初回起動時に使用中のGPU向けTensorRTエンジンを生成します。 この処理では約1.5GBの準備データをダウンロードします。回線速度とPC性能によって、完了まで5〜20分ほどかかります。生成後はローカルに保存され、通常は2回目以降の起動で再生成しません。 外部のAudio2Face-3D NIMへ接続する場合は、別途NIMを実行できる環境が必要です。
アップデート履歴
[2026-08-25: v0.1.0] release