【AI自動判別】ワールド音楽連動型・歌声リップシンク アバターギミック- 聴くだけでアバターが歌い出す！MA対応・置くだけ実装
- Digital1,900 JPY
.
📢 【自分自身が歌わなくても大丈夫！】
「歌唱リップシンク」と聞くと、自分がマイクで歌わなければいけないと思っていませんか？ 『VRC SingAlong』は、自分自身が歌う必要は【一切ありません】。 ワールドのオーディオや動画プレイヤーから流れる音楽（J-POP、K-POP、アニソンなど）をAIがリアルタイムに聴き取り、曲中のボーカルの歌声に合わせて、あなたのアバターが【自動で完璧に歌い出す】次世代の音楽連動ギミックです！ もちろん、実体マイクに切り替えて、ご自身の生歌ライブに使用することも可能です。
🎵 VRC SingAlong - AI駆動リアルタイム歌唱リップシンク（Lip-Sync）
VRC SingAlong は、VRChat向けに開発された高精度な歌唱リップシンク（Lip-Sync）アバターギミックです。 外部の独立した解析ソフトが、現在PCで再生中の音楽やマイク入力を「デュアルニューラルネットワーク（2つのAIモデル）」でリアルタイムに解析。OSC経由でアバターに信号を送ることで、歌声と完全に同期したリアルな口元の動きを実現します。 VRChatでの運用をメインにテストされていますが、理論上はOSC信号の入力に対応したVTuber配信ソフトなどにも応用可能です。 ✨ 主な機能 (Core Features) 🎤 賢いボーカル/伴奏の自動分離（VAD）： 強力なAIを搭載。激しいドラム音やBGMなどの楽器演奏を正確にフィルタリングし、「実際に人が歌っている瞬間」だけを検知して口を開きます。伴奏によって口が勝手に動いてしまうストレスから解放されます。 🗣️ 高精度な母音識別（あ・い・う・え・お）： 歌唱中の音声特徴（フォルマント）をリアルタイムに捉え、MMD標準の「あ・い・う・え・お」のブレンドシェイプに正確に割り当てます。 ✌️ 表情やハンドサインとの自由なブレンド： アバター元々のハンドサインや表情アニメーション（Expression）と自由にレイヤー混合可能！ リップシンクが表情を上書きしてしまわずに、ドヤ顔や笑顔を維持したまま歌うなど、千変万化の豊かな表情表現を可能にします。 ⚡ 超軽量設計・パフォーマンスへの影響ゼロ： 高度に最適化されたCNN（畳み込みニューラルネットワーク）モデルを採用。非常にリソース消費が少なく、VRChatと同時に実行してもFPSやゲームの動作に一切影響を与えません。 🎛️ 高度なリアルタイム・カスタマイズ： 口を開く感度や、口型の切り替えスムーズさ（ヒステリシス）など、すべてのパラメータをソフトウェアのUI上で直感的に微調整可能。あなたのアバターに最適な表現を追求できます。 🌐 全デバイス対応＆15ヶ国語サポート： システム音声のループバックから、物理マイク入力まで幅広く対応（Virtual Desktop等の仮想オーディオデバイスも完全サポート）。UIは日本語を含む15ヶ国語に対応しています。 ━━━━━━━━━━━━━━━━━━━━━ 📊 【AIモデルの精度データ (Performance)】 ━━━━━━━━━━━━━━━━━━━━━ 本システムは、複雑な音楽環境（J-POP / K-POPなど）に対応するため、膨大なデータセットでトレーニングされています： ［ボーカル / 伴奏の分離精度 (VAD)］: データ数 - Train: 19071204 frame / Val: 2860680 frame ・Accuracy (全体正確度): 85.5% ・TPR (人声キャッチ率): 88.2% ・FPR (伴奏の誤判定率): わずか 15.7% ［母音識別率 (Vowel Classification)］: データ数 - Train: 146,192 samples / Val: 25,798 samples ・Train Accuracy: 91.37% ・Val Accuracy (検証正確度): 77.39%
📦 導入方法 (Setup Guide)
【動作環境】 Windows OS 【前提条件】 アバターの Unity プロジェクトに、予め Modular Avatar (MA) (https://modular-avatar.nadena.dev/) がインストールされている必要があります。 ▼ STEP 1：解析ソフトの起動 1. ダウンロードしたファイルを解凍し、主プログラム VRC_SingAlong.exe を実行します（設定ページでお好みの言語に切り替えてください）。 2. 「音声デバイス (Audio Device)」項目で、VRChatで使用しているオーディオ出力デバイスを選択します。 (💡 Virtual Desktop環境でプレイしている場合は、Speaker (Virtual Desktop Audio) を選択してください。) 3. [開始] ボタンを押し、お気に入りの楽曲を再生して、UI 上の音量バー（RMS）や母音インジケーターが音楽に合わせて動くことを確認します。 ▼ STEP 2：アバターへの組み込み (Unity) 1. VRC_SingAlong_V1.0.unitypackage を Unity プロジェクトにインポートします。 2. /Assets/SingAlong/ ディレクトリ内にある SingAlong.prefab を、ヒエラルキー上のアバターのルート（最上層）に直接ドラッグ＆ドロップします。 3. 以上で設定は完了です！ Modular Avatar がアップロード時に自動でアニメーターやパラメータを結合します。
🛠️ テストと高度な調整 (Test & Tweaks)
🧪 Unity上でのローカルテスト方法 (Unity内で確認するには、Avatars 3.0 Emulator が必要です) 1. UnityのPlay Mode（再生ボタン）に入ります。 2. アバターのAction Menu (SingALong SubMenu) を開き、Enable Vowel を有効化します。 3. VRChat側のOSC設定メニューを開き、Enable Avatar OSC を有効化します。 4. PCで音楽を再生し、アバターの口元が自然に動くか確認します。 🎨 歌唱表現のブラッシュアップ（アニメーションの調整） 市販のアバターのデフォルトの口型は、通常「日常会話」を想定しているため、歌唱における表現力としてはやや控えめにデザインされています。そのため、本製品のデフォルトアニメーションには独自の表現力強化ロジックが組み込まれています。 🔧 アニメーションのカスタマイズ手順： 調整を分かりやすくするため、一時的にアバターの Animator Controller を /Assets/SingAlong/Animation/SingAlong に差し替えます。 その後、/Assets/SingAlong/Animation/ 内にある a, e, i, o, u の5つの主要アニメーションを編集・上書きできます： ・Vowel（母音）モード (推奨)： デフォルト状態では、歌唱時の表現力を最大化するため、「う（u）」に「お」の形状をブレンドし、「い（i）」に「え」を混ぜています。また、「お（o）」の口の開き具合は140%にブーストされています。もしデフォルトのバランスが合わない場合は、アバターの特性に合わせてブレンドシェイプのウェイトを自由に変更してください。 ・JawOpen（開口度）モード (旧型・レトロアバター用)： アバターがMMDの「あいうえお」シェイプに対応していない場合、このモードに切り替えてください。単純に口を開くアニメーションである Jaw_Open と Jaw_Close の2つのみを編集し、アバター固有の開口シェイプを紐付けるだけで動作します。 ⚠️ 調整が終わったら、アバターの Animator Controller を必ず None（空欄）に戻してからアップロードしてください。
🎤 ライブパフォーマンスについて (Live Performance)
もしVRChat内の新宿ライブストリート等の音楽特化インスタンスやクラブ、ストリートイベントで物理マイク（リアルマイク）を使った「リアルタイム生歌ライブ」を行う場合は、ソフトウェア側で音声デバイスを「マイク (Mic)」モードに切り替えてください。 ⚠️ 注意事項： 本システムのAIは「歌唱時の共振腔の特徴」を優先的に学習しています。そのため、通常の「喋り声」に対しては口の反応が鈍くなる場合がありますが、これは仕様です。生歌ではなく日常会話の比率が多い場合は、ソフトウェアの右側パネルにある 【開口閾値 (Prob Threshold)】を少し低めに設定 することで、より広い音声レンジを拾えるようになります。
🛠️ トラブルシューティング：オーディオ設定の最適化 (Troubleshooting)
VRC SingAlong のインジケーターが音楽に合わせて反応しているのに、アバターの口が動かない場合は、OSC が有効になっているか確認してください。 Options → OSC → Enabled そして Expressions -> SingAlong -> Enable Vowel 💡 ※現在、ソフトが正常に動作している場合、以下の手順を実行する必要はありません。 音声の認識が頻繁に途切れる、またはAIの反応が極端に悪い場合は、Windowsのオーディオ設定が原因である可能性が高いです。以下の手順で設定をご確認ください。 ▼ 設定手順： 1. Windows画面右下のタスクバーにある「スピーカー」アイコンを右クリックし、[サウンドの設定] ＞ [サウンドの詳細設定] の順に選択します（または従来の「サウンド コントロールパネル」を開きます）。 2. [再生] タブを開き、現在使用している「既定のデバイス」（スピーカーまたはヘッドホン）をダブルクリックしてプロパティを開きます。 (※マイクモードで不具合が起きている場合は、[録音] タブからご使用のマイクのプロパティを開いてください) 3. [詳細] タブに切り替えます。 4. 🎯 【重要設定 A：サンプリングレート】 「既定の形式」のドロップダウンリストから、必ず 「24ビット」または「32ビット」、48000 Hz (スタジオの音質) を選択してください。 ⚠️ 注意：本ソフトのAIモデルは48kHzに最適化されています。44100 Hz は絶対に選択しないでください（認識率が著しく低下します）！ 5. 🎯 【重要設定 B：排他モードの解除】 「排他モード」の項目にある、「アプリケーションによりこのデバイスを排他的に制御できるようにする」のチェックを外してください。 (これにより、VRChat等の他のソフトと本ソフトが同時に音声を処理できるようになります) 6. 右下の [適用] ＞ [OK] をクリックして設定を保存します。変更を完全にシステムへ反映させるために、必ずパソコンを再起動してください。
🔒 セキュリティに関するお知らせ (Safety Notice)
🔒 セキュリティに関するお知らせ (Safety Notice) 本ソフトウェア VRC_SingAlong.exe は、Pythonを使用して開発され、Nuitkaを用いてスタンドアロンアプリケーションとしてコンパイルされています。個人開発のツールであるため、マイクロソフトの高額な企業向けデジタル署名証明書は導入しておりません。そのため、初回起動時にWindows SmartScreen（青い警告画面）が表示される場合があります。 制作者として、以下の内容を厳重に保証いたします： ✅ プログラム内には、いかなるマルウェア、ウイルス、バックドアも含まれていません。 ✅ ローカル環境での音声スペクトル解析およびOSCデータの送信のみを行います。個人情報を収集・送信することは技術的に不可能です。 ✅ すべての解析処理は完全オフライン（ローカル）で完結し、外部サーバーと通信しません。 ユーザーの皆様に安心してご利用いただくため、最新ビルドを世界基準のウイルススキャンサイト VirusTotal にて検証済みです。以下のリンクからいつでもクリーンなスキャンレポートをご確認いただけます： 🔗 VirusTotal スキャンレポートを確認する (0/51 Clean) >> https://www.virustotal.com/gui/file/56be6448076593eed8cdb1a29d34519030059a1f25246ca61aad00d298ba3043
📜 利用規約 (Terms of Use)
本ツールの購入、またはダウンロードをもって、以下の規約に同意したものとみなします。 🟢 許可事項 (Allowed) ・本ソフトウェアの個人利用。 ・本ソフトウェアを用いて制作、または補助された公開作品の配信（画像、動画、VTuber配信、VRChat内での商業・非商業イベントを含む実演ステージなど）。 ❌ 禁止事項 (Prohibited) ・本ツール本体、または改変したプログラムやソースコードを第三者へ再配布、販売、転売、譲渡する行為。 ・自作発言（本ツールを自身が開発したものと偽る行為）。 ・政治的、宗教的活動、または他者への誹謗中傷、公序良俗に反する目的での利用。 ・VRChatをはじめとする各プラットフォームの利用規約（ToS）に違反する行為。 ・リバースエンジニアリング、クラッキング、コードの盗用。 ⚠️ 免責事項 (Disclaimer) ・本ツールの利用により生じた、いかなるトラブル、損失、または実質的な損害に対しても、制作者は一切の責任を負いません。自己責任においてご利用ください。 ・VRChatのシステムアップデートやOSCプロトコルの仕様変更など、不可抗力により本ツールが動作しなくなった場合、即時の修正や永久的な動作保証はいたしかねます。 ・デジタルコンテンツという性質上（Digital Download）、購入後の返品・返金・キャンセル等には一切応じられません。製品内容をよくご確認の上、ご購入ください。
Version
2026/05/17: V1.0 リリース 2026/05/31: V1.1 fix unitypackage: enable parameters synced.