VRC SingAlong【ワールド音楽連動】自動歌唱リップシンク・ギミック

ワールドに流れる曲を聴くだけで、アバターの口が歌い出す。 あなたはマイクで歌わなくていい。 ライブインスタンスや弾き語りの場では、配信サーバーや動画プレイヤーから音を流すのが定番です。音質を優先してアバターボイスを切ると、声はきれいに届くのに ―― 顔だけが歌っていない。 VRC SingAlong は、その最後のピースを埋めるギミックです。 PCで鳴っている音楽（または実マイク）を専用アプリがリアルタイムに聴き取り、歌声に合わせた口の開閉と母音を、OSC でアバターへ届けます。

■ 3つの特徴

◆ 歌声を「聴き分ける」AI 音量に反応するだけの口パクではありません。デュアルニューラルネットワークが伴奏と歌声を判別し、人が歌っている瞬間をとらえて口を動かします。 間奏やドラムだけの区間で口が泳ぐ、あの違和感を抑えます。 ◆ 母音まで動く（あ・い・う・え・お） MMD標準の「あいうえお」ブレンドシェイプに対応。歌詞に合わせて口の形が変化します。母音シェイプを持たないアバター向けに、開閉のみの JawOpenモードも用意。レトロアバターでも使えます。 ◆ 表情を殺さない 既存のハンドサインや表情アニメーションとレイヤー混合。リップシンクが表情を上書きしないので、笑顔もドヤ顔も保ったまま歌えます。

■ あなたの環境に「追い込める」設計

歌う声も、流す曲も、人それぞれ。だから VRC SingAlong は固定の挙動を押し付けません。開口の感度・ゲイン、Attack / Release、ヒステリシス、RMSゲートまで、すべて UI 上のスライダーでリアルタイムに調整できます。 弾き語りのように歌と楽器が混ざる音源は、世の中のどんなツールでも難所です。本ツールはそこへ一段「判定」を挟むことで、これまで口が動かなかった場面を動かしにいきます。あなたのアバターと曲に合わせて、いちばん自然なところまで詰められます。

■ AIモデルの性能データ

膨大な楽曲データ（J-POP / K-POP 等）で学習・検証したモデルを搭載しています。 ［ボーカル / 伴奏の判定］ 学習 19,071,204 フレーム ／ 検証 2,860,680 フレーム ・全体正解率 85.5%　・人声キャッチ率 (TPR) 88.2%　・伴奏の誤反応 (FPR) 15.7% ［母音識別］ 学習 146,192 サンプル ／ 検証 25,798 サンプル ・学習正解率 91.37%　・検証正解率 77.39%

■ こんな人に

・ライブ／弾き語りで、配信音声に口を合わせたい ・自分は歌わず、ワールドの曲に合わせてアバターを歌わせたい ・VRChat内の演奏を動画に撮るとき、口の動かないアップを卒業したい ・実マイクでの生歌ライブにも、口パクの説得力を足したい

■ 動作環境・前提

これは Prefab を置くだけのアバター用アセットではなく、Windowsアプリとアバターギミックを組み合わせて使うツールです。アプリの起動・音声デバイス選択・OSC有効化・アバター側メニュー操作といった手順があります。 迷わないよう、すべての手順を同梱の README.txt にまとめています。

■ 同梱物

・VRC_SingAlong.exe（解析アプリ本体／学習済みAIモデル同梱・UIは多言語対応） ・VRC_SingAlong_V1.2.unitypackage（アバター組み込み用） ・README.txt（導入手順・調整ガイド・トラブルシュート／日本語） ・LICENSE（利用規約＋同梱オープンソースのライセンス表示）

■ ライセンス・サポート（要点）

・購入者ご本人の個人利用。所有する複数アバター・複数PCへの導入OK。 ・本ツールを使った配信／動画／イベント実演は、収益化を含めて自由です。 ・本体・改変版・ソースコードの再配布／転売／譲渡はご遠慮ください。 ・VRChatの仕様変更など不可抗力での動作不能時、即時修正は保証しかねます。 ・デジタル商品の性質上、購入後の返品・返金には対応できません。 　詳細・第三者OSSの扱いは同梱の LICENSE.txt をご覧ください。

■ セキュリティについて

本体は Python 製アプリを Nuitka でコンパイルしたものです。個人開発のため法人向けコード署名証明書は導入しておらず、初回起動時に Windows SmartScreenの警告が表示される場合があります。 ・外部サーバーへ音声や個人情報を送信する機能は実装していません。 ・通信は、同一PC内の VRChat（127.0.0.1）への OSC（UDP）送信のみです。 ・配布物にネットワーク用ライブラリは含みません。 ・配布ZIP全体の SHA-256（改ざん検証用）： 　　VRC_SingAlong_V1.2.zip 　　SHA-256：2bc964f00342452877e526e48022c42332a79bfb97f218c4cac9039263c405aa 　お手元の zip を PowerShell の Get-FileHash で計算し、上記と照合できます。 ・exe単体ではなく、配布ZIP全体（内部のDLL等を含む）を VirusTotal でスキャンした結果を公開しています。結果ページの「Details / Relations」から、展開された同梱ファイルもご確認いただけます。 https://www.virustotal.com/gui/file/2bc964f00342452877e526e48022c42332a79bfb97f218c4cac9039263c405aa

歌っている顔を、ちゃんと歌わせる。 セットアップで迷ったら、同梱の README.txt が手順を最後まで案内します。

Version

2026/05/17: V1.0 リリース 2026/05/31: V1.1 fix unitypackage: enable parameters synced. 2026/06/23: V1.2 不要ライブラリ削減で軽量化、ギミック最適化でアニメーション軽減、説明書(README)同梱・ライセンス整備も実施しました