navi-subs ― 歌詞タイミング自動生成×AI翻訳字幕を動画に焼き込むツール（Windows専用・買い切り）
- お試し版（無料・透かしあり）Digital0 JPY
- 製品版（買い切り）Digital3,980 JPY
歌詞合わせに、何時間溶かしてきましたか。 その面倒、私も同じでした。だからAIに任せる、動画に字幕を焼き込むツールを、自分で作りました。 navi-subsは、字幕を編集して、そのまま動画に焼き込んで書き出すまでを1本で行うWindowsデスクトップアプリです。「歌詞モード」と「翻訳字幕モード」の二枚看板で、事後編集型のAI下書きツールとして作りました。
できること
歌詞モード：歌詞を貼るだけで、タイミングが揃う 歌詞テキストを貼り付けるだけ。AIがボーカルだけを聴き分け（Demucs）、Whisperで音声とのタイミングを自動解析します。スペースキーを叩き続ける作業は、もう必要ありません。自動生成はあくまで下書きです。合わなかった行だけ、編集画面で直せば十分です。 翻訳字幕モード：聞き取れない海外の動画も、字幕付きで Whisperで文字起こしし、Gemini APIで日本語に翻訳。原文・訳文をワンクリックで切り替えながら、行の結合・分割・タイムシフトで仕上げられます。 行の結合・分割・タイムシフトといった編集から、字幕を焼き込んだmp4への書き出し（エンコード）まで、この1本のアプリで完結します。別のアプリを行き来する必要はありません。
お試し版について
Gemini APIの利用は無料枠の範囲で完結します（navi-subs側からの課金はありません）。 まず試したい方は、上の「お試し版」をどうぞ。機能制限はなく、書き出した動画に透かしが入るだけです。気に入ったら「製品版」に切り替えてください。
なぜ作ったか
2018年頃、RhythmicaLyricsという歌詞タイムタグエディタを使っていました。曲のリズムに合わせてスペースキーを押し、タイミングを手作業で打っていく方式です。保存できるのは専用形式のみで、動画に焼き込むための字幕（ASS形式）を作るには、有志が配布する変換スクリプトを別途導入する必要がありました。 工程のたびに別のアプリを経由する手間。当時はYouTubeの自動翻訳もまだ心もとなく、海外の動画から情報を拾うにも一苦労でした。そして、車の中でカラオケ練習用に、歌詞字幕付きの動画を流したいという個人的な欲もありました。 その時は、まさか自分でこれを作るなんて考えもしませんでした。でも今は、AIがなんとかしてくれる時代です。海外動画の翻訳字幕なら、無料の動画編集ツールも増えました。それでも、歌詞のタイミング合わせは今も手動が定番のままです。「歌詞のタイミング合わせ」と「海外動画の翻訳字幕」。一見バラバラなこの2つの困りごとは、実は同じ一本のツールで解決できます。AIに自動下書きを任せ、仕上げだけ人間が微調整する、動画に字幕を焼き込むツールを、自分で作りました。
もっと詳しく知りたい方へ
開発の裏側や技術的な検証記録は、トップのnoteで随時公開しています。
正直に書きます
このアプリは、正直に言うと軽くありません。配布は293MB、初回起動時にはAIモデルを追加でダウンロードします（歌詞モードならWhisper large-v3とDemucsで合計約3GB、翻訳字幕モードのみなら約1.5GB）。 歌詞モードの解析にも時間がかかります。4分の楽曲1本で、GPUなしの環境で実測約4分半。お渡しするのはCPU専用版なので、この時間がそのまま実際にかかる時間です。 軽さより、賢さを選びました。そして、自動生成はあくまで下書きです。うまく合わなかった箇所は、編集画面でご自身の手で微調整してください。歌詞テキストはご自身でご用意いただく前提で、私的利用の範囲でお使いください。
よくある質問
Q. Windows以外でも使えますか？ A. Windows 10/11専用です（64bit）。Windows 10のみ、初回起動時に画面が真っ白になる場合がありますが、無料のWebView2ランタイムを入れれば解決します。 Q. 無料で試せますか？ A. お試し版なら、機能制限なしで全部試せます。違いは書き出した動画に透かしが入るかどうかだけです。気に入ったら購入版に切り替えてください。 Q. Gemini APIキーって必須ですか？お金かかりますか？ A. 翻訳字幕モードを使う場合だけ必要です。無料枠の範囲で使えるので、navi-subs側からの課金は発生しません（歌詞モードだけならAPIキーは不要です）。 Q. 歌詞モードの解析、正直どれくらい待ちますか？ A. お渡しするのはCPU専用版なので、4分の曲で約4分半かかります。決して速くはありません。それでも、スペースキーを叩き続けるより速いと思って作りました。 Q. 対応している動画形式は？書き出し後の解像度は？ A. 入力はmp4・mkv・mov・avi・webmに対応。書き出しは「汎用性の高い」mp4 (H.264) 形式です。解像度は「元のまま／1080p／720p」から選べます（元動画より大きくはなりません）。 Q. 音量にバラツキはありませんか？ A. 動画ごとに音量を自動で揃える機能（音量ノーマライズ）がデフォルトでオンになっています。-14 LUFS基準で2回解析してから正規化するので、曲の途中で不自然に音量が動くこともありません。複数の動画をカーナビで連続再生しても、音量差を感じにくくなっています。
動作環境
- Windows 10 / 11（64bit） - Windows 10のみ、初回起動時に画面が真っ白になる場合がありますが、無料のWebView2ランタイムを入れれば解決します - 対応入力形式: mp4 / mkv / mov / avi / webm - 書き出し形式: mp4（H.264）固定。解像度は「元のまま／1080p／720p」から選択可 - 縦型・正方形動画は自動で16:9黒帯化してから字幕を焼き込みます（カーナビ再生を想定した仕様） - 音量ノーマライズ機能をデフォルトで搭載（-14 LUFS基準・2パス解析）