ENtoJA
- Digital0 JPY
ENtoJA_Sound (英日リアルタイム音声翻訳ツール) 英語の音声をリアルタイムで日本語に翻訳し、VOICEVOXのキャラクターが読み上げるアプリケーションです。 英語のYoutube動画を視聴したり、英語のゲームをしたりすることを想定しています。 個人的にVRChatの英語コンテンツを遊ぶために開発しました。 開発環境は自分のPCだけなので、問題あったらメールください。（タイトルのLoveRocketsの下のメールアイコン）（問題あったら嫌なのであまり広まりませんように...ﾎﾞｿｯ） 以下動作しているところです https://youtu.be/dCS343qI4t0?t=66
動作環境
Windows 11で確認しています。
アップデート履歴
[2026-02-11: v1.0] 初期バージョン [2026-02-11: v1.1] DeepL追加 [2026-02-11: v1.2] 文字起こしにOpenAIを追加、そのほか微調整 ...
詳細
# ENtoJA_Sound (英日リアルタイム音声翻訳ツール) 英語の音声をリアルタイムで日本語に翻訳し、VOICEVOXのキャラクターが読み上げるアプリケーションです。 ■用意していただくもの １．APIキーはOpenAIまたはDeepLどちらか一方が必要です。DeepLは無料版がございますのでおすすめです。 ・APIキー: 翻訳に使用します。事前に取得していただく必要がございます。OpenAIまたはDeepL ２．メインスピーカー: 英語音声（YouTubeなど）を流すスピーカーです。いつもお使いいただいているスピーカーです。 ３．日本語音声用スピーカー: 翻訳された日本語音声を出力するスピーカーをメインスピーカとは別にご用意ください。 ４．VOICEVOX: 音声合成エンジンです。事前にインストールし、起動できるようにしておいてください。 ■設定 Whisperモデルのダウンロード アプリ内の「Settings」画面にある「Download / Verify Model」ボタンを押してください。 初回のみモデルのダウンロードが行われます。「base」モデルで十分な精度が出ます。 C:\Users\ユーザー名\.cache\whisper に保存されます OpenAIキーの設定 「Settings」画面の「OpenAI API Key」欄に、ご自身のAPIキーを入力してください。 VoiceVoxのインストール先を設定 VOICEVOXの実行ファイル（VOICEVOX.exe）の場所を指定してください。 ■使い方 アプリの起動: ENtoJA_Sound.exe を実行します。 自動開始: アプリが起動すると自動的に聞き取りが開始されます。 英語音声の再生: デスクトップで英語の音声（YouTube動画など）を流してください。 メインスピーカーから流れる英語をアプリが聞き取ります。 OpenAIで翻訳され、VOICEVOXで日本語として発話されます。 OBS連携（配信者向け）: アプリ左側に表示されているURL（例: http://127.0.0.1:50001）をOBSのブラウザソースに追加すると、翻訳字幕を表示できます。 一時停止: PAUSEボタンでOpenAIにトークンを送信しなくなります。 再開するにはRESUMEボタンを押してください。 ■動作の仕組み 聞き取り: お使いのPC内（ローカル）で動作する Whisper AIを使用して、音声を文字起こしします。 翻訳: 文字起こしされたテキストを OpenAI (GPT) に送信し、自然な日本語に翻訳します。 発話: 翻訳された日本語テキストを VOICEVOX に送り、音声として再生します。 ループ防止: メインスピーカーに日本語音声を流すとそれをWhisperが拾い文字起こしを行い、翻訳にまわして...とループしてしまうため、日本語音声は別スピーカーとして切り離して出力する仕組みになっています。