フェイバーズ研究室【無料】リップシンクジェネレーター【口パク・目パチ】【Windows】
- 最新バージョンDigital0 JPY
- 旧バージョンDigital0 JPY
- 開発支援（内容は同じです）Digital500 JPY
本アプリケーションは最低２枚の画像と音声ファイルから口パク（リップシンク）動画を生成するツールです。 瞬き用の画像を用意することで目パチも可能になります。 YMM4やaviutlで制作可能な動く立ち絵をPremiere ProやDaVinci Resolveなどの編集ソフトでも利用したいと考え、動く立ち絵を出力するソフトウェアを試作段階ですが開発しました。 現在Betaバージョンのため不具合等がある場合がございます。 フリーでご利用いただけますが、開発支援、BOOSTをしていただけると追加機能の実装等のモチベーションとなります。使用感が良ければご検討のほどお願いします！
デモ動画
https://youtube.com/shorts/fzOmx_FeIqQ?feature=shared
動作環境
Windows 10/11 Memory: 8GB 画面の解像度：フルHD以上
詳細
音声の音量に合わせて画像が切り替わることで口パクを実現しています。 最小2枚の透過画像と音声ファイルから動画を生成することができます。 出力はブルーバック動画となっていますのでお好みの動画編集ソフトでクロマキー合成してご利用ください。 また、サンプルファイルが同梱されていますのですぐにお試しいただけます。
使い方
ZIPファイルをダウンロード後、任意の場所に展開し、Lip_Sync_Generator.exeを実行します。 （この際、証明書が無いためWindowsによってブロックされますが、詳細情報をクリックして実行してください。） アプリを起動するとBody、Eyes、Audioの枠がありますので、それぞれに対応するファイルをドラッグ・アンド・ドロップで投入します。 Bodyには体を含む口の透過画像（PNG） ・閉じた口 ・半開きの口（省略可能） ・開いた口 Eyesには目のみの透過画像（PNG）（省略可能） ・開いた目 ・半開きの目 ・閉じた目 Audioには任意の音声ファイル ・mp3やwavファイル をそれぞれ設定してください。画像には順番がありますので、必要に応じて矢印ボタンで順番を入れ替えてください。 また、画像はすべて同一の解像度である必要があります。 動画を生成したい音声ファイルを選択（複数選択可）しRUNボタンを押すと生成が始まり、outputsフォルダに保存されます。
差分画像の生成
Photoshopを用いて書き出すか、oov様のPSDTOOLをご利用ください。 https://oov.github.io/psdtool/
プリセット機能
本アプリにはプリセット機能があり、設定した状態を保存することができます。（ファイルパスのみを登録していますので元ファイルを移動したり削除するとエラーになります） これによりキャラクターの切り替えが簡単になります。 MENUボタンから利用可能です。
技術的仕様
ソースコードはGithubで公開しています。 https://github.com/favorscreation/Lip_Sync_Generator Visual Studio2022、C#で開発しています。 OpenCVSharp、FFMpegを用いて画像から動画を生成しています。 .NET 8.0ランタイムの追加インストールを不要とするために単一実行ファイルとして発行しています。このためファイルサイズが大きくなっています。
アップデート履歴
2024/05/09：beta-v4登録 2024/05/11：透過動画の出力を追加 ・一度出力したブルーバック動画を変換することで実現しているため、画像の縁に色が残ることがあります。（直接変換は技術的問題により断念しました） 2024/05/15：beta-v6。4枚以上の画像のアニメーションに対応しました。（同一画像を入力することで擬似的に感度の調整が行えます）UIの変更を行いました。リップシンクの実装方法を変更しました。（音量に対して画像の枚数で均等に分割）口パク感度の変数を1つにしました。 2024/05/16：beta-v7。画像の解像度が2の倍数ではないときに動画が出力されない問題を修正。一時ファイルが削除されない問題を修正。 2024/05/17：beta-v8。目の合成方法を変更。従来はアルファチャンネルでマスク処理していましたが、関数を追加しアルファブレンドするように変更。これにより、自然な見た目になります。
改善希望
機能改善の要望がございましたら、マシュマロへどうぞ！ https://marshmallow-qa.com/45o1fsnsd4vp8p6?t=u8wAAm&utm_medium=url_text&utm_source=promotion
