【無料】VRChat DLSS5 Cam - DLSS 5 ニューラルレンダリング撮影ツール
- Digital0 JPY
https://github.com/AlanBacker/VRChat-DLSS5-Cam
日本語
VRChat DLSS5 Cam は、VRChat のカメラ映像に NVIDIA の DLSS 5 ニューラルレンダリング （DLSSNR）を適用し、その結果をロスレス PNG として記録する Windows 向けアプリケーション です。ディスク上の静止画および動画も同一の処理系を通り、単体処理と一括処理の双方に対応 します。VRChat のプロセスには一切干渉せず、Mod や改変クライアントを必要としません。 ソースコードは MIT ライセンスで公開されており、無料で利用できます。 ■ 主な機能 ・ライブカメラ VRChat の Stream カメラを Spout 経由で受け取り、DLSS 5 適用後の映像をリアルタイムに プレビューします。グローバルホットキー（Ctrl+Alt+P）に対応し、VRChat が前面にある 状態のままロスレス PNG を保存できます。 ・静止画・動画ファイルの処理 スクリーンショットや録画をウィンドウにドラッグ＆ドロップし、パラメータを調整した うえで書き出せます。出力形式は、静止画が PNG、動画が MP4（H.264 / HEVC、音声トラック を保持）または PNG 連番です。 ・バッチ処理とメディアライブラリ 読み込んだファイルはプレビュー下部のライブラリに集約され、選択した分をまとめて処理 できます。共通パラメータに加えてファイル単位の個別パラメータにも対応し、処理前の 回転・反転・トリミングも行えます。 ・推論ガイダンス NVIDIA Optical Flow によるモーションベクトルと、Depth Anything V2 による単眼深度 マップをネットワークへ供給します。これにより、動画やライブ映像はゲーム内と同等の 時間的手掛かりを伴って処理されます。前段には任意で DLAA パスを挿入できます。 ・比較と検証 ワイプ、左右分割、オリジナル表示の 3 モードを備え、ホイールによるズーム、ドラッグ によるパン、全画面表示（F11）に対応します。処理前後の差分を等倍で確認できます。 ・実用面の作り込み Windows の設定に追従するダーク／ライトテーマ、履歴付きのアンドゥ・リドゥ、任意の 名前で保存できるプリセット、全設定を対象とする検索、更新の自動確認、4 言語 （日本語 / English / 简体中文 / 한국어）の UI、UI 専用スレッドによる安定した操作感、 バッチ実行向けのコマンドラインを備えます。 ■ 処理の流れ Spout 受信（または静止画・動画のデコード）→ 色空間変換 → Optical Flow による モーションベクトル生成および深度推定 → 任意の DLAA → DLSSNR → 合成・比較表示 → PNG / MP4 出力 処理系とインターフェースは、それぞれ独立したスレッドと D3D12 キュー上で動作します。 推論の負荷がウィンドウの応答性に影響しない設計です。 ■ 動作環境 ・OS：Windows 10 21H2 以降、または Windows 11（64 ビット） ・GPU：NVIDIA GeForce RTX RTX 50 シリーズは通常のランタイムでニューラルパスが動作します。RTX 40 / 30 / 20 では改変版ランタイムが必要で、通常版の場合はアプリケーションが失敗を通知したうえ で、ニューラルパスを無効にして動作を継続します。 ・DLSS 5 ランタイム：nvngx_dlssnr.dll（各自でご用意ください） 本アプリケーションには同梱されておらず、本プロジェクトがダウンロードまたは 再配布を行うこともありません。詳細は GitHub の README に記載しています。 ・VRChat：Stream カメラの Spout Stream オプション（ライブカメラ使用時のみ） ・動画：Windows Media Foundation。N / KN エディションでは Media Feature Pack、 HEVC ファイルでは HEVC ビデオ拡張機能が別途必要になる場合があります。 ■ 導入手順 1. zip を任意の場所に展開します。 2. 用意した nvngx_dlssnr.dll を VRChatDLSS5Cam.exe と同じフォルダへ配置します。 アプリ内の「ランタイムのパス」から別の場所を指定することも可能です。 3. VRChat のカメラを Stream モードに切り替え、設定で Spout Stream を有効にします。 4. VRChatDLSS5Cam.exe を起動します。プレビューに DLSS 5 適用後の映像が表示され、 Ctrl+Alt+P で Pictures\VRChat DLSS5 Cam に PNG が保存されます。 ■ 配布とライセンス ソースコード・ドキュメント・最新版 https://github.com/AlanBacker/VRChat-DLSS5-Cam 最新リリース https://github.com/AlanBacker/VRChat-DLSS5-Cam/releases/latest 本体は MIT ライセンスで配布しています。アプリ内の自動アップデート機能からも最新版へ 更新できます。 ■ 作例の共有 本アプリケーションで仕上げた写真や動画は、ハッシュタグ #VRCDLSS5CAM を付けて X に 投稿していただけると嬉しいです。同じタグから他の作例も辿れます。 不具合の報告および機能の要望は、GitHub の Issues にて受け付けています。
English
VRChat DLSS5 Cam is a Windows application that applies NVIDIA DLSS 5 Neural Rendering (DLSSNR) to the output of VRChat's camera and records the result as a lossless PNG. Still images and videos on disk pass through the same pipeline, individually or as a batch. The VRChat process itself is never touched: no mod and no modified client are involved. The source code is published under the MIT licence and the application is free of charge. Key features - Live camera. VRChat's Stream Camera is received over Spout and previewed in real time with DLSS 5 applied. A global hotkey (Ctrl+Alt+P) saves a lossless PNG while VRChat remains in the foreground. - Images and video files. Screenshots and recordings can be dropped onto the window, adjusted and exported: PNG for stills, MP4 (H.264 / HEVC, audio track preserved) or a PNG sequence for video. - Batch processing and media library. Every file that is opened is collected in the library below the preview, and any selection can be processed in a single run. Shared parameters apply by default, per-file parameters are supported, and rotation, mirroring and cropping can be applied beforehand. - Inference guidance. Motion vectors from NVIDIA Optical Flow and a monocular depth map from Depth Anything V2 are supplied to the network, so video and live footage are processed with the same temporal cues a game would provide. An optional DLAA pass can be inserted before it. - Comparison and inspection. Wipe, side-by-side and original views, wheel zoom, drag panning and a fullscreen mode (F11) make the difference before and after processing verifiable at 1:1. - Built for daily use. Dark and light themes that follow the Windows setting, undo and redo with a full history, user-defined presets, a search across every setting, an automatic update check, a four-language interface, a dedicated UI thread for a consistently responsive window, and a command line for unattended runs. Pipeline Spout capture (or image / video decoding) -> colour conversion -> optical-flow motion vectors and depth estimation -> optional DLAA -> DLSSNR -> composition and comparison -> PNG / MP4 output Processing and the interface run on separate threads and separate D3D12 queues, so inference load does not affect the responsiveness of the window. Requirements - OS: Windows 10 21H2 or later, or Windows 11, 64-bit. - GPU: NVIDIA GeForce RTX. The RTX 50 series runs the neural pass with the regular runtime. RTX 40 / 30 / 20 require the modified runtime build; with the regular one the application reports the failure and continues with the neural pass disabled. - DLSS 5 runtime: nvngx_dlssnr.dll, to be supplied by the user. It is not bundled with this application, and this project neither downloads nor redistributes it. Details are documented in the README on GitHub. - VRChat: the Spout Stream option of the Stream Camera, for the live camera only. - Video: Windows Media Foundation. N / KN editions require the Media Feature Pack, and HEVC files may require the HEVC Video Extensions. Setup 1. Extract the archive to any location. 2. Place nvngx_dlssnr.dll in the same folder as VRChatDLSS5Cam.exe. A different location can also be selected in the application under "Runtime path". 3. In VRChat, switch the camera to Stream mode and enable Spout Stream in its settings. 4. Start VRChatDLSS5Cam.exe. The preview shows the camera with DLSS 5 applied, and Ctrl+Alt+P writes a PNG to Pictures\VRChat DLSS5 Cam. Distribution and licence Source code, documentation and releases https://github.com/AlanBacker/VRChat-DLSS5-Cam Latest release https://github.com/AlanBacker/VRChat-DLSS5-Cam/releases/latest The application is distributed under the MIT licence and can also update itself from within. Sharing results Photos and videos finished with the application are welcome on X under the hashtag #VRCDLSS5CAM, which also collects the shots posted by others. Bug reports and feature requests are handled through GitHub Issues.
简体中文
VRChat DLSS5 Cam 是一款 Windows 应用程序，将 VRChat 相机画面接入 NVIDIA DLSS 5 神经渲染（DLSSNR），并以无损 PNG 记录处理结果。磁盘上的静态图片与视频同样经由该管线 处理，支持单个处理与批量处理。程序不对 VRChat 进程做任何干预，无需 Mod 或修改版客户端。 源代码以 MIT 许可证公开，可免费使用。 ■ 主要功能 ・实时相机 通过 Spout 接收 VRChat 的 Stream 相机画面，实时预览 DLSS 5 处理后的结果。支持全局 热键（Ctrl+Alt+P），可在 VRChat 保持前台的状态下保存无损 PNG。 ・图片与视频文件处理 截图或录像可拖放至窗口，调整参数后导出。输出格式为：静态图片 PNG，视频 MP4 （H.264 / HEVC，保留音轨）或 PNG 序列。 ・批量处理与素材库 载入的文件会集中于预览下方的素材库，选中的部分可一次处理完成。除共用参数外，亦支持 为单个文件设置独立参数，并可在处理前进行旋转、镜像与裁切。 ・推理引导 由 NVIDIA Optical Flow 生成运动矢量，Depth Anything V2 提供单目深度图，一并送入 网络，使视频与实时画面获得与游戏内相同的时序信息。前级可选启用 DLAA。 ・对比与校验 提供擦除、左右分屏、原图三种模式，支持滚轮缩放、拖动平移与全屏显示（F11），可按 1:1 比例核对处理前后的差异。 ・面向日常使用的细节 跟随 Windows 设置的深色／浅色主题、带完整历史记录的撤销与重做、可自定义命名的预设、 覆盖全部设置项的搜索、更新自动检查、四语言界面（日本語 / English / 简体中文 / 한국어）、由专用线程驱动的稳定界面响应，以及用于批量执行的命令行。 ■ 处理流程 Spout 接收（或图片、视频解码）→ 色彩空间转换 → 光流运动矢量生成与深度估计 → 可选 DLAA → DLSSNR → 合成与对比显示 → PNG / MP4 输出 处理管线与界面分别运行于独立线程和独立的 D3D12 队列，推理负载不会影响窗口的响应。 ■ 运行环境 ・操作系统：Windows 10 21H2 及以上，或 Windows 11（64 位） ・显卡：NVIDIA GeForce RTX RTX 50 系列使用常规运行时即可执行神经渲染。RTX 40 / 30 / 20 需要改版运行时， 使用常规版本时程序会给出提示，并在停用神经渲染的状态下继续工作。 ・DLSS 5 运行时：nvngx_dlssnr.dll，需自行准备。 本程序不包含该文件，本项目亦不会下载或再分发。详细说明见 GitHub 上的 README。 ・VRChat：Stream 相机的 Spout Stream 选项（仅实时相机功能需要） ・视频：Windows Media Foundation。N / KN 版本需安装 Media Feature Pack，HEVC 文件 可能需要 HEVC 视频扩展。 ■ 安装步骤 1. 将 zip 解压至任意位置。 2. 把准备好的 nvngx_dlssnr.dll 放入 VRChatDLSS5Cam.exe 所在文件夹，也可在程序内的 「运行时路径」中指定其他位置。 3. 在 VRChat 中将相机切换至 Stream 模式，并在设置里启用 Spout Stream。 4. 运行 VRChatDLSS5Cam.exe。预览中会显示 DLSS 5 处理后的画面，按 Ctrl+Alt+P 即可将 PNG 保存至 Pictures\VRChat DLSS5 Cam。 ■ 分发与许可 源代码、文档与最新版本 https://github.com/AlanBacker/VRChat-DLSS5-Cam 最新发布 https://github.com/AlanBacker/VRChat-DLSS5-Cam/releases/latest 本体以 MIT 许可证分发，程序内也可通过自动更新功能升级至最新版本。 ■ 作品分享 使用本程序完成的照片与视频，欢迎带上 #VRCDLSS5CAM 标签发布到 X，同一标签下也可以看到 其他人的作品。问题反馈与功能建议请提交至 GitHub Issues。
한국어
VRChat DLSS5 Cam은 VRChat 카메라 영상에 NVIDIA DLSS 5 뉴럴 렌더링(DLSSNR)을 적용하고 그 결과를 무손실 PNG로 기록하는 Windows 애플리케이션입니다. 디스크의 정지 이미지와 동영상도 동일한 파이프라인을 거치며, 개별 처리와 일괄 처리를 모두 지원합니다. VRChat 프로세스에는 전혀 개입하지 않으므로 모드나 수정된 클라이언트가 필요하지 않습니다. 소스 코드는 MIT 라이선스로 공개되어 있으며 무료로 이용할 수 있습니다. ■ 주요 기능 ・실시간 카메라 VRChat의 Stream 카메라를 Spout으로 받아 DLSS 5 적용 결과를 실시간으로 표시합니다. 전역 단축키(Ctrl+Alt+P)를 지원하여 VRChat이 활성 상태인 채로 무손실 PNG를 저장할 수 있습니다. ・이미지 및 동영상 파일 처리 스크린샷이나 녹화 파일을 창에 끌어다 놓고 파라미터를 조정한 뒤 내보낼 수 있습니다. 출력 형식은 정지 이미지가 PNG, 동영상이 MP4(H.264 / HEVC, 오디오 트랙 유지) 또는 PNG 시퀀스입니다. ・일괄 처리와 미디어 라이브러리 불러온 파일은 미리보기 아래 라이브러리에 모이며, 선택한 항목을 한 번에 처리할 수 있습니다. 공통 파라미터 외에 파일별 개별 파라미터도 지원하고, 처리 전 회전, 반전, 잘라내기도 적용할 수 있습니다. ・추론 가이던스 NVIDIA Optical Flow의 모션 벡터와 Depth Anything V2의 단안 깊이 맵이 네트워크에 전달되어, 동영상과 실시간 영상이 게임과 동일한 시간적 단서를 갖고 처리됩니다. 앞단에는 DLAA 패스를 선택적으로 넣을 수 있습니다. ・비교와 확인 와이프, 좌우 분할, 원본 보기의 세 가지 모드와 휠 확대, 드래그 이동, 전체 화면(F11)을 지원하여 처리 전후의 차이를 1:1로 확인할 수 있습니다. ・일상적인 사용을 위한 구성 Windows 설정을 따르는 다크·라이트 테마, 기록이 남는 실행 취소와 다시 실행, 이름을 지정하는 프리셋, 모든 설정을 대상으로 하는 검색, 업데이트 자동 확인, 4개 언어 인터페이스, 전용 스레드로 동작하는 안정적인 인터페이스, 일괄 실행용 명령줄을 제공합니다. ■ 파이프라인 Spout 수신(또는 이미지·동영상 디코딩) → 색 공간 변환 → 옵티컬 플로우 모션 벡터 생성과 깊이 추정 → 선택적 DLAA → DLSSNR → 합성 및 비교 표시 → PNG / MP4 출력 처리 파이프라인과 인터페이스는 각각 독립된 스레드와 D3D12 큐에서 동작하므로, 추론 부하가 창의 반응성에 영향을 주지 않습니다. ■ 동작 환경 ・운영체제: Windows 10 21H2 이상 또는 Windows 11(64비트) ・그래픽카드: NVIDIA GeForce RTX RTX 50 시리즈는 일반 런타임으로 뉴럴 패스가 동작합니다. RTX 40 / 30 / 20은 수정된 런타임 빌드가 필요하며, 일반 빌드에서는 애플리케이션이 실패를 알린 뒤 뉴럴 패스를 끈 상태로 계속 동작합니다. ・DLSS 5 런타임: nvngx_dlssnr.dll(직접 준비) 이 애플리케이션에는 포함되어 있지 않으며, 이 프로젝트가 내려받거나 재배포하지도 않습니다. 자세한 내용은 GitHub의 README에 정리되어 있습니다. ・VRChat: Stream 카메라의 Spout Stream 옵션(실시간 카메라 사용 시에만 필요) ・동영상: Windows Media Foundation. N / KN 에디션은 Media Feature Pack이, HEVC 파일은 HEVC 비디오 확장이 추가로 필요할 수 있습니다. ■ 설치 방법 1. zip을 원하는 위치에 압축 해제합니다. 2. 준비한 nvngx_dlssnr.dll을 VRChatDLSS5Cam.exe와 같은 폴더에 배치합니다. 애플리케이션의 "런타임 경로"에서 다른 위치를 지정할 수도 있습니다. 3. VRChat에서 카메라를 Stream 모드로 전환하고 설정에서 Spout Stream을 켭니다. 4. VRChatDLSS5Cam.exe를 실행합니다. 미리보기에 DLSS 5가 적용된 화면이 표시되며, Ctrl+Alt+P를 누르면 Pictures\VRChat DLSS5 Cam에 PNG가 저장됩니다. ■ 배포와 라이선스 소스 코드, 문서, 최신 버전 https://github.com/AlanBacker/VRChat-DLSS5-Cam 최신 릴리스 https://github.com/AlanBacker/VRChat-DLSS5-Cam/releases/latest 본체는 MIT 라이선스로 배포되며, 애플리케이션 내 자동 업데이트로도 최신 버전을 받을 수 있습니다. ■ 작품 공유 이 애플리케이션으로 완성한 사진과 동영상은 해시태그 #VRCDLSS5CAM과 함께 X에 올려 주시면 감사하겠습니다. 같은 태그에서 다른 작례도 확인할 수 있습니다. 버그 제보와 기능 제안은 GitHub Issues에서 받고 있습니다.
クレジット / Credits / 致谢 / 크레딧
■ 掲載画像・動画のアバター / Avatar shown in the screenshots / 截图与视频中出现的模型 / 스크린샷에 등장하는 아바타 オリジナル3Dモデル「しなの」- Shinano（ポンデロニウム研究所） https://ponderogen.booth.pm/items/6106863 ■ ライセンス / Licence / 许可 / 라이선스 本体は MIT ライセンスです。サードパーティコンポーネントおよび NVIDIA の表示は、 配布物に含まれる THIRD_PARTY_NOTICES.md に記載しています。 The application is MIT licensed. Third-party components and the NVIDIA notice are listed in THIRD_PARTY_NOTICES.md inside the package. 本体采用 MIT 许可证。第三方组件与 NVIDIA 相关声明记载于分发包内的 THIRD_PARTY_NOTICES.md。 본체는 MIT 라이선스입니다. 서드파티 구성 요소와 NVIDIA 고지는 배포 패키지의 THIRD_PARTY_NOTICES.md에 정리되어 있습니다. ■ 注記 / Note / 声明 / 참고 本プロジェクトは VRChat Inc. および NVIDIA Corporation とは関係ありません。 DLSS 5 ランタイムは未公開のソフトウェアであり、利用は自己責任となります。また、 本アプリケーションと一緒に再配布しないようお願いします。 This project is not affiliated with VRChat Inc. or NVIDIA Corporation. The DLSS 5 runtime is unreleased software; it is used at the user's own risk and must never be redistributed together with this application. 本项目与 VRChat Inc.、NVIDIA Corporation 均无关联。DLSS 5 运行时属于未公开软件， 使用风险由使用者自行承担，并请勿随本程序一同再分发。 이 프로젝트는 VRChat Inc. 및 NVIDIA Corporation과 관련이 없습니다. DLSS 5 런타임은 미공개 소프트웨어이며, 사용에 따른 책임은 사용자 본인에게 있습니다. 이 애플리케이션과 함께 재배포하지 마시기 바랍니다.