RTX 3060 12GB のような12GB級 GPU を積んだ自宅マシンで、ローカル LLM 推論・QLoRA 微調整を 実際に動かして数字を取るための、すぐに使える実行ツール一式です。 「WSL2 で GPU が正しく認識されているか確認する手順が定まっていない」 「モデルごとの速度・VRAM使用量を毎回手打ちのコマンドで測っていて再現できない」 「QLoRA の学習設定を1つ間違えただけで、想定より遅くなったり学習が進まなくなったりする」 「1枚のGPUを複数の用途で使い回していて、気づかず VRAM を取り合ってしまう」 こうした12GB級GPUならではの悩みに対して、環境の自動チェック・ベンチの型・検証済みの学習設定 テンプレート・監視と排他ロックの型を、実際に使えるファイル一式として同梱しました。 ■ 中身 - WSL2+CUDA環境の自動チェックスクリプト `nvidia-smi` の認識確認、ドライバ・CUDA toolkitの入れ方の落とし穴、Docker+GPUの疎通確認まで PASS/WARN/FAILで一発診断します - llama.cpp によるLLM推論ベンチのテンプレ 1モデルのtok/s・VRAM計測、コンテキスト長(KVキャッシュ深さ)スイープ、複数モデルの一括計測、 結果をMarkdown表にまとめるスクリプトまで一式そろっています - QLoRA学習のテンプレ 4bit量子化ロード+LoRAアダプタでの学習をVRAM計測付きで実行できます。`bf16`や `gradient_checkpointing`の`use_reentrant`など、省略すると学習が想定通り進まなくなることがある 設定を明示済みです。公開データセットから動作確認用の小さなデータを作る補助スクリプト付き - VRAM監視スニペット ジョブの前後で起動するだけでVRAM使用量の推移をログに残せます - GPUジョブの排他ロック例(flock) 1枚のGPUを複数ジョブ・複数プロジェクトで使い回すときの衝突事故を防ぐラッパースクリプトです ■ こんな方におすすめです - 12GB級GPUでローカルLLM推論やQLoRA微調整を試したいが、環境確認や計測の手順を毎回考えるのが面倒な方 - 「このモデル・この設定は本当に12GBに収まるのか」を素早く実測したい方 - WSL2環境でGPUがうまく認識されない・不安定というトラブルに一度でも遭遇したことがある方 - 1枚のGPUを複数の用途・プロジェクトで使い回していて、衝突事故を減らしたい方 ■ 併せてどうぞ 同じテーマを詳しく解説したZenn本『12GBで戦う自宅AIワークステーション』 (https://zenn.dev/okogee/books/rtx3060-local-ai-workstation)、『12GBで作る自分のLoRA』 (小型モデル微調整、データ作りから配布まで解説、近日公開予定)も販売しています。「なぜこの設計にする のか」を理解したい方は本を、「とにかく今すぐ動かして数字を見たい」方はこのキットからどうぞ。本と キットのセット利用もおすすめです。 ■ ご注意 - 本キットは非公式の個人制作物であり、Anthropic社・NVIDIA社とは関係ありません。 Claude・Claude Codeは Anthropic社の、CUDA・NVIDIA・GeForce RTXは NVIDIA社の製品/商標です。 本キットは各社の公式ドキュメントやサポートを代替するものではありません - 実際の利用には12GB級NVIDIA GPU・WSL2またはLinux環境、llama.cppのビルド・Python環境の 準備が別途必要です - 同梱スクリプトが示すtok/s・VRAM使用量の目安はあくまで参考情報です。実際の数値はGPU・ ドライバ・モデル・他プロセスの状況によって変わります - ダウンロード商品のため、購入後の返品はお受けできません。内容についてご不明点があれば 購入前にメッセージにてお問い合わせください - 再配布・再販売は禁止しています。詳細は同梱のLICENSE.mdをご確認ください