勉強熱心なAIと会議する「ガリ勉くん」
- Digital100 JPY




・AIの学習(Q-LoRA)には、Pythonと専用のライブラリ群が必要です。 ・Windows環境でコマンドプロンプト(またはPowerShell)を開き、 以下のコマンドで必要なライブラリをインストールしてください。 PyTorch (GPU用CUDA 12.1対応版。 ※ご自身のCUDA環境に合わせてください) pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 copy Hugging Faceの学習ライブラリ群 pip install transformers datasets peft trl accelerate copy 4-bit量子化(VRAM 12GBに収めるための必須魔法) pip install bitsandbytes copy ・パスが通っていないなら、これを環境変数Path二追加する。↓ C:\Users\ユーザー名\AppData\Local\Programs\Python\Python314 ■Python環境の準備(RTX 3060 12GBを想定) ・AIの学習(Q-LoRA)には、Pythonと専用のライブラリ群が必要です。 ・Windows環境でコマンドプロンプト(またはPowerShell)を開き、 以下のコマンドで必要なライブラリをインストールしてください。 PyTorch (GPU用CUDA 12.1対応版。 ※ご自身のCUDA環境に合わせてください) python -m pip install torch torchvision copy Hugging Faceの学習ライブラリ群 python -m pip install transformers datasets peft trl accelerate copy 4-bit量子化(VRAM 12GBに収めるための必須魔法) python -m pip install bitsandbytes copy ■train_lora.pyについて ・推論(チャット)に使っている .gguf というファイル形式は、 「動かす(推論する)」ことだけに特化した圧縮形式のため、 直接学習のベースにすることはできません。 ・そのため、学習スクリプト(train_lora.py)に渡す ベースモデルへのパスには、 Hugging Faceなどからダウンロードした 元のモデルフォルダ (.safetensors ファイルなどが入っているフォルダ) を指定する必要があります。 ■運用フロー: 推論用: ・llama-3-8b.gguf を指定してチャットする。 学習用: ・llama-3-8b(Hugging Face形式のフォルダ)を指定して LoRAを作成する。 学習後: ・出来上がったLoRAを、 再び .gguf モデルにくっつけて推論する。



