LLM専用の圧縮解凍ツール「LlmZip」
- Digital100 JPY


・ローカルLLMのモデルデータを保存しておきたいけど 非連続のデータが多いせいか、圧縮率が悪くて困る という方のためのモデルファイル専用の圧縮ツールです。 本ツールは、ディープラーニングモデル特有の データ構造に特化した設計になっており、 通常の圧縮ツールでは難しい高い圧縮率を実現しています。 世界トップクラスの圧縮技術であるZstandardを内部に組み込み、 GPUを活用した前処理と連携させることで、 通常のZIP等では小さくなりにくいSafetensorsなどのファイルを 実用的な速度で軽くすることを目指しています。 《 取扱説明書 》 (1) 事前準備 ・本ツールはWindows環境で動作し、 一部の高速な処理のために 対応するGPU環境を利用します。 ・特別なインストールは不要で、 ツールを起動するとメイン画面が表示されます。 ・対象となるAIモデルのファイル、 または対象ファイルが複数入ったフォルダを あらかじめご用意ください。 (2) 圧縮の実行手順 ・まず、画面上部の入力欄に 圧縮したいファイルやフォルダを ドラッグ&ドロップするか、 横にある選択ボタンから パスを指定します。 ・次に、読み込ませたモデルの性質に合わせて モデルタイプを選択してください。 ・拡張子がsafetensorsの場合はFP16を、 ggufの場合はINT8を選ぶのが基本ですが、 ファイルを読み込んだ際に ツールが自動で判別して 選択状態を切り替えます。 ・続いて圧縮エンジンを選びます。 ・新しく搭載されたZstandardが 最も強力で速度のバランスも良いため推奨となります。 ・さらに、ファイルサイズが大きすぎて USBメモリやクラウドストレージに入らない場合に備えて、 ファイル分割出力の設定も可能です。 ・設定が終わりましたら 「圧縮する」ボタンを押してください。 ・下部の進捗バーが右端まで到達すれば完了です。 ・元のファイルと同じ場所に、 アルゴリズムに応じた独自の拡張子が付与された 圧縮ファイルが生成されます。 (3) 解凍の実行手順 ・解凍時の操作は、圧縮よりもさらに簡単です。 ・圧縮済みのファイル、 あるいは圧縮ファイルが入ったフォルダを 画面にドラッグ&ドロップ等で指定してください。 ・ファイルが分割出力されている場合は、 末尾が001となっている最初のファイルを 指定するだけで問題ありません。 ・本ツールは、圧縮時にファイル内部へ 元の設定情報や、 データ破損を確認するための安全確認用データ (ハッシュ値)を記録しているため、 解凍時には設定を選ぶ必要がありません。 ・そのまま「解凍する」ボタンを押すだけで、 ツールが適切な方式を自動的に判断して 復元処理を開始します。 ・解凍の完了と同時に データが壊れていないかの自動検証が行われ、 合格すると、元のAIモデルが安全に手元に戻ります。 (4) 処理のキャンセルについて ・非常に巨大なモデルを圧縮・解凍している最中に、 間違ったファイルを指定してしまったことに 気づくことがあるかもしれません。 ・その場合は、処理中に有効になっている 「キャンセル」ボタンを押すことで、 いつでも安全に作業を中断できます。 ・中断した場合は、 作成途中だった不要な一時ファイルや分割ファイルは、 ツールが自動的にすべて削除して 元のクリーンな状態に戻します。 (5) ご利用にあたっての留意事項 ・Safetensorsなどのモデルには 確かな圧縮効果が期待できますが、 GGUFなどの量子化済みモデルは すでにデータが極限まで切り詰められているため、 本ツールを用いても ファイルサイズが劇的に小さくなるわけではありません。 ・また、数GBから数十GBのファイルを扱う性質上、 パソコンのメモリやストレージの空き容量には 十分な余裕を持たせた状態でご利用ください。

