著者 aNo研 A5サイズ・156ページ M5StackのModule-LLM(LLMモジュール)は、AXERA社のAX630Cを搭載したコンパクトなモジュールです。このモジュールは大規模言語モデル（LLM）を実行できるだけでなく、CNN（畳み込みニューラルネットワーク）やTransformerなどのAIモデルも高性能NPU（ニューラルプロセッシングユニット）で処理することができます。 本書ではModule-LLMの基本的な使い方から画像処理やモデル変換といった応用テクニックまで幅広く解説しています。 EdgeAIとEdgeLLMの可能性を、本書とModule-LLMで体験してみませんか？ ・Module-LLM MAniaX サポートページ： https://github.com/anoken/modulellm_maniax ・v1.3.0版発行: 2025年4月14日 本文161ページ 誤記訂正 ・v1.2.0版発行: 2025年4月13日 本文161ページ 誤記訂正、「Module-LLM Kit」に関する追記。 ・v1.0.0版発行: 2025年2月27日 本文155ページ
本書ではこんなことが学べます
Module-LLM/LLMモジュール/ONNX/画像処理/深層学習/LLM
目次
# 第1章 Module-LLMの紹介 1.1 M5Stack Module-LLMとは 1.2 M5Stack LLM630 Compute Kitとは 1.3 M5Stackとは 1.4 AXERA社とは 1.5 AXERA AX630Cとは # 第2章 Module-LLMをつかってみよう 2.1 Module-LLMとデバッグボードを繋ぐ 2.1.1 Module-LLMとデバッグボードの接続方法 2.2 ADBツールを使ってログインする 2.3 Module-LLMでLチカ 2.3.1 Module-LLMのLEDの役割 2.3.2 Lチカをしてみる 2.3.3 PythonからLEDを制御する 2.4 Module-LLMの起動音の消し方 2.4.1 起動音の消し方 2.5 Module-LLMへファイル転送 2.5.1 SCPでファイル転送 2.5.2 SCPでファイル転送①（PC → Module-LLM） 2.5.3 SCPでファイル転送②（PC → Module-LLM） 2.5.4 SCPでファイル転送（Module-LLM → PC） 2.6 Sambaで共有フォルダを作る 2.7 メモリが足りない場合の対処 2.7.1 現在のメモリ容量の確認 2.7.2 OSとNPUのメモリの割当を変更する 2.7.3 スワップメモリ設定手順 2.8 ファームウェアの更新手順 2.9 WSL2のインストール 2.9.1 インストール手順 2.9.2 初期設定 2.9.3 動作確認とアップデート 2.9.4 トラブルシューティング 2.9.5 Python環境のインストール # 第3章 StackFlowを使ってみよう 3.1 StackFlowとは？ 3.2 StackFlowのdebパッケージについて 3.3 StackFlowの起動と停止 3.4 StackFlowのインストール 3.5 StackFlowをPythonから使ってみよう 3.5.1 Module-LLMでpythonを使う場合 3.6 StackFlowのllm-sysユニットとは？ 3.6.1 llm-sysユニットから情報を取得する 3.7 StackFlowからリセットをかける 3.8 StackFlowからLinuxコマンド実行 3.9 StackFlowでLLMの推論をする 3.10 StackFlowでMeloTTSから発音を行う 3.11 StackFlowでWhisperから音声認識 3.12 StackFlowをビルドするには # 第4章 PythonでNPU推論 4.1 PyAXEngineとは？ 4.2 PyAXEngineのインストール 4.3 MobileNetV2の推論 4.4 YOLO11の推論 4.5 DepthAnythingの推論 4.6 USBカメラからの動画取得 4.6.1 Module-LLMのType-Cポートについて 4.6.2 画像のストリーミング配信 4.7 USBカメラからのDepthAnything推論 # 第5章 C++でNPU推論 5.1 C++開発環境の準備 5.2 ライブラリのインストール 5.2.1 クロスコンパイラのインストール 5.2.2 AX620E BSP SDKのダウンロード 5.2.3 ax-samplesのダウンロード 5.2.4 OpenCV-Mobileのダウンロード 5.3 DepthAnythingの推論プログラムの作成 5.4 USBカメラの画像をストリーミング配信する 5.5 USBカメラからのDepthAnything推論 5.6 ax-samplesのCVサンプルのビルド手順 5.6.1 AX620E BSP SDKのダウンロードとパスの設定 5.7 OpenCV-Mobileのビルド手順 # 第6章 Pulsar2でモデル変換 6.1 量子化とは？ 6.2 Pulsar2 ToolChainの概要 6.2.1 Docker開発環境のインストール 6.3 Pulsar2のインストール 6.3.1 Dockerイメージのロード 6.3.2 Dockerコンテナの起動手順 6.3.3 バージョンの確認 6.3.4 Pulsar2のコマンド 6.4 ライブラリのインストール 6.5 サンプルデータのダウンロード 6.6 MobileNetV2モデルの変換 6.6.1 MobileNetV2モデルのダウンロード 6.6.2 MobileNetV2モデル変換 6.7 YOLO11モデルの変換 6.7.1 YOLO11nモデルのダウンロード 6.7.2 YOLO11 ONNXモデルの加工 6.7.3 YOLO11モデルを変換する 6.8 行列計算モデルの変換 6.9 Pulsar2が対応しているONNXオペレータ # 第7章 Pulsar2でLLMモデルを変換 7.1 TinySwallow-1.5Bとは？ 7.2 huggingface_hubのインストール 7.3 TinySwallow-1.5Bモデルのダウンロード 7.3.1 StackFlowでのLLM推論実行準備 7.3.2 StackFlowでのLLM推論実行