AIアートの新時代：CLIPとStable Diffusionを活用した画像生成技術とその応用
- 紙の本＋電子版物販商品（倉庫から発送）¥ 2,100
- 電子版ダウンロード商品¥ 1,500
- 試し読みダウンロード商品¥ 0
本書は、最先端のAI技術を活用して画像生成を行う方法を解説し、AIアートの新時代を切り開くためのガイドブックです。機械学習やディープラーニングの基礎知識から、マルチモーダルな基盤モデルであるCLIP、話題の画像生成技術であるStable Diffusionを活用した実践的な応用方法までを網羅しています。エンジニアや画像生成に興味がある方に向けて、AIアートの奥深い世界を体感することができます。
お知らせ
紙の本は入荷後に発売開始されます
本の仕様
・紙の本 A4フルカラーオフセット 136ページ ・紙の本＋電子版の場合、電子版は「おまけファイル」からダウンロードしてください
各章の紹介
1. 機械学習入門: 本章では、機械学習とAIの違いやディープラーニングの特徴、基本的な数学知識、GPUの環境構築方法、CNNやTransformer、Attention機構などの基本的な概念を解説します。画像生成ではTransformerで使われているAttentionが非常に重要な役割を持つので、ここを集中的に解説します。 2. CLIP: CLIPは、マルチモーダルモデルを活用して言語と画像を紐付ける技術です。本章では、CLIPのモデル構造や計算方法、分類や検索への応用、画像生成モデルとの関連性などについて詳しく解説します。生成には直接関係ないモデルですが、CLIPを使うと画像生成の定量評価や、生成以外のタスクの応用が可能なので、ここで詳しく取り上げます。 3. Stable Diffusion入門: Stable Diffusionは、WebUIやDiffusersを使って画像生成を行う技術です。本章では、ローカルGPUでのText2Image生成やImage2Image変換、モデル構造、ブラウザでのアプリ作成方法などについて紹介します。本書は主にDiffusersでのプログラムベースの画像生成を行うものです。 4. Embedding分析：CLIPと画像生成: 本章では、CLIPのText Embeddingを活用した類似度検索や類似ワード検索、単語の加減算、可視化、Fine-tunedモデルの役割、拡散モデルと検索の統合、CLIP Skipの理解と活用方法などについて解説します。2章で紹介したCLIPを活用し、マルチモーダル基盤モデルと画像生成を本格的に紐づけます。 5. Stable Diffusion応用: Stable Diffusionを応用した画像生成技術について、複数モデルのマージや階層マージ、モデル変換、ネガティブプロンプト、トークン数制限の突破、空間制御手法などの応用方法を紹介します。これは通常、WebUIで行われている手法をDiffusersで再現し、研究的な背景も踏まえつつ、その特性について見ていくものです。ControlNetやLoRA、GPTとの連携のような話もここで登場します。 6. 潜在表現と画像生成の深い関係: 本章では、一般的な画像生成と潜在表現の関係、DDPMと拡散モデルの基本、生成画像にプロンプトの意味が伝わる仕組み、Guidance Scaleの影響検証、Noise Scaleと生成画像のコンテクスト、ノイズマスクのカスタマイズ、Progressive Growing、Latent Upscaler、Visual Promptの概要と活用法、Latent Coupleなどについて解説します。ただのノイズである潜在表現ですが、その意味は画像生成の結果に大きな影響を与えます。その深い意味や応用手法について見ていきます。 7. Attentionハッキングと応用: 本章では、Attention CoupleやスタイルLoRA、ControlNet Reference Only、Attention Mapの可視化と解釈、xformersによる高速化、動画生成とText2Video Zero、ControlVideo、360度パノラマ画像生成などの応用方法を紹介します。画像生成の最先端の手法は、Attentionをハッキングすることで実現されるものが非常に多くなっております。Attentionをジャックすることで、追加訓練なしで非常に面白い結果がおこるので、その世界について体験してみてください。 本書を通じて、AIアートの新時代を切り開くための知識や技術を身につけることができます。最先端の画像生成技術を活用して、あなただけのクリエイティブな作品を生み出すことができるでしょう。ぜひ、本書を手に取って、AIアートの世界に飛び込んでみてください。
リポジトリ
https://github.com/koshian2/ai-art-book
更新履歴
2023/5/20 α0.0版 とりあえずできた分を公開 2023/5/21 α0.1版 CLIP Skip、階層マージ、Stable Diffusionの構造を追加 2023/5/27 印刷媒体をフルカラーに変更につき電子＋物理版の価格を改定 2023/5/28 Ver0.0版 紙面レイアウトを大幅に更新、文章を大幅に校正して改変 ControlNet Reference Only、動画生成、360度パノラマ画像生成、Attention Mapの可視化などを追加 2023/5/31 Ver0.1版 お陰様で入稿完了しました！ 2023/6/6 Ver0.2版 Acrobat ReaderでPDFが開けない問題を修正しました
Buyee経由の注文に注意
ブラウザの言語環境が「日本語以外」で「物理本を含む」場合、「Buyee」経由の注文となることがあります。 これは海外発送代行サービスであり、日本在住の方は使う必要はありません。日本在住の方は「日本語のページ」から、ゆうパケットなどで発送するようにしてください。 Buyee経由ではBoothの注文履歴に反映されないため、おまけの電子版がダウンロードできません。