昨今 ChatGPT や GPT4 などが大きな注目を集めており進化が目覚ましいように見えますが、要素技術に着目すると、コア部分の処理に用いられるモジュールはTransformerであり、直近5年以上は大きなトレンドの変化は起きていません。 逆に考えるとTransformerの仕組みがそれほど優秀かつ汎用的であるということであり、今後も多く用いられることが予測されます。 当テキストでは昨今大きな注目を集める ChatGPT や GPT4 の主要モジュールに用いられる「Transformer」の「直感的な理解」が可能にな るように取りまとめを行いました。