本論文はニューラルネットワークの基本原理と様々な応用分野を紹介する入門書です。微分可能なプログラミングの観点からニューラルネットワークを説明し、自動微分による関数最適化方法とシーケンス、グラフ、テキスト、オーディオ処理のための一般的なニューラルネットワーク構造(合成積、アテンション、循環ブロックなど)を直感的に説明します。 PyTorchとJAXを活用したコード例では、理論と実際を結びつけ、大規模言語モデル(LLM)やマルチモーダルアーキテクチャなどの高度なモデルの理解を深めることを目指しています。