firebirdテクテクテクブログ

記事概要

Andrej Karpathy「Let's build GPT」解説シリーズ 第4動画

はじめに

前回は、重み初期化やFlash Attention、学習率スケジューラといった高度なテクニックを導入し、単一GPUでの学習を最適化しました。しかし、現代の言語モデルは数十億〜数兆パラメータに達し、学習には膨大な計算資源が必要です。単一GPUのメモリや計算能力には限界があります。

Qiita

収集日時: 2025-09-14T14:54:15.126683

🔗 元記事を読む