Research Seminar: 大規模言語モデルの分散並列学習 (藤井 一喜, 東工大/理研AIP)

大規模モデルの効率的な学習には、分散並列学習が不可欠であり、学習効率に大きく影響する重要な要素です。データ並列、テンソル並列、パイプライン並列など、様々な分散並列学習手法が存在しますが、効率的な学習のためには、それぞれの特徴をふまえた組み合わせが必要です。本講演では、これらの手法の技術的な側面を解説します。加えて、実際のプロジェクトにおける実例についても紹介します。