読み：ぱいぷらいんへいれつ ／ 分野：AI・生成AI
大規模AIモデルを層ごとに複数のGPUへ分担させ、流れ作業のように処理する並列計算の方式です。
パイプライン並列とは、AIモデルの計算を複数のGPU（画像処理用の演算装置）に分担させる方法の一つで、モデルを層のまとまりごとに分割し、工程の流れのように順番に処理させる仕組みです。巨大なAIモデルを一台の機器だけでは扱いきれない場合に用いられます。
意味
AIモデル、特に大規模言語モデル（LLM）は、多数の「層」と呼ばれる計算の段階を積み重ねた構造をしています。モデル全体が大きくなると、一台のGPUのメモリには収まらなくなります。そこで層をいくつかのまとまりに分け、それぞれを別々のGPUに割り当てます。1番目のGPUが前半の層を計算し終えたら、その結果を2番目のGPUに渡し、2番目が続きの層を計算する、という流れ作業の形になります。この順送りの処理方式を「パイプライン」と呼びます。似た考え方に、層を分けずに1つの層の計算自体を分担する「テンソル並列」がありますが、パイプライン並列は層のまとまり単位で分担する点が異なります。実際には両者が組み合わされて使われることも多くあります。
使われる場面と具体例
- AI開発会社が、一台のGPUには収まらない巨大な言語モデルを学習させる際、複数のGPUに層を分けて計算を進めるために用います。
- クラウド事業者が、大規模モデルを使った推論サービス（問い合わせへの回答生成など）を提供する際、処理速度と利用コストのバランスを取るために採用します。
- 研究機関が新しいAIモデルを試作する段階で、限られた計算資源（GPUの台数や性能）を有効に使うために導入します。
中小企業が押さえたい点
- パイプライン並列は主にAIモデルを開発・運用する側の技術であり、AIサービスを利用する立場の企業が直接設定することはほとんどありません。
- AIベンダーやクラウドサービスを選ぶ際、裏側でこうした並列処理の技術が使われていることを知っておくと、処理速度や利用料金の仕組みを理解しやすくなります。
- 自社でAIモデルを独自に構築・運用する計画がある場合は、必要な計算資源の見積もりに関わるため、専門の技術者やベンダーに確認することが望ましいです。
よくある誤解
- 「パイプライン並列を使えば処理が必ず速くなる」という誤解がありますが、GPU間でのデータの受け渡しに時間がかかるため、工夫をしないと待ち時間が発生し、効率が落ちることもあります。
- 「テンソル並列と同じもの」と混同されがちですが、層のまとまりを分担する方式と、層内の計算を分担する方式という違いがあります。
よくある質問
Q. パイプライン並列は自社のAI活用に関係ありますか。
A. 既存のAIサービスを利用するだけであれば、直接意識する必要はほとんどありません。自社でモデルを構築・運用する場合に関係してきます。
Q. パイプライン並列とテンソル並列はどちらが優れていますか。
A. 優劣ではなく用途の違いであり、モデルの規模や計算資源の状況に応じて組み合わせて使われることが一般的です。
Q. この技術を理解していないとAI導入で不利になりますか。
A. 利用者側としては不利にはなりません。ただしベンダーとの会話で用語が出た際に、仕組みを把握していると判断材料が増えます。
関連する用語
関連記事
ほかの用語を探す
