なぜAIにGPUが必要なのか｜CPUとの違いから分かる仕組み

30秒で要約

• AIの計算の正体は、掛け算と足し算の繰り返し。一つひとつは電卓でもできる水準だが、回数が桁違いに多い
• その多くは互いの結果を待たずに進められるため、手分けして一斉に片付けられる。ここがGPUの出番
• CPUは複雑な処理を順番にこなす少人数の熟練者、GPUは単純な作業を一斉に片付ける大人数の作業班。優劣ではなく得意分野の違い
• もともと画面を描くために作られたGPUがAIに使われているのは、必要な計算の形が一致していたから
• ただし手分けできない処理はCPUのほうが速く、GPUの性能もVRAMやメモリ帯域が絡むため演算能力だけでは決まらない

「AIを動かすにはGPUが必要だ」という話は、ニュースでも仕事の会話でも当たり前のように出てきます。ところが、ではなぜCPUではだめなのか、というところまで説明されることはあまりありません。パソコンの頭脳はCPUだと習ったはずなのに、AIの話になると急にGPUが主役になる。ここに引っかかったまま、言葉だけが通り過ぎていきます。

理由そのものは、実はそれほど込み入ったものではありません。AIがやっている計算が、単純な計算をひたすら大量に繰り返すという形をしているからです。この一点さえつかんでしまえば、CPUとの違いも、もともと映像を描くための装置がAIに使われている理由も、同じ理屈で説明が付きます。

この記事では、その仕組みを順にほどいていきます。専門用語は出てきた場所で補いますので、前もって覚えておくことはありません。

AIは何を計算しているのか

ひとことで言うと、AIの正体は膨大な数の掛け算と足し算です。賢く見える受け答えの裏側で、特別な計算方法が使われているわけではありません。まずはここから始めます。

AIの中身は、膨大な掛け算と足し算

AIのモデルは、内部に大量の数値を持っています。この数値を パラメータ 用語解説 AIモデルが学習によって獲得した数値。この値の組み合わせが、モデルの振る舞いを決める。 と呼びます。学習とは、この数値を望ましい答えが出るように少しずつ調整していく作業にほかなりません。

利用するときは、入力した文章もまた数値の並びに変換されます。あとは入力の数値とパラメータを掛け合わせ、その結果を足し合わせる。これを何段も重ねた先に出てきた数値を、人間が読める文章に戻したものが、画面に表示される回答です。

一つひとつの計算は、電卓でもできる水準のものに過ぎません。難解な数式を解いているのではなく、やさしい計算を、人間には数え切れない回数こなしている。これがAIの計算の実像になります。

1つひとつは単純でも、量が桁違いになる

問題になるのは量のほうです。パラメータの数は、大きなモデルになると数十億から数千億という単位で語られます。入力された文章を処理するあいだ、その一つひとつが計算に関わる。1回の受け答えの裏で動く計算の回数は、人間が手を動かして追える範囲をはるかに超えます。

出典: Meta「Introducing Llama 3.1: Our most capable models to date」。公開されている大規模モデルの一例として、Llama 3.1 405Bは4,050億のパラメータを持つと公表されています。規模はモデルによって大きく異なります。

そしてこの大量の計算には、都合のよい性質があります。多くの計算が、ほかの計算の結果を待たずに進められるという性質です。1番目の計算が終わらないと2番目に取りかかれない、という関係になっていない。だとすれば順番にこなす必要はなく、手分けして一斉に片付けられます。AIとGPUの関係は、突き詰めるとこの性質から生まれています。

学習でも推論でも、計算の中身は同じ

AIを動かす作業は、モデルを作る「学習」と、できあがったモデルを使う「推論」に分かれます。必要な設備の規模も費用の出方も違う工程ですが、土台にある計算は同じ種類です。掛けて足す作業を大量に繰り返す点は変わりません。

違うのは量と頻度、そして工程の数になります。推論は利用者の求めに応じて計算を1回通すだけですが、学習ではそこにパラメータを調整するための計算が加わり、それを繰り返します。それでも、一つひとつは掛け算と足し算の集まりです。どちらの工程でもGPUが使われるのは、計算の形が共通しているためだと言えます。

工程ごとの違いはAIの「学習」と「推論」はどう違うのか｜必要な設備とコストの差で詳しく扱っています。

出典: NVIDIA「Inference: The Next Step in GPU-Accelerated Deep Learning」。同記事は、学習と推論はどちらも同じ順伝播の計算から始まり、学習ではそのあとに誤差を逆向きに伝えて重みを更新する工程が加わる、と説明しています。

CPUとGPUは「得意なこと」が違う

ひとことで言うと、両者の関係は性能の上下ではなく役割分担です。GPUのほうが新しくて速い装置だ、という理解から入ると、この先の話がつながらなくなります。

CPUは少人数の熟練者、GPUは大人数の作業班

CPUは、込み入った判断を含む仕事を順番にこなすのが得意です。次に何をするかを状況に応じて切り替えながら、一本の流れを速く進めていく。熟練した職人が数人がかりで仕事を回しているようなもの、と考えてください。

GPUは反対に、単純な作業を大人数で一斉に片付けるのが得意です。一人ひとりの手際は職人にかないません。その代わり人数が桁違いに多く、同じ作業が大量に積み上がっている場面では早く終わります。AIの計算は、まさにこの「同じ作業が大量に積み上がった」状態に当てはまります。

この作業班のたとえは、記事の最後まで使います。

コアの数が違うと、何が変わるのか

装置の中で実際に計算を行う部分を コア 用語解説 CPUやGPUの内部で計算処理を行う単位。数が多いほど、同時に進められる作業が増える。 と呼びます。たとえで言えば作業に当たる人数です。そして、複数のコアが同時に作業を進めることを 並列処理 用語解説 複数の計算を同時並行で進める処理方式。互いに結果を待つ必要がない計算に向く。 と言います。

パソコン向けのCPUは、コアの数が数個から十数個ほどです。サーバー向けになるとさらに増え、1ソケットあたり200を超える製品もあります。対してGPUは、計算を担うコアを数千から1万以上積んだ構成。ただし人数が多いぶん、一人あたりに任せられるのは単純な仕事に限られます。数で押すGPUと、一人あたりの能力で押すCPU、という違いだと考えると分かりやすくなります。

出典: AMD「AMD EPYC 9005シリーズ」は最大192コア、インテル「インテル Xeon 6 製品ブリーフ」は1ソケットあたり最大288コアと公表しています。NVIDIA「NVIDIA Hopper Architecture In-Depth」によれば、H100 SXM5は1基あたり16,896個のFP32 CUDAコアを備えます。いずれも2026年9月時点の公表値です。なお、CPUのコアとGPUのコアは構造も担う役割も異なるため、数だけを並べて優劣を比べることはできません。

CPUとGPUの比較表

ここまでの違いを一枚に整理すると、次のようになります。

装置	得意な処理	コアの数	向いている用途	苦手なこと
CPU	順番に進む複雑な処理	数個〜数百	OSやアプリの実行、全体の段取り	同じ計算の大量繰り返し
GPU	同じ形の計算の大量繰り返し	数千〜1万以上	AIの学習・推論、画像処理	前の結果を待つ処理

一般的な傾向の整理です。実際の構成は製品世代や用途向けの作り分けによって異なります。コアの数は同じ基準で数えた値ではないため、両者を直接比べる指標にはなりません。

表の右端に注目してください。苦手なことが正反対になっています。だからこそ、どちらかがあればよいという関係にはなりません。

なぜ映像用の装置がAIに使われているのか

GPUという名前は GPU 用語解説 Graphics Processing Unit。もともと画面表示の描画処理を担うために作られた装置。現在はAIの計算にも広く使われる。 の略で、もとをたどれば画面表示のための装置です。AIの話にゲーム用の部品が出てくるのは、ここに理由があります。

もとは画面を描くための専用装置だった

画面に映像を表示する作業を考えてみます。画面は細かい点の集まりで、その点それぞれについて何色で光らせるかを計算しなければなりません。映像として動かすなら、この計算を1秒間に何十回も繰り返すことになります。

ここで重要なのは、点ごとの計算が互いに独立しているという点です。隣の点の計算結果を待つ必要がない。だから手分けが効きます。この仕事のために、単純な計算を大量に並列で処理する装置として設計されたのがGPUでした。

画像を描く計算とAIの計算が似ていた

ここまで読んでいただくと、話がつながります。AIの計算も、画面を描く計算も、単純・大量・互いに独立という3つの特徴が共通していました。用途はまったく違うのに、装置に求められる性質が同じだったわけです。

そのため、研究の現場で画像用の装置をAIの計算に転用する試みが広がり、やがてAI向けの製品として開発が進む流れになりました。ゲーム用の部品がたまたま流用されたというより、必要な計算の形が最初から一致していたと表現するほうが実態に近いと言えます。

出典: NVIDIA「Game-Changer: How the World’s First GPU Leveled Up Gaming and Ignited the AI Era」（2024年10月）。同社は1999年のGeForce 256を世界初のGPUとして紹介し、CPUが担っていた描画処理を肩代わりしたこと、その並列処理の能力が研究者の目に留まり、2011年ごろにはAI研究での利用が広がっていたことを説明しています。

※ 現在はAI向けと映像向けで製品の作り分けが進んでおり、AIの計算に向けた専用の回路やメモリ構成を備えるものもあります。

GPUを載せれば何でも速くなるわけではない

ここまでの説明は、裏返すと制約にもなります。GPUが効くのは「手分けできる仕事」に限られる、ということです。この点を押さえておかないと、GPUを万能の高速化装置だと誤解したまま話を進めることになります。

順番にしか進められない処理は、CPUのほうが速い

世の中の処理には、前の工程の結果が出てからでないと次に進めないものが数多くあります。こうした仕事に作業班を1000人集めても、進み方は変わりません。1人が作業しているあいだ、残りは待つだけだからです。それどころか、大勢に指示を配る手間が増えるぶん、かえって遅くなることさえあります。

こうした処理では、一人あたりの能力が高いCPUのほうが速く終わります。GPUが速いのではなく、AIの計算がGPUに向いている。順序を取り違えないよう注意してください。

AIサーバーにもCPUは必ず載っている

AI向けのサーバーは、GPUだけで構成されているわけではありません。CPUも必ず載っています。役割で分けると、CPUが段取りを担い、GPUが力仕事を担う形です。

• CPUの担当: データの読み出し、前処理、GPUへの受け渡し、結果の取りまとめ
• GPUの担当: 受け取ったデータに対する大量の掛け算と足し算

作業班のたとえに戻すと、材料を用意して配り、仕上がりを受け取る監督役がCPUに当たります。監督がいなければ、人数だけ揃っていても作業は始まりません。

出典: NVIDIA「DGX B200 データシート」。同システムはGPU8基に対してIntel Xeon Platinum 8570を2基搭載する構成として公表されています（2026年9月時点）。構成は製品によって異なります。

GPUの性能は演算能力だけでは決まらない

GPUを比べるとき、最初に目に入るのは計算の速さを表す数値です。ところが実際には、それ以外の要素で動くかどうかが決まってしまう場面があります。ここでは代表的な2つだけを押さえます。

VRAM ─ モデルを置いておく場所

GPUには、計算に使うデータを置いておくための専用のメモリが備わっています。これを VRAM 用語解説 GPUに搭載された専用メモリ。計算対象のデータやモデルのパラメータを保持する領域。 と呼びます。AIを動かすときは、ここにモデルのパラメータを載せた状態で計算を進めます。

この容量が効いてくるのは、速い・遅いという次元ではありません。載り切らなければ、そもそも動かないという性質です。作業場に材料を置ききれなければ、人数がいくら揃っていても作業は始まらない。大きなモデルを動かすには、それに見合う容量が要ります。

メモリ帯域 ─ データを運ぶ道の太さ

もうひとつが、メモリと計算部分のあいだでデータをやりとりする速さです。これを メモリ帯域 用語解説 メモリと演算部分のあいだで、単位時間あたりに転送できるデータ量。データ供給の速さを左右する。 と言います。

作業場に材料を運び込む通路の太さだと考えてください。通路が細ければ、作業班がどれだけ優秀でも手が空く時間が生まれます。AIの計算は大量のデータを出し入れするため、この通路の太さが仕上がりまでの時間を左右します。

つまりGPU選びは、演算能力・VRAM容量・メモリ帯域という複数の軸を同時に見る作業になります。実際の選定でどう優先順位を付けるかは、AI推論向けGPUの選び方｜初めてでも迷わない5つの観点で整理しています。

具体的な数値や製品ごとの比較は、用途と時点によって評価が変わります。この記事では観点の存在を示すにとどめています。

1枚で足りなくなると、置き場所の話になる

扱うモデルが大きくなると、GPUは1枚では足りなくなります。1台のサーバーに複数枚を載せ、それでも足りなければサーバーを何台も並べる。AIの話題でデータセンターが登場するのは、この先の段階です。

GPUは計算能力が高いぶん、消費する電気の量も、そこから出る熱の量も大きくなります。数を増やせば、その合計はオフィスの一室でまかなえる水準を超えていきます。事務所のコンセントから電源を取る形では成り立たず、専用の電源設備と冷却設備を備えた場所が前提になるわけです。

出典: NVIDIA「DGX B200 データシート」。GPUを8基搭載する同システムの最大消費電力は、およそ14.3kWと公表されています（2026年9月時点）。事務所のコンセント1口でまかなえる電力とは桁が異なります。

設置先に求められる条件はAI向けデータセンターとは何か｜普通のサーバー室と何が違うのかで、電力需要が社会全体でどう伸びているかは生成AIの電力需要はなぜ急増するのか｜データセンターとエネルギー制約で扱っています。

よくある疑問

学び始めた段階でよく出てくる疑問を、3つだけ取り上げます。

ゲーム用のGPUではだめなのか

計算の仕組みが同じである以上、ゲーム用の製品でAIを動かすこと自体は可能な場合があります。実際、学習目的で個人が使う例も珍しくありません。

ただし業務で継続的に使うとなると、話が変わります。長時間の連続稼働を前提とした作りになっているか、保守やサポートの範囲がどこまでか、その製品が業務用途での利用を想定した条件で提供されているか。いずれも性能とは別の軸であり、性能表だけを見ても判断が付かない領域になります。

※ 製品ごとに使用条件や保守条件は異なります。業務で利用できるかどうかは、購入前に提供元が示す条件を確認してください。

なぜGPUは品薄と言われ続けるのか

AI向けの需要がここ数年で急に立ち上がった一方、製造の設備はすぐには増やせません。需要の伸びと供給の増え方に時間差があるため、品薄の状態が長く続いてきました。加えて、特定の製品に需要が集中しやすい構造もあります。

出典: NVIDIA Corporation「Form 10-K」（2026年1月25日終了会計年度）。同社は、製造のリードタイムが長く、12か月を超える調達期間を経験したことがあると記載しています。また、需要を低く見積もった場合には生産を増やせず、増えた需要に応えられない可能性があるとしています。

市場の動きや調達の考え方は生成AI向けGPUクラウドの市場動向と国内需要にまとめています。

手元のパソコンでAIは動かせるのか

小さなモデルであれば、手元の環境でも動きます。分かれ目になるのは、先ほどのVRAMの容量です。モデルが載り切る範囲なら動作し、超えれば動かないか、動いても極端に遅くなります。

公開されているモデルには、容量を抑えた軽量版が用意されていることもあります。学習目的で試すのであれば、まずは小さなモデルから触ってみるのが現実的な入口になります。

AIインフラの検討を始めるなら

実際に業務でAIを動かす段になると、ここまでの観点を自社の条件に当てはめる作業が必要になります。何をさせたいのかという用途から必要な計算の規模を見積もり、それに見合うGPUの構成を決め、置き場所の条件を確かめる。この順番で整理していくと、判断の手戻りが少なくなります。

こうした検討の具体的な手段として、イオレのAIインフラ事業ではGPUサーバーの販売を担っています。データセンター環境への設置と、稼働後の保守・運用は、それぞれを専門とするパートナー企業と連携して提供する体制です。機器の構成と設置先の条件を切り離さずに相談できる窓口として活用いただく位置づけになります。

※ 設置・保守・運用はパートナー企業による提供です。支援の範囲や前提条件は案件により異なります。詳細は問い合わせ導線からご確認ください。

まとめ

AIにGPUが必要とされる理由は、AIの計算が単純な計算の大量の繰り返しでできている、という一点に行き着きます。一つひとつは電卓でも済む計算が、数え切れないほど積み上がっている。しかも多くは互いに独立していて、手分けして進められます。

CPUは少人数の熟練者、GPUは大人数の作業班です。どちらが優れているという話ではなく、得意な仕事が違います。そしてAIの計算は、作業班の形に合っていました。もともと画面を描くために作られた装置がAIに使われているのも、必要な性質が一致していたからにほかなりません。

一方で、GPUを載せれば何でも速くなるわけではない点も押さえておきたいところです。順番にしか進められない処理ではCPUに分があり、AIサーバーでもCPUは段取り役として欠かせません。GPUの評価も演算能力だけでは決まらず、VRAMの容量とメモリ帯域が同時に効いてきます。

ここまでが、AIとGPUの関係を理解するための土台になります。次の段階として具体的な機種の選び方を知りたい場合はAI推論向けGPUの選び方｜初めてでも迷わない5つの観点へ、AIを動かす工程そのものを知りたい場合はAIの「学習」と「推論」はどう違うのか｜必要な設備とコストの差へ進んでみてください。