DBC Tech Academy / AI / 入門
CUDA 入門AI が NVIDIA の GPU で動く仕組みを、計算の割り当てから理解する
CUDA (Compute Unified Device Architecture) は、NVIDIA の GPU に大量の計算を割り当てて同時に進めさせるためのソフトウェア基盤です。NVIDIA が 2006 年に発表しました。AI の学習と推論、画像の検査、需要予測、リスク計算、創薬のように、同じ形の計算を大量に繰り返す業務で使われています。AI のソフトの多くは CUDA の上に作られているので、AI を動かす PC やクラウドを選ぶときは、その機器で CUDA が動くかを最初に確かめます。この講座では、CPU と GPU の違いから始めて、GPU に向く計算、CUDA を構成するソフトの重なり、計算を割り当てる仕組み、機器の選び方、CUDA の限界までを、プログラムを書かない人に向けて説明します。
この講座で学ぶこと
- CPU と GPU の作りの違いと、GPU に向く計算の見分け方
- GPU・ドライバー・CUDA Toolkit・ライブラリ・AI フレームワークの重なり
- CUDA が計算をスレッドに割り当てる仕組み
- 動作要件の「NVIDIA GPU 必須」「CUDA 対応」の読み方と、機器の選び方
- NVIDIA の GPU が選ばれ続ける理由と、代わりの選択肢
前提知識
ありません。プログラムを書いた経験は要りません。コードは載せず、図と表とシミュレーターで説明します。
Use cases
CUDA が使われている業務
CUDA は、AI の研究だけでなく、各業種の日常の業務で使われています。次の表は、企業と NVIDIA が公開している事例です。どの行でも、GPU は同じ形の計算を大量に受け持っています。
| 業種 | 企業と業務 | GPU に計算させているもの |
|---|---|---|
| 製造 | 武蔵精密工業。ギアと溶接部の外観検査 | カメラで撮った部品の画像から、1 mm や 0.5 mm の傷を見つける画像認識。検査用のモデルの学習と、ラインでの判定の両方 |
| 金融 | J.P. Morgan。株式デリバティブのリスク計算 | 保有する取引ごとの損失の見積もり。2011 年に GPU を導入し、計算全体が 40 倍速くなったと発表している |
| 医療 | 富士フイルム。全身用 CT | 撮影したデータから断面の画像を組み立てる画像再構成。ディープラーニングを使って画質を上げている |
| 小売 | Walmart。週次の需要予測 | 商品と店舗の組み合わせ 5 億通りについての、翌週の需要の予測 |
| 鉄道の保守 | 川崎重工業。線路の保守と点検 | 保守作業の経路を決める経路最適化 |
| 創薬 | アステラス製薬。抗体医薬の候補探し | 抗体の性質を予測する言語モデルの計算。従来の方法の 50 倍を超える速さで処理している |
| 業種を問わない事務 | 文章の要約、問い合わせへの回答、社内文書の検索 | 文章を生成する AI モデルの中で繰り返される、数値の表どうしの掛け算 |
業種は違っても、GPU に任せている計算には共通点があります。画像の 1 画素ごと、取引の 1 件ごと、商品と店舗の 1 組ごとのように、同じ計算を大量のデータに対して行い、1 件の計算がほかの件の結果を待ちません。次の節のシミュレーターで、この性質が GPU の速さにどう効くかを確かめます。
Try it
GPU は大量の計算をどう分担するのか
GPU は、多数の作業者が同時に計算する部品です。下の図では、1 マスが計算 1 件を表します。GPU は計算を 32 件ずつの班に分け、班の中の 32 件を同時に進めます。CPU は 1 件ずつ順に進めますが、1 件あたりは GPU の作業者の 8 倍の速さです。件数・計算の種類・GPU の規模を変えて「動かす」を押し、どちらが先に終わるかを比べてみましょう。GPU 側のマスを押すと、そのマスを担当する班と作業者の番号が表示されます。
CPU
1 件ずつ順に計算します。
待機0
GPU
同じ色のマスが 1 つの班です。
待機0
GPU 側のマスを押すと、担当する班と作業者が表示されます。
時間は、CPU が 1 件を計算する時間を 1 とした相対値です。実際の速さは計算の内容と製品で変わるので、製品の仕様とベンチマークで確かめます。
GPU は、計算を始める前にデータを受け取る時間がかかります。設定を変えると、最初から動かし直します。
試してみること
- 計算の件数を 64 にします。データを送る時間のほうが長くなり、CPU が先に終わります。件数を 256、1,024、4,096 と増やすと、GPU との差が開きます。
- 計算の種類を「前の結果を使う」にします。GPU は 1 件ずつしか進められなくなり、GPU の規模を 16 にしても終わる時間は変わりません。
- 「1 件ずつ独立」に戻し、GPU の規模を 1 から 16 まで動かします。マスと班の割り当ては変わらず、同時に動く班の数だけが増えて、終わる時間が縮みます。
01 / Basics
CPU と GPU の違い
コンピューターの計算は、CPU と GPU という 2 種類の部品が受け持ちます。CPU は、OS やアプリの処理を進める中心の部品です。GPU (Graphics Processing Unit) は、画面に表示する画像を描くために作られた部品です。画像は数百万個の画素でできていて、どの画素の色もほぼ同じ手順で計算できるので、GPU は同じ計算を大量に同時に進める作りになりました。
プログラムが上から順に実行していく 1 本の処理の流れを、スレッド (thread) と呼びます。CPU は 1 本のスレッドを速く進めるように設計されていて、同時に進められるスレッドは数十本までです。GPU は数千本のスレッドを同時に進めるように設計されています。その代わり、スレッド 1 本あたりの速さは CPU より遅くなります。冒頭のシミュレーターで、CPU の 1 件あたりを GPU の作業者より速くしたのは、この違いを表すためです。
この違いは、半導体の使い道の違いから生まれます。図 1 は、チップの面積を何に使っているかを模式的に表したものです。CPU は、処理の流れを制御する回路と、よく使うデータを手元に置いておくキャッシュに多くの面積を使います。条件によって処理の内容が変わる複雑なプログラムを、1 本ずつ速く進めるためです。GPU は、面積の大半を計算する回路そのものに使います。
CPU
GPU
計算する回路処理の流れを制御する回路キャッシュ
図 1 CPU と GPU の面積の使い道(模式図)。同時に進められるスレッドの数は、製品の仕様で確かめます。
| CPU | GPU | |
|---|---|---|
| 設計の狙い | 1 本のスレッドを速く進める | 多数のスレッドを同時に進め、全体の処理量を増やす |
| 同時に進めるスレッド | 数十本 | 数千本 |
| スレッド 1 本の速さ | 速い | CPU より遅い |
| 向く仕事 | 手順が入り組み、処理ごとに内容が変わる仕事(OS、業務アプリ、表計算) | 同じ計算を大量のデータに繰り返す仕事(画面の描画、AI、シミュレーション) |
GPU は画面の描画のための部品だったので、当初は描画以外の計算をさせるにも、計算を描画の命令に置き換えて書く必要がありました。NVIDIA は 2006 年 11 月に CUDA を発表し、描画の命令を経由せずに、GPU へ一般の計算をさせられるようにしました。これ以降、GPU は科学計算や AI の計算に広く使われるようになりました。
02 / Parallelism
GPU に向く計算と向かない計算
GPU の数千本のスレッドを生かせるのは、計算を多数の小さな計算に分けられて、分けた計算どうしが互いの結果を待たない仕事です。写真を明るくする処理では、ある画素の新しい色は、その画素の元の色だけで決まります。隣の画素の計算が終わるのを待つ必要がないので、全部の画素を同時に計算できます。保有する取引 100 万件のそれぞれについて損失を見積もる計算や、商品と店舗の組み合わせごとの需要予測も同じ形をしています。
前の結果を使う計算は、分けても同時には進められません。毎月の残高は、前の月の残高に入金と出金を反映して求めるので、3 月の残高は 2 月の残高が決まるまで計算できません。冒頭のシミュレーターで計算の種類を「前の結果を使う」にすると、GPU の規模を上げても時間が変わらなかったのは、このためです。業務システムの受注処理のように、1 件ごとに在庫の確認、与信の確認、帳票の作成と手順が変わる仕事も、同じ計算の繰り返しにならないので GPU には向きません。
AI の計算は、GPU に向く計算の代表です。AI モデルの中身は、大量の数値を縦横に並べた表です。AI が文章や画像を処理するときは、入力を数値の表に変え、モデルの表と掛け合わせる計算を何層も繰り返します。表どうしの掛け算では、結果の表の 1 マスを求める計算が、ほかのマスの計算を待ちません。そのため、数百万から数億のマスを同時に計算できます。文章を生成する AI は言葉を 1 つずつ順に出しますが、1 つの言葉を出すための計算の中身がこの掛け算なので、GPU で速くなります。
GPU で計算するには、先にデータを GPU に送ります。CUDA のプログラムは CPU の側で始まり、CPU につながったメモリから GPU に載っているメモリへデータをコピーしてから、GPU に計算を始めさせます。CUDA では、CPU とそのメモリをホスト (host)、GPU とそのメモリをデバイス (device) と呼びます。GPU に載っているメモリは、製品の仕様では VRAM と書かれます。計算が終わると、結果をデバイスからホストへコピーして戻します(図 2)。
図 2 GPU で計算するときのデータの流れ
データを送る時間は、計算の件数が少なくてもかかります。シミュレーターで件数を 64 にすると CPU が先に終わったのは、計算そのものより、送る時間のほうが長かったためです。GPU を使うかどうかは、計算どうしが独立しているかと、件数が送る時間に見合うほど多いかの 2 点で判断します。次の表にまとめます。
| 計算の性質 | GPU に向くか | 例 |
|---|---|---|
| 同じ計算を大量のデータに行い、互いの結果を待たない | 向く | 画像の加工と認識、AI の学習と推論、取引ごとのリスク計算、組み合わせごとの需要予測 |
| 前の結果を使って次を計算する | 向かない | 月ごとの残高の推移、1 件ずつ順に処理する決まりの集計 |
| 1 件ごとに手順が変わる | 向かない | 受注処理、ワークフローの承認、帳票の作成 |
| 互いの結果を待たないが、件数が少ない | 向かない | 数十件の見積もりの計算。データを送る時間のほうが長い |
自社の業務が GPU に向くかを確かめるときは、処理を「何を 1 件として、何件あるか」に言い直します。1 件の計算がほかの件の結果を使わず、件数が多いなら、GPU で速くなる見込みがあります。実際にどれだけ速くなるかは、その処理に対応したソフトのベンチマークで確かめます。
03 / What is CUDA
CUDA とは何か
CUDA は、NVIDIA の GPU に一般の計算をさせるための、NVIDIA 製のソフトウェア一式です。GPU という部品の名前でも、1 本のアプリの名前でもありません。GPU を動かすドライバー、GPU 用のプログラムを作る開発キット、よく使う計算をまとめたライブラリが重なってできています。AI のソフトは、この重なりのいちばん上に載っています(図 3)。
色の付いた 3 段が CUDA
図 3 CUDA を構成するソフトの重なり。上の段は、すぐ下の段を使って動きます。
NVIDIA ドライバーは、CUDA の土台です。GPU を使うソフトは、画面の描画でも計算でも、すべてドライバーを通して GPU を動かします。CUDA Toolkit は、GPU 用のプログラムを作る人が使う開発キットで、ドライバーとは別に配られます。最初の版の CUDA Toolkit 1.0 は 2007 年 6 月に公開され、2026 年 11 月の時点の最新版は 13.5 です。
ライブラリは、多くのソフトが共通して使う計算を、NVIDIA が GPU 向けに作り込んだ部品です。cuBLAS は行列の計算を、cuDNN はニューラルネットワークで使う計算を受け持ちます。AI フレームワークを作る人は、行列の掛け算を GPU 向けに一から書かず、これらのライブラリを呼び出します。AI フレームワークは、AI モデルを作る人が使う土台で、代表が PyTorch です。AI モデルを作る人は PyTorch の書き方でモデルを書き、GPU を使う部分は PyTorch がライブラリを通して処理します。
この重なりがあるので、AI を使う人も、AI モデルを作る人の大半も、CUDA のプログラムを自分では書きません。それでも、下の段が NVIDIA の GPU を前提にしているので、上の段のソフトを GPU で動かすには NVIDIA の GPU が要ります。ソフトの動作要件に書かれる「CUDA 対応」は、そのソフトが CUDA を通して NVIDIA の GPU に計算させる、という意味です。
「CUDA のバージョン」は、ふつう CUDA Toolkit のバージョンを指します。ドライバーにも別のバージョンがあり、ソフトの動作要件にはドライバーのバージョンで条件が書かれることがあります。たとえば、AI モデルを手元の PC で動かすソフトの Ollama は、NVIDIA の GPU についてドライバーのバージョン 550 以上を求めています。利用者が合わせるのは、多くの場合ドライバーのバージョンです。
自分の PC の GPU は、次の方法で確かめます。Windows では、タスクマネージャーの「パフォーマンス」に GPU の製品名が表示されます。NVIDIA のドライバーを入れた PC では、ドライバーに付属する nvidia-smi というコマンドで、GPU の製品名とドライバーのバージョンを表示できます。その GPU で CUDA が動くかは、NVIDIA が公開している CUDA 対応 GPU の一覧で製品名を探して確かめます。
04 / Execution model
CUDA が計算を割り当てる仕組み
CUDA のプログラムは、GPU に実行させる関数を 1 つ用意し、それを多数のスレッドで同時に実行させます。GPU に実行させる関数を、CUDA ではカーネル (kernel) と呼びます。カーネルには「自分が担当する 1 件をどう計算するか」だけを書きます。GPU がカーネルを起動すると、同じカーネルを実行するスレッドが大量に作られ、それぞれが別の 1 件を計算します。
どのスレッドがどのデータを担当するかは、スレッドの番号で決まります。スレッドには起動のときに、ほかと重ならない番号が付きます。カーネルは自分の番号を読み、「100 番のスレッドなら 100 番目の画素」のように担当するデータを決めます。冒頭のシミュレーターでマスを押すと班と作業者の番号が表示されたのは、この対応を表しています。
スレッドは、スレッドブロック (thread block) というまとまりに分けられます。1 回の起動で作られるスレッドブロックの全体を、グリッド (grid) と呼びます。1 つのグリッドの中のスレッドブロックは、どれも同じ本数のスレッドを持ちます(図 4)。シミュレーターでは 1 つのスレッドブロックを 32 本にしました。実際の本数はプログラムを書く人が決め、32 の倍数にするのが基本です。
グリッド 1 回の起動で作られるスレッドブロックの全体
スレッドブロック 0
スレッドブロック 1
スレッドブロック 2
スレッドブロック 3
スレッドブロック 4
スレッドブロック 5
スレッドブロック 6
スレッドブロック 7
図 4 グリッド、スレッドブロック、スレッドの関係。オレンジ色の 1 マスは、スレッドブロック 2 の 11 番のスレッドで、0 から数えて 75 番のデータを担当します。
GPU の中には、スレッドを実行する SM (Streaming Multiprocessor) という装置が多数並んでいます。1 つのスレッドブロックのスレッドは、すべて同じ SM で実行されます。グリッドの中のスレッドブロックは、空いている SM へ順に配られます。配る順番は決まっておらず、プログラムは、スレッドブロックがどの順番で実行されても正しい結果になるように書きます。シミュレーターで班の番号が順不同に現れたのは、このためです。
順番に頼らない書き方をするので、同じプログラムが、規模の違う GPU でそのまま動きます。SM の少ない GPU では、スレッドブロックが少しずつ順に実行されます。SM の多い GPU では、多くのスレッドブロックが同時に実行されます。1 つのグリッドは数百万個のスレッドブロックを持てるので、データが増えてもスレッドブロックの数を増やすだけで対応できます。シミュレーターで GPU の規模を変えても割り当てが変わらず、終わる時間だけが変わったのは、この仕組みを表しています。
次の表は、シミュレーターの言葉と CUDA の用語の対応です。
| シミュレーターの言葉 | CUDA の用語 | 意味 |
|---|---|---|
| 計算 1 件の手順 | カーネル | GPU に実行させる関数。担当する 1 件の計算だけを書く |
| 作業者 | スレッド | カーネルを実行する 1 本の処理の流れ。自分の番号から担当するデータを決める |
| 班 | スレッドブロック | スレッドのまとまり。1 つの班は 1 つの SM で実行される |
| 班の全体 | グリッド | 1 回の起動で作られるスレッドブロックの全体 |
| 同時に動く班の数 | SM の数 | GPU の規模。上位の製品ほど多い |
| データを送る | ホストからデバイスへのコピー | CPU 側のメモリから GPU 側のメモリへデータを移す |
この仕組みから、機器を選ぶときの判断が 2 つ出てきます。1 つ目に、CUDA で動いているソフトは、上位の GPU に替えれば、ソフトを書き換えなくても同時に動くスレッドブロックが増えて速くなります。2 つ目に、前の結果を使う計算や、件数の少ない計算は、GPU を上位の製品に替えても速くなりません。GPU を増強する前に、遅い処理が GPU に向く計算かを確かめます。
05 / AI stack
AI は CUDA をどこで使っているか
AI が GPU を使う場面は、学習 (training) と推論 (inference) の 2 つです。学習は、大量のデータを AI モデルに読ませて、モデルの中の数値を少しずつ直していく作業です。推論は、学習を終えたモデルに入力を与えて、答えを出させる作業です。どちらも数値の表どうしの掛け算を大量に繰り返すので、GPU で計算します。学習は 1 つのモデルを作るために長い時間をかけて計算を続け、推論は利用者が入力を送るたびに計算します。
AI のソフトが GPU を動かすまでの経路は、図 3 の重なりを上から下へたどります。AI モデルを作る人は、PyTorch などの AI フレームワークの書き方でモデルを書き、計算を GPU で行うように指定します。PyTorch は、CPU 用と同じ計算を GPU で行う部品を持っていて、その中でニューラルネットワークの計算を cuDNN などのライブラリに任せます。ライブラリは CUDA を通して、計算をスレッドに割り当てて GPU に実行させます。AI モデルを作る人が書くのは、いちばん上の段だけです。
AI の学習に GPU が使われるようになったきっかけは、2012 年の画像認識の研究です。トロント大学の Krizhevsky、Sutskever、Hinton は、120 万枚の画像を 1,000 種類に分類するニューラルネットワークを、NVIDIA の GPU である GTX 580 の 2 枚で学習させました。学習には 5 日から 6 日かかりました。論文は、ネットワークの大きさを決めたのは GPU のメモリの量と、待てる学習時間だったと書いています。このネットワークは同じ年の画像認識の競技会で、2 位の誤り率 26.2% に対して 15.3% を記録しました。研究者は GPU 向けの実装を公開し、以後の AI の研究は GPU と CUDA を前提に進みました。
利用者が AI を使うときに、どこの GPU が計算しているかは、使い方で分かれます。ブラウザやアプリから使うクラウドの AI サービスは、事業者のデータセンターにある機器で計算します。利用者の PC の GPU は使わないので、利用者の PC に NVIDIA の GPU は要りません。AI モデルを手元の PC に置いて動かすソフトは、その PC の GPU で計算します。たとえば Ollama は、NVIDIA の GPU では CUDA を、AMD の GPU では ROCm を、Apple の機器では Metal を通して計算します。手元で動かす場合は、ソフトが自分の PC の GPU に対応しているかを確かめます。
06 / Choosing
AI を動かす機器の選び方
AI を動かす機器は、使いたいソフトの動作要件から選びます。先に機器を決めると、使いたいソフトがその GPU に対応していないことがあります。場面ごとに、見る項目と判断を並べます。
ソフトの動作要件に「NVIDIA GPU 必須」「CUDA 対応 GPU が必要」と書かれているときは、NVIDIA の GPU を載せた機器を選びます。AMD や Intel の GPU、Mac では、そのソフトは GPU を使えません。GPU を使わずに CPU だけで動くソフトもありますが、計算は大幅に遅くなります。あわせて、ドライバーのバージョンの条件が書かれていないかを見ます。「GPU 対応」とだけ書かれているときは、対応する GPU のメーカーと製品の一覧を探して、自分の機器が入っているかを確かめます。
Windows か Linux の PC を買うときは、GPU のメーカーを最初に見ます。NVIDIA の GeForce RTX や RTX PRO を載せた PC は、CUDA が動きます。AMD の Radeon を載せた PC では CUDA は動かず、AMD の ROCm に対応したソフトだけが GPU を使えます。ROCm への対応はソフトと OS で分かれます。PyTorch 2.15 のインストール画面では、CUDA は Linux と Windows の両方で選べますが、ROCm は Linux でしか選べません。Radeon を選ぶなら、使いたいソフトが自分の OS で ROCm に対応しているかを、そのソフトの公式の説明で確かめます。
Mac では CUDA は動きません。PyTorch のインストール画面で Mac を選ぶと、CUDA は選べないと表示されます。Mac の GPU を使えるのは、Apple の Metal に対応したソフトです。PyTorch と Ollama は Metal に対応しています。Apple は、Apple シリコン向けの機械学習の土台として MLX を公開しています。Mac で AI を動かすなら、使いたいソフトの動作要件に Apple シリコンか Metal が書かれているかを確かめます。動作要件が NVIDIA の GPU だけを挙げているソフトは、Mac では GPU を使えません。
クラウドで計算用の機器を借りるときは、機器の一覧に書かれた GPU の製品名を見ます。NVIDIA の製品名(H100、L4、T4 など)が書かれた機器では、CUDA 対応のソフトがそのまま動きます。クラウド事業者が自社で設計したチップを載せた機器は、CUDA では動きません。Google の TPU は XLA というコンパイラーを通して、AWS の Trainium は Neuron SDK という専用のソフトを通して使います。どちらも PyTorch などの AI フレームワークから使えるようになっていますが、CUDA 向けに作られた部品を含むソフトは、そのままでは動きません。
使いたいソフトがまだ決まっていないときは、NVIDIA の GPU を選ぶと、動かせるソフトがいちばん多くなります。AI のソフトは CUDA 向けに先に作られ、ほかの GPU への対応は後から加わることが多いためです。次の表にまとめます。
| 場面 | 見る項目 | 判断 |
|---|---|---|
| 動作要件に「NVIDIA GPU 必須」「CUDA 対応」とある | GPU のメーカー、ドライバーのバージョンの条件 | NVIDIA の GPU を載せた機器を選び、ドライバーを条件以上のバージョンにする |
| 動作要件に「GPU 対応」とだけある | 対応する GPU のメーカーと製品の一覧 | 一覧に自分の機器が入っていれば使える。入っていなければ CPU で動くかを確かめる |
| Windows か Linux の PC を買う | GPU のメーカー、使いたいソフトの対応 OS | NVIDIA なら CUDA 対応のソフトが動く。AMD なら、ソフトが自分の OS で ROCm に対応しているかを確かめてから選ぶ |
| Mac で動かす | 動作要件に Apple シリコンか Metal があるか | あれば GPU を使える。NVIDIA の GPU だけを挙げているソフトは GPU を使えない |
| クラウドで借りる | 機器の一覧にある GPU の製品名 | NVIDIA の製品なら CUDA 対応のソフトがそのまま動く。自社チップの機器は、専用のソフトに対応した AI フレームワークから使う |
| 使うソフトが決まっていない | - | NVIDIA の GPU を選ぶと、動かせるソフトがいちばん多い |
GPU のメーカーが決まったら、次に GPU のメモリの量を決めます。動かせる AI モデルの大きさは、メモリの量で決まります。モデルの大きさごとに必要なメモリの量は、講座「ローカル LLM のしくみ」で説明しています。
07 / Ecosystem
NVIDIA が選ばれ続ける理由
AI の計算に NVIDIA の GPU が選ばれ続けているのは、GPU の性能に加えて、CUDA の上に積み上がったソフトの量が大きいためです。NVIDIA は 2006 年から CUDA を提供し続けていて、2026 年 11 月の発表では、1,100 万人を超える開発者が CUDA の上でソフトを作っているとしています。行列の計算、ニューラルネットワーク、データ処理、画像と動画、経路の最適化など、分野ごとのライブラリが NVIDIA から提供されています。
ソフトを作る側から見ると、CUDA 向けに作れば、必要な部品がそろっていて、利用者の数も多くなります。そのため新しい AI のソフトは CUDA 向けに先に作られます。利用する側から見ると、NVIDIA の GPU を買えば、新しいソフトがすぐに動きます。作る側と使う側の両方が NVIDIA を選ぶ理由になり、蓄積がさらに増えます。
CUDA 向けに作ったソフトを、ほかの GPU で動かすには作業が要ります。AMD は、CUDA のコードを AMD の GPU 向けに書き換える HIP という仕組みと、書き換えを自動で行うツールを提供しています。AMD 自身の説明では、HIP は CUDA を完全には置き換えられません。HIP に対応する部品がない CUDA のライブラリは変換できず、NVIDIA の GPU に合わせて速度を調整したコードは、AMD の GPU に合わせて調整し直す必要があります。書き換えた後は、結果が元と同じになるかを検証する作業も要ります。
特定の会社の製品に合わせて作ったために、ほかの会社の製品へ移りにくくなることを、ベンダーロックイン (vendor lock-in) と呼びます。CUDA は NVIDIA の製品で、NVIDIA の GPU でしか動きません。NVIDIA は CUDA Toolkit の使用許諾の中で、CUDA の開発キットで作った出力物を、NVIDIA 以外の機器向けに変換する目的で解析することを禁じています。CUDA の上にソフトを積むほど、GPU の調達先を NVIDIA から変えにくくなります。
自社で AI のシステムを作るときは、CUDA に直接依存する部分をどこまで持つかを決めます。PyTorch などの AI フレームワークの書き方だけで作ったモデルは、フレームワークが対応していれば、ほかの GPU でも動かせます。CUDA のプログラムを自社で書いたり、NVIDIA 専用のライブラリを直接呼び出したりした部分は、GPU を変えるときに書き直しになります。開発を依頼するときは、どの部分が NVIDIA 専用かを、発注先に一覧で出してもらいます。
08 / Limits
CUDA の限界と代わりの選択肢
CUDA には、仕組みから来る限界が 2 つあります。1 つ目に、CUDA は GPU に向かない計算を速くしません。前の結果を使う計算、1 件ごとに手順が変わる処理、件数の少ない計算は、CUDA を使っても CPU より速くなりません。2 つ目に、CUDA は NVIDIA の GPU でしか動きません。機器の価格と納期を NVIDIA の 1 社に頼ることになります。
2 つ目の限界に対しては、ほかの会社が代わりの選択肢を出しています。調査会社の TrendForce は、2026 年に出荷される AI サーバーのうち、GPU を載せたものが約 7 割、クラウド事業者などが自社で設計した専用チップを載せたものが約 27% になると見込んでいます。専用チップの比率は 2023 年以降で最も高くなります。次の表は、2026 年 11 月の時点の主な選択肢です。
| 選択肢 | 提供元と動く機器 | CUDA との関係 | 確かめること |
|---|---|---|---|
| ROCm と HIP | AMD。データセンター向けの Instinct、PC 向けの Radeon と Ryzen AI | CUDA に相当する AMD のソフト一式。HIP で CUDA のコードを書き換えて移す。PyTorch は ROCm に対応している | 使いたいソフトと OS が ROCm に対応しているか。Windows で対応する製品は一部に限られる |
| Metal と MLX | Apple。Apple シリコンを載せた Mac | CUDA とは別の仕組み。PyTorch や Ollama は Metal を通して Mac の GPU を使う。MLX は Apple シリコン向けの機械学習の土台 | 使いたいソフトが Apple シリコンに対応しているか |
| oneAPI と SYCL | Intel。Intel の CPU と GPU。SYCL は業界団体の Khronos が定めた標準 | CUDA とは別の仕組み。Intel は CUDA のコードを SYCL へ移すツールを提供している | 使いたいソフトが oneAPI に対応しているか |
| 自社チップ | Google の TPU、AWS の Trainium など。各社のクラウドで借りる | CUDA では動かない。TPU は XLA、Trainium は Neuron SDK を通して、AI フレームワークから使う | 使いたいモデルとフレームワークが、そのチップ用のソフトに対応しているか |
| SCALE | Spectral Compute。AMD と NVIDIA の GPU | CUDA のコードを、書き換えずに AMD の GPU 向けにも作れる開発ツール | 提供元が開発途上と明記している。自社のコードが使う機能に対応しているか |
| ZLUDA | オープンソース。AMD の Radeon RX 5000 以降 | CUDA 向けのアプリを、書き換えずに NVIDIA 以外の GPU で動かすことを目指すソフト | 作者が、開発中で多くのアプリはまだ動かないと警告している。業務での利用は現時点では見込めない |
どの選択肢を検討できるかは、手元にある CUDA の資産で変わります。これから AI の利用を始め、PyTorch などの AI フレームワークで動く既製のモデルを使うだけなら、フレームワークが対応している機器はすべて候補になります。AMD の GPU、Mac、クラウドの自社チップを、価格と入手のしやすさで比べられます。CUDA のプログラムを自社で持っている場合や、NVIDIA 専用のライブラリに依存するソフトを使っている場合は、書き換えと検証の費用を見積もってから比べます。
学習と推論でも事情が違います。新しいモデルの学習は、最新の手法を実装したソフトが CUDA 向けに先に出るので、NVIDIA の GPU を使う理由が強く残ります。推論は、動かすモデルが決まっていて、同じ計算を繰り返します。対応するソフトがそろっていれば、NVIDIA 以外の機器に移しやすい作業です。
09 / Exercises
練習問題
業務の場面を読んで、答えを選びましょう。答えを選ぶと解説が表示されます。
10 / Review
確認問題
答えを選び、解説で理由も確かめましょう。
選択肢を1つ選んでください。
Summary
まとめ
- CPU は少数のスレッドを速く進め、GPU は数千本のスレッドを同時に進めます。GPU に向くのは、同じ計算を大量のデータに行い、互いの結果を待たない仕事です。AI の計算はこれに当たります。
- CUDA は、NVIDIA の GPU に一般の計算をさせるための NVIDIA 製のソフトウェア一式で、ドライバー、CUDA Toolkit、ライブラリが重なってできています。AI フレームワークとアプリは、その上に載っています。
- CUDA のプログラムは、カーネルを多数のスレッドで同時に実行させます。スレッドは番号で担当するデータを決め、スレッドブロックにまとまって SM に配られます。実行の順番に頼らないので、同じプログラムが規模の違う GPU で動きます。
- 「CUDA 対応」は、そのソフトが NVIDIA の GPU に計算させるという意味です。機器はソフトの動作要件から選び、GPU のメーカーとドライバーのバージョンを確かめます。Mac と AMD の GPU では、ソフトが Metal や ROCm に対応しているかを確かめます。
- NVIDIA が選ばれ続けるのは、2006 年からのライブラリとソフトの蓄積のためです。CUDA に直接依存する部分が多いほど、ほかの GPU へ移る費用が増えます。
- CUDA は NVIDIA の GPU でしか動きません。代わりの選択肢を検討できるかは、手元の CUDA の資産と、学習か推論かで変わります。
参考資料
- NVIDIA: CUDA Programming Guide v13.5 (2026-10)
- NVIDIA Developer Blog: NVIDIA CUDA 13.5 (2026-11)
- NVIDIA Blog: CUDA at 20 (2026-11)
- NVIDIA: CUDA Toolkit Archive
- NVIDIA: CUDA GPU Compute Capability
- NVIDIA: CUDA-X
- NVIDIA: License Agreement for NVIDIA Software Development Kits (2026-01)
- Krizhevsky, Sutskever, Hinton: ImageNet Classification with Deep Convolutional Neural Networks (2012)
- PyTorch: Get Started
- PyTorch: torch.cuda
- PyTorch: MPS backend
- Ollama: Hardware support
- AMD: What is ROCm? (ROCm 10.2.0)
- AMD: HIPIFY documentation
- Apple: MLX
- Khronos Group: SYCL
- Google Cloud: Introduction to Cloud TPU (2026-11)
- AWS: AWS Trainium
- Spectral Compute: SCALE documentation (1.7.5)
- ZLUDA
- TrendForce: AI server shipment forecast (2026-04)
- NVIDIA: Musashi Seimitsu solution showcase
- NVIDIA: Tesla GPUs Used by J.P. Morgan (2011-08)
- NVIDIA: AI-Accelerated Retail Forecasting (Walmart)
- NVIDIA Blog: Japan ecosystem (2026-07)
- NVIDIA: Kawasaki Heavy Industries case study
- NVIDIA: Astellas customer story