SageMaker AIのエンドポイントで複数のモデルを動かしている人は、GPUを1枚ずつ割り当てなくても済むようになります。使わなければ今までどおり動くため、既存の設定を変える必要はありません。
これまでは、モデルが増えるとGPUを丸ごと1枚ずつ使うか、ほかの方法を選ぶかになりがちでした。
AWSは、3つの方法を挙げています。
- 大きなエンドポイントにまとめて処理を詰め込む方法
- 必要なときだけモデルを読み込むマルチモデルエンドポイント
- Kubernetesを自分で運用してMIGを使う方法
マルチモデルはモデル同士の隔離がなく、1つの重い処理がほかに響きます。Kubernetesは、ドライバーや区画の設定、スケジューリングを自分で管理する手間がかかります。
今回の機能は、NVIDIAのMIGをSageMaker AIで使えるようにしたものです。MIG（Multi-Instance GPU）は、1枚のGPUをハードウェアで独立した区画に分ける仕組みです。各区画には、計算能力の決まった割合と専用のメモリが割り当てられます。
同じ推論の効率化では、10月末にGoogleも新機能を出していました（Googleが「GKE Inference Gateway」を発表）。AWSの発表では、次の点が挙げられています。
- 応答時間が安定する: 1つのモデルの負荷が増えても、ほかのモデルの応答時間（p99。遅いほうから1%の応答時間）に響きにくい
- 障害が広がらない: 1つの区画でクラッシュやメモリエラーが起きても、同じGPUのほかのモデルは巻き込まれにくい
- 読み込み待ちがない: 各モデルは自分の区画に載ったままになり、呼び出しのたびに読み込み直す必要がない
機種ごとに分けられる単位
分け方は、GPUの種類で決まります。AWSの対応表では、次のとおりです。
- P4d（NVIDIA A100・40GB）: 最大7区画。mig-1g.5gbからmig-7g.40gbまで
- P5（NVIDIA H100・80GB）: 最大7区画。mig-1g.10gbからmig-7g.80gbまで
- G7（NVIDIA RTX PRO 4500 Blackwell・32GB）: 最大2区画
- G7e（NVIDIA RTX PRO 6000 Blackwell Server Edition・96GB）: 最大4区画
名前の見方は、mig-3g.40gbなら計算単位3つと40GBです。3gの区画は計算単位を3つ、メモリを8分の4使うため、2つ作るとGPUが埋まります。P4dのmig-3g.20gbも同じ考え方です。
機種が違うと名前が同じでも構成が変わるため、ほかの機種の構成をそのまま持ち込まないよう注意が必要です。
例として、ml.p4d.24xlargeを挙げます。これはA100を8枚搭載したインスタンスです。mig-4g.20gb、mig-2g.10gb、mig-1g.5gbを組み合わせると、1枚のA100に3つの区画ができます。
8枚で合計24区画になり、内訳は次のとおりです。
- mig-4g.20gb: 8区画
- mig-2g.10gb: 8区画
- mig-1g.5gb: 8区画
