GPUを 最大7つに 分割 SageMakerで 1台に 複数モデルを 載せる 機能
SageMaker AIが、NVIDIAのMIGを使ったGPU分割に対応しました。1枚のGPUを最大7つの区画に分けて、モデルごとに隔離して動かせます。推論コンポーネントを使うエンドポイントが対象で、料金はまだ発表されていません。
TOPIC
SageMaker AI に関連するAI・テクノロジーの話題を、公式発表などをもとに要点・数字・注意点まで日本語でまとめた記事が 1 本あります。