AWSのブログによると、「Kimi K3.1 Pro Highspeed」はAmazon Bedrock(AWSの生成AI基盤)で使えます。対応リージョンはモデルカードとリージョン別提供状況のページで確認できます。
「Kimi K3」を使っている開発者は、既存のコードのモデルIDを変更して試せます。
「Kimi K3.1 Pro Highspeed」は、Moonshot AIが公開したK3.1シリーズの一つです。企業や開発者がアプリに組み込んで使うAIモデルです。
Kimi K3から後学習を追加し、Proより出力を高速化
AWSの発表によると、このモデルはKimi K3に追加の学習(後学習)を加えたものです。構造は、約3兆パラメーター級のオープンウェイト(重みを公開したモデル)で、100万トークンの文脈を扱えます。
Moonshot AIは、追加の後学習で長い作業をこなすエージェント型の処理と、事実の誤りの少なさを狙ったと説明しています。財務モデルの作成や業務文書、ゲームエンジン・3Dシーン・CADスクリプトのコーディングも改善したとしています。
Highspeed版は、出力トークン(AIが生成する文章などの単位)を作る速さが上がっています。Moonshot AIによると、Kimi K3.1 Proの2〜3倍です。
ツール呼び出し、構造化出力、推論の度合いの設定、画像入力、ストリーミングに対応します。
Kimi K3利用者はモデルIDを変更して試せる
エンドポイントとAPIはKimi K3と同じです。コードを書かずに試すなら、Bedrockコンソールの「Test」から「Playground」を開き、「Kimi K3.1」を選びます。
コードからは、bedrock-runtimeエンドポイントで次のAPIが使えます。AWSはChat Completionsを推奨しています。
- OpenAI互換のChat CompletionsとResponses
- Amazon BedrockのConverseとInvoke
モデルへは、クロスリージョン推論プロファイルで接続します。
- global.moonshotai.kimi-k3.1:対応する商用リージョンのどこかで処理します。地域指定のものより1トークンあたりの料金が安く、多くの用途で推奨されています。
- us.moonshotai.kimi-k3.1:処理を米国内のリージョンに限ります。
- in.moonshotai.kimi-k3.1:処理をインド国内に限ります。
インド限定の設定は、サイソクが以前に報じたKimi K3のインド国内推論と同じ仕組みです。
推論の度合いは、low・high・maxから選びます。未設定ではmaxになるため、簡単な処理では下げると遅延と出力トークンを減らせます。
Flex層は標準価格の半額、明示的キャッシュは256トークンから
Flex層は標準価格の半額で、応答が遅くなる可能性があります。モデルの評価、要約、エージェントの裏の処理のように、速さより費用を優先する作業に向きます。リクエストごとに層を選べるため、急ぐ処理にPriority、普段の処理にStandard、費用重視の処理にFlexと使い分けられます。オンデマンドの利用枠は3つの層で共有します。
使うには、service_tierにflexを指定します。Converse APIでは、serviceTierに{"type": "flex"}を指定します。層ごとの利用量は、Amazon CloudWatchのServiceTierとResolvedServiceTierで見られます。AWSは、少量のトラフィックをFlexに回して遅延と費用を比べてから、割合を増やすよう勧めています。
エージェントや開発支援ツールは、システム指示やツール定義のような同じ前半部分を毎回送ります。このモデルは繰り返しの前半部分を自動でキャッシュし、明示的なキャッシュ指定でヒット率を高められます。明示的なキャッシュの条件は次のとおりです。
- Chat Completions、Responses、Invokeで使え、Converseでは使えません
- 区切りのprompt_cache_breakpointは、256トークン以上の固定内容の後に置きます
- キャッシュは少なくとも30分間保持されます
- 書き込みは通常の入力より高く、読み出しは割引料金で課金されます
- 読み出しは、毎分の入力トークン枠に数えられません
データは学習に使われず、Moonshot AIにも渡らない
AWSによると、データはAWSのデータ境界内で処理され、Moonshot AIには共有されず、モデルの学習にも使われません。推論リクエストではゼロデータ保持が常に有効です。ゼロオペレーターアクセスにより、AWSの運用担当者も推論中のプロンプトと応答を見られません。
OpenCodeに接続してコーディングに使う
OpenCodeは、ターミナルで動くオープンソースのコーディングエージェントです。Bedrockのチャット補完API経由で、このモデルをつなげられます。Bedrockコンソールの「API keys」で鍵を作り、設定ファイルにプロバイダーを書きます。
短期の鍵は最長12時間有効で、作成したリージョンでのみ動き、本番用に推奨されています。長期の鍵は試用向けです。
AWSは、速度がエージェント型コーディングで特に効くと説明しています。エージェントは、ファイルの読み込み、変更計画、編集、テスト、修正を何度も繰り返し、各呼び出しが終わるまで次に進めません。出力が速ければ、その1回1回が短くなります。
出力速度が2〜3倍という数値は、Moonshot AIによる説明です。自社の作業で測ってから切り替えることもできます。
判断ガイドFlexやリージョンの選び方の目安3つの迷いに、状況ごとのおすすめと理由開く閉じる
判断ガイド
Flexやリージョンの選び方の目安
状況ごとのおすすめと理由です。どれを選ぶかは、ご自身の状況で決めてください。
Kimi K3から切り替えるべき?
- 状況
- Kimi K3を使っている
- おすすめ
- 急がず、テストで速度を比べてから決める
- 理由
- モデルIDを変えるだけで試せます。速さは2〜3倍とMoonshot AIが報告していますが、自分の処理での数字は別途測る必要があります。
- 出どころ
- 出典・aws.amazon.com
Flexの層を使うべき?
- 状況
- 急がない評価や要約の処理がある
- おすすめ
- 少量から試す価値がある
- 理由
- Flexは標準価格の半額ですが、応答が遅くなる可能性があります。少量から始め、遅延と費用を比べてから増やすとAWSは勧めています。
- 出どころ
- 出典・aws.amazon.com
データの所在地でプロファイルを選ぶ?
- 状況
- データを国内に限る必要がある
- おすすめ
- usかinを選ぶ
- 理由
- usは米国内のリージョン、inはインド国内のリージョンに処理を限ります。globalは安く多くの用途で推奨ですが、対応する商用リージョンのどこかで処理されます。
- 出どころ
- 出典・aws.amazon.com
不安Q&A
データや速さ、本当に大丈夫?
Q既存のKimi K3の処理は、変えると何が起きますか?▾
エンドポイントとAPIはKimi K3と同じで、モデルIDを変えるだけで試せます。ツール呼び出しや構造化出力、画像入力なども同じ機能として挙げられています。
出典・aws.amazon.com今できることテスト環境で既存コードのモデルIDを変え、同じ入力で応答を確認する。
Q送ったデータは学習に使われて外に出ませんか?▾
データはAWSのデータ境界内で処理され、Moonshot AIには共有されず、モデルの学習にも使われないと書かれています。推論ではゼロデータ保持が常に有効です。
出典・aws.amazon.com今できること社外に出せない内容を扱う場合は、このページの説明と社内の規定を照らし合わせてから使う。
QFlexにすると、応答が遅くなりすぎませんか?▾
Flexは標準価格の半額ですが、応答が遅くなる可能性があります。評価や要約など、速さより費用を優先する作業に向くとされています。
出典・aws.amazon.com今できること全体の一部だけFlexに回し、CloudWatchで遅延と費用を比べてから増やす。
Q速度は本当に2〜3倍になりますか?▾
2〜3倍という数字は、Moonshot AIが報告している速さです。
出典・aws.amazon.com今できること自社の実際の処理で応答時間を測ってから、切り替えを決める。
QKimi K3.1 Pro HighspeedはAmazon Bedrockのどの画面で試せる?▾
コンソールの「Test」から「Playground」を開き、「Kimi K3.1」を選べば、コードを書かずに試せます。コードから使う場合は、bedrock-runtimeエンドポイントを利用します。
QKimi K3.1 Pro Highspeedを呼び出すIAMの権限は何が必要?▾
対象の推論プロファイルに対し、bedrock:InvokeModelとbedrock:InvokeModelWithResponseStreamが必要です。ベアラートークンで認証するなら、bedrock:CallWithBearerTokenも追加します。
QOpenCodeで使うBedrockのAPIキーはどれを選ぶ?▾
短期キーは最長12時間有効で、作成したリージョンでのみ動き、本番用に推奨されています。長期キーは試用向けとされています。