最新ゆうちょ銀行、従業員に株式給付制度を導入 12月1日に約290万株を処分
速報AI・テクノロジーAmazon(AWS)

BedrockでKimi K3.1 Pro Highspeed提供 出力速度はProの2〜3倍

AWS 公式発表公開 読了 4分

Bedrockに「Kimi K3.1 Pro Highspeed」が登場し、出力速度はK3.1 Proの2〜3倍とMoonshot AIが説明

  • 「Kimi K3」と同じエンドポイント・APIで、モデルIDの変更だけで試せる
  • Flex層は標準価格の半額で、プロンプトキャッシュは256トークン以上の固定部分が対象

すぐにできること

  1. Kimi K3を使っているなら、テスト環境でモデルIDをglobal.moonshotai.kimi-k3.1に変えて速度を測る
  2. 速さより費用を優先する処理は、service_tierにflexを指定して少量から試す
  3. 簡単な処理は、reasoning_effortをlowにして遅延と出力トークンを減らす
手順と公式の窓口を見る
BedrockでKimi K3.1 Pro Highspeed提供 出力速度はProの2〜3倍

画像:AWS(公式発表より)

なるほど

推論の度合いを下げると、速く安くなる

公式ページで確かめた、知っておくと役立つこと

  • 推論の度合いは未設定だとmaxになります。簡単な処理ではlow・highに下げると、遅延と出力トークンを減らせます。
    出典・aws.amazon.com
  • Flex層は標準価格の半額ですが、利用枠はStandard・Priority・Flexの3つの層で共有されます。層ごとの利用量はCloudWatchのServiceTierで見られます。
    出典・aws.amazon.com
  • globalのプロファイルは、地域指定のものより1トークンあたりの料金が安いと書かれています。データを米国内かインド国内に限る必要があるときだけ、usかinを選びます。
    出典・aws.amazon.com

この話題の全体像:ChatGPT Workで何が変わるのか 全自動化からデータ分析・オフィス統合まで全機能まとめ

要約版:専門用語を控えて説明しています

使い始めるには

「Kimi K3」をすでに使っている開発者は、プログラム内のモデルIDを書き換えるだけで試せます。コードを書かずに試したい場合は、Bedrockの管理画面にある試用の場で選べます。

コストを抑える方法

公式ヘルプの手順を確認してください(AWS Machine Learning Blogの案内)。料金は標準の半額ですが、応答が遅くなることがあります。

同じ指示文の前半を何度も送る場合は、キャッシュ機能で時間と入力コストを減らせます。価格の詳細はBedrockの料金ページで確認できます。

AWSのブログによると、「Kimi K3.1 Pro Highspeed」はAmazon Bedrock(AWSの生成AI基盤)で使えます。対応リージョンはモデルカードとリージョン別提供状況のページで確認できます。

「Kimi K3」を使っている開発者は、既存のコードのモデルIDを変更して試せます。

「Kimi K3.1 Pro Highspeed」は、Moonshot AIが公開したK3.1シリーズの一つです。企業や開発者がアプリに組み込んで使うAIモデルです。

Kimi K3から後学習を追加し、Proより出力を高速化

AWSの発表によると、このモデルはKimi K3に追加の学習(後学習)を加えたものです。構造は、約3兆パラメーター級のオープンウェイト(重みを公開したモデル)で、100万トークンの文脈を扱えます。

Moonshot AIは、追加の後学習で長い作業をこなすエージェント型の処理と、事実の誤りの少なさを狙ったと説明しています。財務モデルの作成や業務文書、ゲームエンジン・3Dシーン・CADスクリプトのコーディングも改善したとしています。

Highspeed版は、出力トークン(AIが生成する文章などの単位)を作る速さが上がっています。Moonshot AIによると、Kimi K3.1 Proの2〜3倍です。

ツール呼び出し、構造化出力、推論の度合いの設定、画像入力、ストリーミングに対応します。

Kimi K3利用者はモデルIDを変更して試せる

エンドポイントとAPIはKimi K3と同じです。コードを書かずに試すなら、Bedrockコンソールの「Test」から「Playground」を開き、「Kimi K3.1」を選びます。

コードからは、bedrock-runtimeエンドポイントで次のAPIが使えます。AWSはChat Completionsを推奨しています。

  • OpenAI互換のChat CompletionsとResponses
  • Amazon BedrockのConverseとInvoke

モデルへは、クロスリージョン推論プロファイルで接続します。

  • global.moonshotai.kimi-k3.1:対応する商用リージョンのどこかで処理します。地域指定のものより1トークンあたりの料金が安く、多くの用途で推奨されています。
  • us.moonshotai.kimi-k3.1:処理を米国内のリージョンに限ります。
  • in.moonshotai.kimi-k3.1:処理をインド国内に限ります。

インド限定の設定は、サイソクが以前に報じたKimi K3のインド国内推論と同じ仕組みです。

推論の度合いは、low・high・maxから選びます。未設定ではmaxになるため、簡単な処理では下げると遅延と出力トークンを減らせます。

Flex層は標準価格の半額、明示的キャッシュは256トークンから

Flex層は標準価格の半額で、応答が遅くなる可能性があります。モデルの評価、要約、エージェントの裏の処理のように、速さより費用を優先する作業に向きます。リクエストごとに層を選べるため、急ぐ処理にPriority、普段の処理にStandard、費用重視の処理にFlexと使い分けられます。オンデマンドの利用枠は3つの層で共有します。

使うには、service_tierにflexを指定します。Converse APIでは、serviceTierに{"type": "flex"}を指定します。層ごとの利用量は、Amazon CloudWatchのServiceTierとResolvedServiceTierで見られます。AWSは、少量のトラフィックをFlexに回して遅延と費用を比べてから、割合を増やすよう勧めています。

エージェントや開発支援ツールは、システム指示やツール定義のような同じ前半部分を毎回送ります。このモデルは繰り返しの前半部分を自動でキャッシュし、明示的なキャッシュ指定でヒット率を高められます。明示的なキャッシュの条件は次のとおりです。

  • Chat Completions、Responses、Invokeで使え、Converseでは使えません
  • 区切りのprompt_cache_breakpointは、256トークン以上の固定内容の後に置きます
  • キャッシュは少なくとも30分間保持されます
  • 書き込みは通常の入力より高く、読み出しは割引料金で課金されます
  • 読み出しは、毎分の入力トークン枠に数えられません

データは学習に使われず、Moonshot AIにも渡らない

AWSによると、データはAWSのデータ境界内で処理され、Moonshot AIには共有されず、モデルの学習にも使われません。推論リクエストではゼロデータ保持が常に有効です。ゼロオペレーターアクセスにより、AWSの運用担当者も推論中のプロンプトと応答を見られません。

OpenCodeに接続してコーディングに使う

OpenCodeは、ターミナルで動くオープンソースのコーディングエージェントです。Bedrockのチャット補完API経由で、このモデルをつなげられます。Bedrockコンソールの「API keys」で鍵を作り、設定ファイルにプロバイダーを書きます。

短期の鍵は最長12時間有効で、作成したリージョンでのみ動き、本番用に推奨されています。長期の鍵は試用向けです。

AWSは、速度がエージェント型コーディングで特に効くと説明しています。エージェントは、ファイルの読み込み、変更計画、編集、テスト、修正を何度も繰り返し、各呼び出しが終わるまで次に進めません。出力が速ければ、その1回1回が短くなります。

出力速度が2〜3倍という数値は、Moonshot AIによる説明です。自社の作業で測ってから切り替えることもできます。

判断ガイドFlexやリージョンの選び方の目安3つの迷いに、状況ごとのおすすめと理由開く

判断ガイド

Flexやリージョンの選び方の目安

状況ごとのおすすめと理由です。どれを選ぶかは、ご自身の状況で決めてください。

Kimi K3から切り替えるべき?

状況
Kimi K3を使っている
おすすめ
急がず、テストで速度を比べてから決める
理由
モデルIDを変えるだけで試せます。速さは2〜3倍とMoonshot AIが報告していますが、自分の処理での数字は別途測る必要があります。
出どころ
出典・aws.amazon.com

Flexの層を使うべき?

状況
急がない評価や要約の処理がある
おすすめ
少量から試す価値がある
理由
Flexは標準価格の半額ですが、応答が遅くなる可能性があります。少量から始め、遅延と費用を比べてから増やすとAWSは勧めています。
出どころ
出典・aws.amazon.com

データの所在地でプロファイルを選ぶ?

状況
データを国内に限る必要がある
おすすめ
usかinを選ぶ
理由
usは米国内のリージョン、inはインド国内のリージョンに処理を限ります。globalは安く多くの用途で推奨ですが、対応する商用リージョンのどこかで処理されます。
出どころ
出典・aws.amazon.com

不安Q&A

データや速さ、本当に大丈夫?

既存のKimi K3の処理は、変えると何が起きますか?

エンドポイントとAPIはKimi K3と同じで、モデルIDを変えるだけで試せます。ツール呼び出しや構造化出力、画像入力なども同じ機能として挙げられています。

出典・aws.amazon.com

今できることテスト環境で既存コードのモデルIDを変え、同じ入力で応答を確認する。

送ったデータは学習に使われて外に出ませんか?

データはAWSのデータ境界内で処理され、Moonshot AIには共有されず、モデルの学習にも使われないと書かれています。推論ではゼロデータ保持が常に有効です。

出典・aws.amazon.com

今できること社外に出せない内容を扱う場合は、このページの説明と社内の規定を照らし合わせてから使う。

Flexにすると、応答が遅くなりすぎませんか?

Flexは標準価格の半額ですが、応答が遅くなる可能性があります。評価や要約など、速さより費用を優先する作業に向くとされています。

出典・aws.amazon.com

今できること全体の一部だけFlexに回し、CloudWatchで遅延と費用を比べてから増やす。

速度は本当に2〜3倍になりますか?

2〜3倍という数字は、Moonshot AIが報告している速さです。

出典・aws.amazon.com

今できること自社の実際の処理で応答時間を測ってから、切り替えを決める。

Kimi K3.1 Pro HighspeedはAmazon Bedrockのどの画面で試せる?

コンソールの「Test」から「Playground」を開き、「Kimi K3.1」を選べば、コードを書かずに試せます。コードから使う場合は、bedrock-runtimeエンドポイントを利用します。

Kimi K3.1 Pro Highspeedを呼び出すIAMの権限は何が必要?

対象の推論プロファイルに対し、bedrock:InvokeModelとbedrock:InvokeModelWithResponseStreamが必要です。ベアラートークンで認証するなら、bedrock:CallWithBearerTokenも追加します。

OpenCodeで使うBedrockのAPIキーはどれを選ぶ?

短期キーは最長12時間有効で、作成したリージョンでのみ動き、本番用に推奨されています。長期キーは試用向けとされています。

料金と対応リージョンはAWSの案内で確認

  • 料金の具体額はAmazon Bedrockの料金ページで確認できます。この発表には示されていません。
  • 対応リージョンはモデルカードとリージョン別提供状況のページで確認できます。
  • この発表には、日本語の性能に関する説明はありません。
AWSの発表を読む

よく読まれている記事

  1. ライズ・ロッキー・レックス計17万6,683台がリコール 発電機のプーリを交換
  2. Microsoft 365の障害続く、13日11時半も完全復旧せず
  3. MS&AD保険各社で最大44.4万件の情報漏えい 対象の確かめ方と窓口
  4. ロート製薬の目薬6製品36ロット回収 対象は店頭の在庫、買った人への案内なし
  5. 12月の児童手当は10月分・11月分の2か月分
なぜ起きた?新しいモデルが出た背景公式ページが書く原因・背景開く

背景

新しいモデルが出た背景

新しいモデルの提供の案内です。Kimi K3に追加の後学習を加えたもので、長い作業をこなすエージェント処理と、事実の誤りを減らすことを狙ったと、Moonshot AIが説明しています。

出典・aws.amazon.com
手順と公式窓口上の「すぐにできること」の手順と、困ったときの連絡先SMSやメールの連絡先ではなく、公式の窓口を使ってください開く

すぐにできること

まずはモデルIDを変えて試してみる

  1. 1

    Kimi K3を使っているなら、テスト環境でモデルIDをglobal.moonshotai.kimi-k3.1に変えて速度を測る

    1. 1-1既存コードのmodel IDを変更する
    2. 1-2同じ入力のリクエストを送り、応答時間を測る
    公式ページを開く docs.aws.amazon.com
  2. 2

    速さより費用を優先する処理は、service_tierにflexを指定して少量から試す

    1. 2-1リクエストにservice_tier=flexを指定する
    2. 2-2CloudWatchでServiceTierを見て利用量を確認する
    3. 2-3遅延と費用を比べてから割合を増やす
    公式ページを開く docs.aws.amazon.com
  3. 3

    簡単な処理は、reasoning_effortをlowにして遅延と出力トークンを減らす

    1. 3-1reasoning_effortにlowを指定する
    2. 3-2high・maxの応答時間と比べる

公式窓口

確かめるならどこを見ればいい?

SMSやメールに書かれた連絡先ではなく、ここにある公式の窓口を使ってください。

Amazon Bedrock コンソール

コードを書かずに試せます。Playgroundで Kimi K3.1 を選びます。

  1. 1Amazon Bedrock console
  2. 2Test
  3. 3Playground
  4. 4Kimi K3.1
辿り方(公式ページの表示の言葉。サイソクが作った図です)
公式ページを開く(console.aws.amazon.com)

Amazon Bedrock 料金

料金の具体額は、料金ページで確認する形になっています。

公式ページを開く(aws.amazon.com)

Amazon Bedrock リージョン別提供状況

対応リージョンは、このページでモデルごとに確認します。

公式ページを開く(docs.aws.amazon.com)

使う人への影響

影響:一部の人
  • AIエージェントやコーディング支援を自社で組む開発者は、待ち時間の短縮を検証できます。
  • Flex層は標準価格の半額で、評価や要約などの急がない処理のコスト削減に向きます。
  • まず一部のトラフィックをFlexに移し、遅延と費用を比べてから広げるのが公式の推奨です。

発表内容をもとにした一般的な情報です。導入や契約の判断は、公式情報を確かめたうえでご自身で行ってください。

今すぐ使える

サイソクの判定

Kimi K3を使っているなら、モデルIDを変えて速度とコストを小さな割合のトラフィックで比べるとよいでしょう。

料金
API従量課金
主な対象
開発者

11/11時点の判定。発表内容をもとにAIで判定しています。最新の提供状況は公式情報をご確認ください。

出典を見る(1件)

・確認方法・更新履歴
出典(公式)
AWS Machine Learning Blog「Introducing Kimi K3.1 Pro on Amazon Bedrock」
日時
公式発表 サイソク掲載
確認方法
公開前に、本文を出典と自動で照合しています(事実確認 85点/100点、70点未満は非公開)。制作と確認の方法
誤りの報告
お問い合わせから受け付けています。直した記事は訂正履歴に残します。

この記事をシェアする

NEWSLETTER

毎朝7時、暮らしとお金のニュースの要点を5本

前日に出た記事から、給付・税・料金・値上げなど暮らしとお金に関わる話を中心に選び、1本2行でまとめてメールで届けます。無料・いつでも解除できます。

確認メールのリンクを開いた時点で登録完了です。アドレスは配信にだけ使います(プライバシーポリシー)。 配信の内容

大きな速報を、通知ですぐに

主要企業の大きな発表だけ、1日4回まで。夜22時〜朝7時は鳴らしません。いつでも解除できます。

本記事は公式発表の文章をもとにAIが要約・解説して自動生成したものです。誤りが含まれる可能性があるため、正確な仕様・料金は公式発表をご確認ください。元記事を読む制作方法と事実確認の手順は編集方針をご覧ください。誤りのご指摘はお問い合わせから受け付けています。