要約版:専門用語を控えて説明しています
何を作ったのか
視聴者は「金曜の夜だから、何か驚かせて」のように話しかけて、映画や番組を探せます。クリケットの過去のハイライトや、試合中の場面、統計も探せます。
対応は15言語超です。JioStarは5億人超が使うサービスを運営しており、利用者の6割超は文字より声を使うそうです。
本番で大事にしたこと
最高アーキテクトのVijay Seshadri氏は、「精度」「応答の速さ」「コスト」の3つを同時に釣り合わせる必要があったと話しました。
また、最初に「答えさせない範囲」を決めました。そのうえで、評価用のデータを作り、AIの答えを別のAIにチェックさせる仕組みを使っています。
経営者へのメッセージ
同氏は、AIの出力量ではなく成果を見るべきだと述べました。強いエンジニアにCodexのような道具を渡せば効果は大きくなりますが、検証する判断力がなければ危険も大きくなる、という考えです。
この記事は企業の事例紹介で、日本の個人利用者の料金や手続きが変わる話ではありません。AIを試作から本番へ移す立場の人、特にサービス開発やDX(業務のデジタル化)の担当者に関係します。
JioStarはインドで動画配信やライブスポーツの配信を運営する企業です。OpenAIの公式ブログによると、同社のサービスは5億人超が使っています。最大で7,250万人がライブスポーツを同時に視聴した実績もあります。
声で探す検索を、約8週間で15言語超に
JioStarはOpenAI API(開発者がアプリからAIを呼び出す仕組み)を使い、JioHotstarに対話型の検索機能を組み込みました。映画や番組、過去のハイライト、試合中の場面、クリケットの統計を、話しかけて探せます。結果は画面に視覚的に表示されます。
最高アーキテクトのVijay Seshadri氏は、これを「voice-visual interface(声と画面を組み合わせた操作)」と呼びます。発想の出発点は、「気分が落ち込んでいる。元気が出るものを見せて」のような頼み方です。従来のおすすめ機能では、この微妙な気持ちを読み取りにくいと同氏は説明しています。
開発は10月から11月にかけて構想が始まり、2月の大きなクリケット大会に間に合わせる必要がありました。期間は約2か月です。対象は娯楽の視聴者とクリケットファンの2種類で、後者には1球ごとの統計を求める専門家もいます。
精度・速さ・コストを同時に釣り合わせる
設計の軸は、精度、応答の速さ、コストの3つのバランスでした。利用者の60%超が文字でなく声を使うため、答えは適切で、速く、大規模でも採算が合う必要があります。
同氏は成功のカギとして「evals, evals, and evals」を挙げました。evalとは、AIの答えの質を測る評価のことです。初めて作る人は、準備したつもりでも重要性を見誤りやすいと述べています。
評価は2層で考えるそうです。1つは本番前の評価の枠組み、もう1つは本番での検証の層です。本番では、利用者の行動や失敗を新しい評価ケースに戻す循環を作ります。
スポーツ統計の評価では、スポーツ雑誌の編集者のような専門家と組みました。プロンプト(AIへの指示文)だけで始めるのではなく、人の専門知識を最初に仕込む必要がある、という考えです。
小さなチームが先にやったこと
体制は、データサイエンティストとエンジニアの小さなチームです。OpenAIのフォワードデプロイドエンジニア(顧客先で一緒に開発する技術者)も加わりました。
最初に決めたのは範囲です。声や文字では何でも聞けてしまうため、まず答えない内容を決め、ガードレールを先に作りました。
評価データは、種になるデータを用意し、モデルで言い回しを増やしました。さらに、答えを考えるモデルと、それを検証するモデルを分けています。検証側は別の目的を持たせた「LLM as judge(AIによる採点役)」です。
ただし、その採点役を誰が試すのかという問題が生まれます。検証役の設計自体が評価の課題だったと同氏は述べています。Codexは評価ケースの生成やシステム更新を速めましたが、判断と検証が不要になったわけではないとのことです。
不安Q&A
誤答や速さ、コストは大丈夫?
QAIが変なことを答えないようにするには?▾
JioStarはまず、音声や文字で何でも聞けてしまうため、答えない内容を決め、ガードレールを先に作りました。評価には種になるデータを用意し、本番では利用者の行動や失敗を新しい評価ケースに戻す循環を作ったとされています。
出典・openai.com今できることAI機能で答えさせない範囲を書き出し、チームで確認してから作り始める。
QAIの答えが正しいか、どうやって確かめるの?▾
同社は評価(evals)を最重要だと挙げ、初めて作る人は重要性を過小評価しがちだと述べています。本番前の評価の枠組みと、本番での検証の層の2つで考えるとされています。
出典・openai.com今できることAIの答えを評価するための質問と理想の答えを集め、本番で失敗した例も後から評価に加えていく。
QAIを導入すると、速さや費用はどうなる?▾
設計では精度、応答の速さ、コストの3つを同時に釣り合わせる必要があったと説明されています。利用者の60%超が声で使うため、答えは適切で速く、大規模でも採算が合うことが求められたとされています。
出典・openai.com今できること導入前に、精度・速さ・コストのうちどれを優先するかを、チームで話し合って決めておく。
QAIを本番で動かしたあと、何を見ればいい?▾
振り返りでは、モデルの有効性を本番で監視する仕組みに早く投資したかったと述べています。P99の応答時間のような従来の指標だけでは足りず、AIの効き目も見る必要があるとされています。
出典・openai.com今できること応答の速さだけでなく、AIの答えの質も定期的に確かめる仕組みを、担当者を決めて作る。
QJioHotstarのAI検索は何言語に対応している?▾
15言語超に対応しています。
QJioStarのAI開発でCodexはどう使われた?▾
評価ケースの生成やシステムの更新といった作業を加速させました。ただし検証と判断は人が担い、不要にはならなかったと説明されています。
振り返りと経営層への3つの助言
やり直せるなら、モデルの有効性を本番で監視する仕組みに早く投資すると同氏は話しました。P99の応答時間(遅い側1%を除いた応答の速さ)のような従来の指標だけでは足りないためです。
経営層への助言は3点です。
- 技術でできることと企業の現実には大きな差があり、最新モデルの発表に追いつけなくても珍しくない
- 活動量でなく成果を見る。生成したコードの行数では価値は測れない
- 人の技能と裁量を過小評価しない。一般的な研修だけでは足りず、判断力のある人に道具を渡す
同氏はAIを「massive simplification hammer(業務を大きく単純化する道具)」とも呼び、業務やシステムの簡素化に使わなければ機会の損失になると述べました。
編集部の見方では、今回の事例は機能の派手さより、評価と検証を先に設計した点に特徴があります。
日本から使えるもの
OpenAI APIとChatGPTは日本で使えます(当サイトの確認:11/3)。Codexは無料版を含むChatGPTの各プランに含まれ、無料版には使用量の上限があります。Codex Cloudは、FreeとGoには含まれません(当サイトのCodexガイド、11/9確認)。
JioHotstarの今回の機能が日本で提供されるかは、まだ発表されていません。