今の原稿の数値

Unityでゲームを作る開発者は、ElevenLabsの音声エージェントを使い、キャラクターとプレイヤーが声で会話する場面を作れるようになりました。

Unityを使わない人や、ゲームを作らない人の環境は変わりません。

「ElevenAgents Unity SDK」は開発用キットです。Unityのゲームの場面と、ElevenLabsの音声エージェント（自分で受け答えを進めるAI）をつなぎます。SDKは、プレイヤーのマイクの音を拾い、エージェントの声をゲーム内の音源から流します。

ElevenLabsの公式ブログによると、通信は「Conversation API」（会話を扱う窓口）で動かします。同じコードがEditor、デスクトップ版、WebGLで動きます。iOS、Android、XRはベータ版です。

近づくと会話が始まる、基本の使い方

会話を始めるには、ElevenLabsの管理画面で作ったエージェントのIDが必要です。エージェントには、キャラの性格を決める指示文と声が入っています。

付属のGettingStartedサンプルでは、キャラの周りにトリガー用の判定領域を置きます。プレイヤーが入ると会話が始まり、出ると終わります。

コードでは、Conversation.StartSessionAsync で会話を開始し、EndSession で終了します。StartSessionAsync は、接続が開き、音声機器の準備ができた時点で結果を返します。ビルド先に合った通信方式も、SDKが自動で選びます。

声の出どころ、複数キャラ、ゲームとの連携

標準では、エージェントの声は位置の無い2D音声として流れます。自分の AudioSource（Unityの音を出す部品）を OutputAudioSource に渡すと、声がキャラの位置から聞こえます。

GetOutputVolume() は、エージェントの現在の音量を0から1で返します。サンプルはこの値で立方体を上下に揺らしており、口の動きの表現にも使えます。

1つのエージェントを複数のキャラで共有する機能もあります。動的変数（指示文の {{mood}} のような穴埋め）に、キャラごとの値を会話開始時に送ります。

値は文字列、数値、真偽値が使えます。サンプルでは、黄色い楽しげなキューブと赤い怒ったキューブが1つのエージェントを共有します。

もっと大きな変更には、オーバーライド（1回の会話だけ設定の一部を差し替える仕組み）を使います。最初の発言や声を変えられます。ただし、エージェントのセキュリティ設定で、項目ごとに先に許可しておく必要があります。

SendContextualUpdate は、「プレイヤーが地下室の鍵を拾った」のようなゲーム内の出来事をエージェントに伝えます。会話を止めず、プレイヤーが言っていない発言も作りません。

クライアントツールを使うと、エージェントの判断でゲームのコードを動かせます。ツールをエージェントの設定で定義し、同じ名前でハンドラー（処理の受け皿）を登録します。たとえば、公式の例は open_door でドアを開く処理です。

SDKはツールの引数をNewtonsoft Jsonで読み取り、ハンドラーの戻り値をエージェントに返します。時間のかかる処理は Awaitable で返せます。失敗の理由は ClientToolException で伝えます。

UserTranscriptReceived、AgentResponded、ModeChanged、Interrupted などのイベントは、Unityのメインスレッドで発生します。そのため、画面の更新に直接使えます。

テキスト入力、マイクのミュート、音量調整、入出力機器の切り替えにも対応します。