AIエージェントの実行履歴を自動収集　AI Shiftが評価・改善向け基盤

AI ShiftのFDE（Forward Deployed Engineer）は、顧客の業務に深く入り込み、AIエージェントやアプリケーションを開発・導入しています。今回、AI Workerを導入する顧客向けの開発で、評価と改善に必要な実行履歴を集めるトレーシング基盤を構築しました。

LLMの呼び出し履歴を自動で集める

AIエージェントの導入後に品質を評価・改善するには、どのように動いたかを示す実行履歴が必要です。ただ、履歴を残すコードを組み込む「計装」は、その方法を都度判断する必要があり、エンジニアの負担になっていました。

今回の基盤では、LLMを呼び出す際にLLM Gateway（Agent Router）を経由します。LLMの入出力、モデル名、トークン数などを記録し、システムの動作から送出されるテレメトリーデータを自動収集する仕組みです。計装するかどうかをFDEが判断しなくても、LLMの呼び出し履歴を収集できます。

一方、LLM Gatewayだけでは、アプリケーション内の処理のつながりを示す情報や、検索・ツールなどのLLMの使用用途、ユーザーやセッションのメタデータを収集できません。そのため、専用の「Tracing SDK」とAIエージェント用の「Skill」を開発し、業務上の意味を付ける手動計装も併用します。

収集したデータをLangfuseで確認

収集したテレメトリーデータは、OpenTelemetry Collectorに集約されます。その後、LLMの呼び出しに関連するデータのみが、LLMエンジニアリングプラットフォームのLangfuseに送信されます。

SDKを通じてメタデータやセッション識別子を付けることで、Langfuse上では、構造化されたLLMの呼び出し履歴とともに、ユーザーやセッション、呼び出しの目的を確認できます。SDKによる計装を入れ忘れた場合でも、LLM Gatewayには呼び出し履歴が記録されます。最低限のデータ分析や評価の要件定義に役立てられます。

コーディングAIに計装を任せて開発負荷を軽減

Tracing SDKによる計装のために用意されたSkillを使うと、コーディングAIに計装を任せることができます。これにより、実装の負担を減らせるとしています。

AI ShiftのFDEは、生成AIを活用して開発プロセスのほぼすべての作業を自動化しています。今回の基盤は、実行履歴の収集方法を標準化し、FDEが顧客の課題解決に集中できるようにすることも狙いです。