Databricks、Claude向けOpenTelemetry連携をベータ公開　MLflowでAIエージェントの動作を記録

モデル呼び出しやツール利用の履歴を、トレースで辿れます。トレースは統合データカタログ「Unity Catalog」に保存され、SQLで参照できます。日本での提供開始時期はまだ発表されていません。

Databricks MLflowは、機械学習モデルの開発や追跡を行うためのプラットフォームです。OpenTelemetryは、ソフトウェアの動作信号を収集して送り出すための共通規格です。

今回の発表で、Claudeを使ったAIエージェントの開発者は、エージェントがどのような手順で答えを出したかを確認できます。Databricks上でそのまま確認できます。

これまで、Claudeの動作を詳しく調べるには、回答の結果だけを見るしかありませんでした。答えが間違っていても、どこで判断を間違ったかは分かりにくいのが課題でした。

今回、Claudeのネイティブな計測機能がトレースを生成します。それらはOpenTelemetryの仕組みでDatabricksに送信されます。開発者はモデルの呼び出しやツールの利用、それぞれの処理時間を一つずつ見直せます。

Databricksは、トレースデータを「Zerobus Ingest」という仕組みで受け取り、Unity Catalogのテーブルに保存します。Unity Catalogは、データへのアクセス権を管理する機能です。

これにより、機密性の高いエージェントのトレースデータにも、適切なアクセス制御をかけられます。Databricksは、低遅延での大量のトレース取り込みと、データのガバナンスを両立できると説明しています。

ClaudeをDatabricks MLflowに接続する3つのステップ

ClaudeをDatabricks MLflowに接続する手順は、公式ブログによると3ステップです。

1. Databricksで実験（experiment）を作成し、トレースの保存先にUnity Catalogを選択する
2. ワークスペースIDやリージョン、スパンの保存先テーブルを指定して、ネイティブな書き出しを設定する
3. Claudeエージェントを実行し、実験のトレース画面でモデル呼び出しやツール活動を確認する

入力と出力の内容を記録するには、設定で「コンテンツモード」を「フル」にする必要があります（公式ブログの案内）。

予期しない回答が返った場合、MLflowの「トレースを分析」機能が「Genie Code」を使って調査を支援します。

Genie Codeは、記録された実行内容を調べ、どこで問題が起きたかを説明する仕組みです。開発者は、指示文の修正やツールの改善、コンテキストの変更などを判断できます。

「MLflow Issues」はベータ版として提供され、Genie Codeを使って繰り返し発生する品質や運用上の問題を見つけます。例として挙げられているのは、トークンを浪費する繰り返しの検索や、引数が不足して失敗するツール呼び出しです。必要な形式に従わない回答なども含まれます。

チームは検出の頻度や対象となるトラフィックを選び、修正後に問題が再発しないかを監視できます。Review QueuesをSDKで管理するには、MLflow 3.17.1以降が必要です。

「MLflow Review Queues」を使えば、専門家が記録されたリクエストと回答を確認できます。専門家は、不足している点や想定される回答をフィードバックできます。

開発者はこの意見をもとにエージェントを改良し、後続の評価のための基準回答を作れます。

変更の効果を測るには、「MLflow Agent Evaluation」で同じテストケースを使った評価を実行します。プロンプトやスキル、ツールの変更が、エージェントの品質を向上させたか、逆に悪化させたかを比較できます。

詳しくはDatabricks公式ブログの案内を参照してください。

Claude自体は日本でも利用できますが、Databricks MLflowとのこの連携機能の日本での提供時期は、まだ発表されていません。

Databricksは11月2日、富裕層向け資産管理の顧客手続きにAIエージェント基盤を提案する記事も出しています（Databricks、富裕層向け資産管理の顧客手続きにAIエージェント基盤を提案）。