01
なぜ重要か
従来は、ライブのAgent versionや未指定のsystem metricが更新されると、スケジュール実行やCI/CD評価の条件が変わる可能性がありました。バージョンを固定することで、同じAgent設定と判定条件による評価を継続しやすくなります。また、ObservabilityでturnごとのAgent versionを確認でき、複数バージョンをまたいだthreadも識別できます。
02
対象となるチーム
- Cortex Agentの開発・運用チーム
- Cortex Analystの評価・品質保証担当
- CI/CDおよびモデル評価基盤の担当者
- Observabilityを利用する運用・監査担当
03
提供条件
- 提供ステータス: General availability
- 対象: Cortex Agent evaluationsおよびCortex Analyst evaluations
- 利用経路: SnowsightのdropdownまたはCortex CodeからAgent versionを選択可能
- エディションの記載: リリースノートに記載なし
- リージョンの記載: リリースノートに記載なし
04
ユースケース
- CI/CDで特定のAgent versionを評価対象に固定し、ライブ環境の更新による判定条件の変化を避ける。
- スケジュール評価でsystem metricのversionを固定し、リリース前後のスコアを同じjudge条件で比較する。
- Anthropicモデルを許可していないアカウントで、v2またはv3のGPT judgeを使ってsystem metricを実行する。
- 長いtraceを評価する際にv3を指定し、最大1Mまたは1.05M tokenのcontext windowによってcontext window overloadの可能性を抑える。
- custom metricごとにmodelを指定し、LLM judgeの変更による評価結果の変動を管理する。
05
仕組みと使い方
評価YAMLのagent_paramsブロックでagent_versionを指定すると、特定のAgent version、alias、shortcutに対して評価を実行できます。system metricではversionキーを指定します。対象はCortex Agentのanswer_correctness、logical_consistency、tool_selection_accuracy、tool_execution_accuracyと、Cortex Analystのsql_correctnessです。Cortex Agentのcustom metric定義ではmodelキーでLLM judgeを指定できます。未指定の場合、system metricは現在v1が使われ、非推奨化時に後継版へ移行します。custom metricのmodelを未指定にすると、現在はclaude-4-sonnetが使われ、モデルの非推奨化時に更新されます。Agent versionはSnowsightのdropdownまたはCortex Codeから選択することもできます。
06
導入ステップ
- 評価対象のAgent version、alias、shortcutと、固定したいsystem metric versionを決める。
- 評価YAMLのagent_paramsにagent_versionを設定する。
- 利用するsystem metricごとにversionを設定し、custom metricでは必要に応じてmodelを設定する。
- 固定対象と未指定項目を含む評価設定を、スケジュール実行またはCI/CDで検証する。
- Observabilityのthread listとtrace viewで、各turnを処理したAgent versionを確認する。
07
運用上の注意
- system metricのversionを指定しない場合は現在v1が使われ、将来の非推奨化時にバージョンが進むため、長期比較では明示指定を検討してください。
- custom metricのmodelを指定しない場合、現在の既定値はclaude-4-sonnetですが、モデルの非推奨化時に変更されます。
- v2とv3は、Anthropicモデルを許可していないアカウント向けにGPT judgeを追加します。アカウントのモデル利用制限と評価結果への影響を確認してください。
- v3のcontext windowはmetricにより1M tokenまたは1.05M tokenですが、入力traceの長さや実際の評価可否は公式仕様で確認してください。
08
制約事項
- エディション別の提供条件およびリージョン別の提供条件は、リリースノートに記載なし。
- 対応するsystem metric versionの詳細な一覧や、各metricで利用できる全バージョンは、リリースノートに記載なし。
- agent_versionを指定した評価YAMLの完全な記述例や、必要な権限は、リリースノートに記載なし。
- custom metricのmodelキーについて、指定可能なモデルの完全な一覧や互換性条件は、リリースノートに記載なし。
- Cortex Analyst evaluationsでAgent versionを指定できるとは記載されておらず、agent_versionはCortex Agent evaluations向けです。
09
次に確認すること
- 公式のSystem metric versions、SQL correctness metric versions、Agent versions in observabilityを確認する。
- 利用アカウントでCortex AgentおよびCortex Analyst evaluationsが使用可能か、必要な権限と提供条件を確認する。
- 代表的な評価セットで、agent_versionとmetric versionを固定した場合のスコア再現性を検証する。
- Anthropicモデルの利用制限、GPT judgeの選択、および長いtraceでのcontext window挙動をテストする。
→
公式情報
仕様・提供条件は更新される可能性があります。導入前に必ず公式リリースノートを確認してください。