AIエージェント能力アトラス › 仕事ごとの一覧 › 基盤能力（横断） › 自己検証・信頼性

不確実性表明・確信度のキャリブレーション

Uncertainty expression and calibration

0 できない ／ 1 デモ止まり ／ 2 補助 ／ 3 実務品質（要確認） ／ 4 専門家並み ／ 5 専門家超え。「予」は予測。

専門家と比べて

専門家は『わからない』と言うべき場面を的確に判断するが、AIは自信過剰な誤答か、逆に不要な場面での過剰なヘッジのどちらかに偏りやすい

できること

言語化された不確実性表現（『おそらく』『わからない』等）を推論トレース中で使用する挙動が観測される

まだできないこと

検証可能な確率的キャリブレーション（自己申告の確信度が実際の正答率と一致すること）は依然不十分で、明示的な報酬設計なしでは自然に獲得されない

なぜそうなのか

トークンレベルのキャリブレーションは意味レベルの不確実性表現とある程度整合するが、明示的に評価・報酬されていない限り信頼性は低い

これからの予測の根拠

プロセス監督型のキャリブレーション訓練の研究が進めば2028年ごろ実務利用可能な水準に達する可能性

いま使える主な道具

Agentic Uncertainty Quantification (AUQ)、Claude thinking

根拠

• Agentic Uncertainty Quantification 2026-01
  検証された不確実性を能動的な制御信号に変換する枠組みを提案
• Process Supervision of Confidence Margin for Calibrated LLM Reasoning 2026-04
  推論トレース中の不確実性表現を3カテゴリに分類

同じ分野のほかの仕事（自己検証・信頼性）

• 事実誤り（幻覚）の発生率
• 自己検証・出力チェック
• 評価検知・意図的な能力隠蔽（サンドバッギング）の検出

AIエージェント能力アトラス 2026（2026-09-06 時点・v1.0）の1マスです。レベルは公開された実験・ベンチマーク・報告から付けた目安で、2027年以降は予測です。全マスに根拠のリンクがあります。作者は個人で、AI（Claude）と一緒に調べて作っています。