AIエージェント能力アトラス › 仕事ごとの一覧 › 研究・問題解決 › データ分析・統計
大規模データセットでのバグ・データリーク検出
Bug & Data Leakage Detection in Large Datasets
2030年（予測）: 4/5 専門家並み
0 できない ／ 1 デモ止まり ／ 2 補助 ／ 3 実務品質（要確認） ／ 4 専門家並み ／ 5 専門家超え。「予」は予測。
専門家と比べて
経験豊富なMLエンジニア・データサイエンティストが持つ『何か変だ』という嗅覚に比べ、AIエージェントは既知パターンの検出は得意だが、新種のリーク（時系列の未来情報混入、ID相関経由の間接リークなど）の発見率は低い。
できること
train/testの重複行、単純なターゲットリーク（目的変数由来の特徴量）など既知パターンは検出ルールやコードレビューで指摘できる。AgentLeak等のベンチマークにより、最終出力だけでなくエージェントの中間過程(inter-agentメッセージ)でのリーク検出研究が進展。
まだできないこと
最終出力のみを監査する標準的な評価では41.7%のリークが見逃されるという2026年の研究結果があり、複雑な多段パイプラインでの間接的・構造的リークの発見は専門家水準に届いていない。MLE-bench的な競技設定でもエージェントは『動くが最適でない』解に留まりがちで、隠れたリークを自ら疑って検証する姿勢が弱い。
なぜそうなのか
リーク検出には『このモデルの性能が良すぎるのはおかしい』という強い事前知識に基づく懐疑的検証が必要だが、LLMエージェントは提示されたタスク達成（精度最大化）に最適化されやすく、自己懐疑的な検証ステップを自発的に十分実行しない。
これからの予測の根拠
リーク検出専用の検証エージェント（自己懐疑ステップを組み込んだ設計）の研究が2026年に活発化しており、2028年までに定型的リークパターンは実務品質に達する可能性が高いが、新種リークの発見は専門家水準に届きにくい。
いま使える主な道具
Claude Code、GPT-6 Astra agent、AutoMind、R&D-Agent
根拠
- AgentLeak: A Benchmark for Internal-Channel Privacy Leakage in Multi-Agent LLM Systems 2026-02
最終出力のみの監査では41.7%のリークが見逃される、という定量結果 - MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineering 2024-10
Kaggle実データでのML自律エージェント評価基盤、メダル率で人間水準との差を計測 - R&D-Agent MLE-bench medal rate 2025-10
オープンソースSOTAでもメダル率35.1%に留まる
同じ分野のほかの仕事（データ分析・統計）
AIエージェント能力アトラス 2026（2026-09-06 時点・v1.0）の1マスです。レベルは公開された実験・ベンチマーク・報告から付けた目安で、2027年以降は予測です。全マスに根拠のリンクがあります。作者は個人で、AI（Claude）と一緒に調べて作っています。