AIエージェント能力アトラス › 仕事ごとの一覧 › ソフトウェア開発 › データ工学・DB・ML/AI開発

論文の再現実装

Reproduce results from a research paper

0 できない ／ 1 デモ止まり ／ 2 補助 ／ 3 実務品質（要確認） ／ 4 専門家並み ／ 5 専門家超え。「予」は予測。

専門家と比べて

博士課程学生の初期段階相当。完全な再現達成率はまだ低い

できること

論文からアルゴリズム記述を解釈しコードを実装、依存関係をリポジトリから取得して実行

まだできないこと

論文に記載されない暗黙の実装詳細（ハイパーパラメータの微調整等）の推測、著者への問い合わせなしでの完全な再現

なぜそうなのか

論文自体が実装の全詳細を記述しないことが多く、『行間を読む』経験知が必要

これからの予測の根拠

再現性ベンチマークが2025-26年に急増し評価基盤が整いつつある段階で、能力自体はまだ発展途上。着実な向上を予測

いま使える主な道具

AI Scientist-v2、CycleResearcher、Sci-Reproducer

根拠

• MLReplicate: Benchmarking Autonomous Research Systems for Machine Learning Reproducibility 2026-05
  ICML2025優秀論文を対象に6つの自律研究システムを評価する再現性ベンチマークを構築
• PaperBench: Evaluating AI's Ability to Replicate AI Research 2025-04
  AI研究論文の再現能力を測る専用ベンチマークPaperBenchを提案

同じ分野のほかの仕事（データ工学・DB・ML/AI開発）

• DBスキーマ移行・ETLパイプライン構築
• 学習パイプライン構築・実験実行
• データ品質監視・異常検知

AIエージェント能力アトラス 2026（2026-09-06 時点・v1.0）の1マスです。レベルは公開された実験・ベンチマーク・報告から付けた目安で、2027年以降は予測です。全マスに根拠のリンクがあります。作者は個人で、AI（Claude）と一緒に調べて作っています。