専門外の出力は、評価できないまま完成する

00 — 問題

評価できない人が発注すると、平均が返ってくる

自分で作れないものを人に頼むことは、昔からできました。ただし 受け取ったものを検分できる範囲でしか、頼めなかった。

クルーガーとダニングが1999年に書いています。 正しい判断を産み出す知識と、それを見分ける知識は同じところから来る。 片方を欠けば、もう片方も欠ける。専門外で出力を評価できないのは、この構造からです。

以前は、壁の越え方が学習しかありませんでした。数か月から数年かかる。その時間が参入を止めていたので、判定できないまま大量に作ってしまう事故も起きませんでした。エージェントが外したのは制作の側だけで、判定の側は外していません。

実例 — 私は3Dで止まった

サウンドノベル『正解の外側』の廃棄層。同じ場所の360°背景を、2日半で6回作り直しています。素材は KitBash3D、レンダリングは Blender。どちらも専門外でした。

廃棄層の背景6版。第1版は真っ黒で何も無く、第3版は明るいが床が空っぽ、第6版は暗くガラクタで埋まっている — 左上が最初（7月12日 10:40）、右下が完成版（7月14日 23:34）。素材も場所も同じで、変えたのは配置と光だけです。

並べれば違いは分かります。1枚ずつ出てきたときに言えるかが問題でした。第2版から第5版までの4枚は、7月12日の14時11分と15時18分に打った2つの指示から連続して出ています。次に背景について何か言えたのは、2日後です。

01 — 評価者の不在

「評価もAIにやらせる」は循環する

採点もエージェントにやらせればいい。私はそう考えて、やってみました。回りませんでした。 採点は返ってきますが、その採点が甘いのか辛いのか、こちらに判定できない。

実例 — 自己申告に書かれなかったこと

第4版のコミットメッセージには「全方位を密なスラム建物で囲む閉塞感」と書いてあります。エージェントが書いた文で、やったことと合っています。 床が一面のっぺりしていることは、書いてありません。 自己申告は、指示に答えた部分しか報告しません。

自分の感覚も当てにならない

METRの実測が分かりやすい例です。平均5年の経験を持つ開発者16人に、自分が熟知したリポジトリで246件の作業をさせました。事前の予測は「24%速くなる」、終了後の自己評価は「20%速くなった」、実測は19%遅く。熟知した領域で、この幅です。

マイクロソフトとカーネギーメロンの調査（ナレッジワーカー319人、一次事例936件）も添えておきます。生成AIへの信頼が高い人ほど批判的思考の実行が少なく、自分への自信が高い人ほど多い。自己申告のアンケートなので因果は言えませんが、検証の量を決めているのが出力の中身ではなく使う側の自信の所在だった、という向きは読めます。

判定を2つに割る

対処が違うので、最初に分けます。

	真偽 — 正しいか	良否 — 良いか
問い	指定したものを使ったか。参照先は実在するか。数字は出典と一致するか	これは狙ったものになっているか
決めるもの	外部の事実	人間
機械化	できる	できない
門外漢の対処	スクリプトに落として毎回走らせる	自分を育てるしかない

真偽は知識がなくても機械で守れます。やり方は自動テストの実際と品質検問に書きました。残るのは右の列で、この記事はそこだけを扱います。

02 — 方法

判定はできないが、選ぶことはできる

足場は1つだけです。「AとBなら、Bのほうが自分の頭の中にあるものに近い」は、外の基準を必要としません。出来の良し悪しが分からなくても、これは言える。ここから組み立てます。

3つの型。入力側は質問を出させて選ぶ、出力側は候補を並べて比べる、検証側は真偽を機械に検算させる — 人間に残すのは「選ぶ」だけ。列挙と検算はエージェントとスクリプトに出します。

型1. 決めるべきことを、列挙させる

何を決めるべきかを知らないので、良い質問は書けません。質問ごと出させます。

入力 — 最初に打つ1文

この作業で私が決めないといけないことを、重要な順に5つ挙げて。それぞれ選択肢と、選択が結果に与える違いも書いて。

返ってくる一覧が、その分野の評価軸のリストになります。自分で質問を考えるより速く、「何を知らなかったか」が先に見えます。

実例 — 背景でやると何が並ぶか

「視点の高さ」「霧の量」「光源の色温度」「素材の密度」。第1版のときにこれを見ていたら、「暗い」以外の語が4つ、目の前にありました。選べたかは分かりませんが、選択肢があることは分かったはずです。

型2. 候補を並べて、差を見る

1つでは判定できませんが、2つの差なら判定できます。案ごとに「何を狙って、どこを変えたか」を書かせます。

第3版の背景。明るく、床が一面のっぺりしている — **明るさを優先**した版。建物は見えるが床が空。

第6版の背景。暗く、手前にガラクタが密に置かれている — **密度を優先**した版。暗いが物が詰まっている。

2枚を並べて初めて、自分が欲しかったのが明るさではないと分かります。 差分がそのまま評価軸になる。 3案までにします。5案出すと選べなくなり、「おまかせで」に倒れます。

型3. 真偽は、機械に検算させる

指定したものを使ったか、参照先は実在するか、出力の仕様は合っているか。ここを目で見ている限り、良否を見る余力は残りません。

3つに共通する条件 — 選んだ理由を1行言わせる

選択のあとに「なぜそれを選んだと理解したか」を1行書かせます。 その文が、次の依頼文になります。借り物の言葉で構いません。私の場合、同じ語を3回ほど使ったあたりで、調べ直さずに書けるようになりました。

13日間で打った指示は80件、1日6件です。多くありません。効いたのは回数ではなく、1周の待ち時間が数時間から数分になったことでした。

03 — 効き目

12日で、指摘の語彙が入れ替わった

効いたかどうかは、自分の指示が変わったかで見ます。まず背景の例から。

背景について打った指示7件。0日目は背景が真っ黒、12日目は低ポリは全部排除、カメラワークで黒のちらつき — 入ってきた順は、状態だけ、部位、理由、原因の用語。

「低ポリ」はポリゴン数の少ない簡易モデルのことで、遠景に混ざると輪郭が角張って安っぽく見えます。 12日前の私は、この語を知りませんでした。覚えたきっかけは、エージェントが作業のたびに使った素材と設定を書いてきたことです。

最初の語彙は、1本の軸しか持っていなかった

6枚の明るさと、画面の密度を測りました。

明るさを横軸、密度を縦軸にした6版の軌跡。第1版と第6版は明るさがほぼ同じで密度が2.6倍違う — 密度は、明るさを正規化したあとの隣接画素差の平均。画面に物がどれだけ詰まっているかの目安です。

第1版と第6版は、明るさがほぼ同じです。23.5 と 19.2。密度は 1.73 と 4.47 で2.6倍違う。第1版が暗いのは何も置かれていないから、第6版が暗いのは物で埋まったうえで光を落としてあるからです。最初に打った「背景が真っ黒」は、この2つを区別しない語でした。

密度も万能ではありません。第3版は 4.11、第6版は 4.47 で、数字はほとんど同じなのに見た目は別物です。 2軸でも足りない。足りていなかったのは視点の高さと素材の粗さでした。

3Dだけの話ではなかった

同じ期間のログ80件を、1件ずつ読み直して分類しました。専門外だったのは3Dのほかに、画像生成、音声合成、作曲、ゲームUI、物語の設計です。

6分野それぞれについて、最初の丸投げの日と最初に原因を名指しした日を結んだ図。2日から11日 — 最短2日、最長11日。ただしログは13日分しかないので、 **2週間以上かかった分野があっても、この図には出ません。** 作曲は7月20日開始で観測窓が3日しかなく、「2日」が短いのは期間が短いせいでもあります。言えるのは「11日で届いた分野が確かにあった」までです。

80件のうち、新しく作らせる依頼35件と進行の催促5件は除きます。 残る40件が「出てきたものへの指摘」です。これを前半と後半で分けました。

前半は感想型12件・診断型2件、後半は感想型7件・診断型19件 — 原因を名指しした指摘の割合は、前半14%から後半73%へ。分類は筆者の手作業で、境界は主観です。後半は指摘数そのものが多い（前半14件・後半26件）ので、作業量の偏りで診断型が増えて見えている可能性は排除できていません。

画像生成・ゲームUI・物語の設定・OP映像について、初期の感想型の指示と後期の診断型の指示を上下に対にした表 — 各分野の上段が最初の依頼、下段が数日後の依頼です。

言えるのは「割合が入れ替わった」までです。 前半の14%は、実体としてはたった2件です。

04 — 再現

専門外を始めるときのチェックリスト

最初の1問は「何を決めるべきか5つ挙げて」。いきなり作らせない
選ぶ。選んだ理由を1行書かせる
出力は2〜3案まで。案ごとに狙いと変更点を書かせる
真偽の検査はスクリプトへ。人間は良否だけを見る
毎回1つ、覚えた用語を使って自分から指摘する。私は、使わなかった語をひとつも覚えていません
完成させて、公開する。公開して初めて、自分の判定が当たっていたか分かりました

効いた実感があるのは5と6です。ただし比較していないので、1〜4を抜いたらどうなったかは分かりません。言えるのは、診断型の指摘が増えた後半に、私が新しく始めていたのが 覚えた語を自分から使うことだった、という時期の一致までです。

落とし穴

やってしまうこと	何が起きるか
「おまかせで」と答える	軸の一覧をもらって、見ずに捨てている
候補を5案以上出させる	選べなくなり、結局おまかせに倒れる。3案まで
AIに採点させて終わりにする	循環する。採点は下読み、決定は自分
状態だけを言い続ける	方向が伝わらないので直らない。毎回「どこが」を1つ足す
1回で見切る	第3版で止めていたら、あの床のまま出していた

人間が最後まで手放せないもの

質問も、候補出しも、検算も出せます。出せないのはどれを選ぶかと、違うと認めることの2つでした。質問の解像度でも同じ2つに行き着いています。同じ人間が書いているので裏付けにはなりませんが、入口が「作らせる前」と「出てきた後」で正反対だったのに、出口が同じだったことは書いておきます。

この方法で作ったもの

全15話・フルボイス・3つの結末のブラウザサウンドノベル『正解の外側』。 6枚目の背景は、第2話の廃棄層で360°見回せます。作り方の詳細は開発技術ガイドに置いてあります。

遊んでみる

専門外で最初に作るべきものは、成果物ではなく自分の判定力です。
ただし判定力は、成果物を作らないと手に入りません。
だから、作りながら育てるしかない。

参照した調査

Justin Kruger & David Dunning, "Unskilled and Unaware of It: How Difficulties in Recognizing One's Own Incompetence Lead to Inflated Self-Assessments," 1999. 全文
Hao-Ping Lee et al., "The Impact of Generative AI on Critical Thinking: Self-Reported Reductions in Cognitive Effort and Confidence Effects From a Survey of Knowledge Workers," CHI '25, 2025. PDF（319人・936事例）
METR, "Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity," arXiv:2507.09089, 2025. 論文（16人・246タスク）

静かに壊れる不具合の捕まえ方は品質検問に、作らせる前に決めさせる工程は質問の解像度に、他の型は新しい形の研究に置いています。