AIの中身は、作った人にも分からない
— ブラックボックスと説明責任。
「なぜこの答えになったのですか」。AIを作った本人にそう聞いても、返ってくる正直な答えは 「完全には分かりません」です。怠慢でも、隠蔽でもありません。現代のAIが、設計図から書かれたのではなく 「育てられた」ことに由来する、技術的な事実です。この講は、その不思議さを謎解きしたうえで、 監査や検査で説明を求められる立場のあなたに、それでも説明責任を果たすための型—— 金融が数十年かけて磨いてきた型——を渡します。
監査室で、答えに詰まる日。
ある光景を想像してください。内部監査、あるいは当局の検査。「このAIは、なぜこの取引を疑わしいと判定したのですか」。従来のシステムなら、答えは明快でした。担当者はルール定義書を開き、「金額がこの閾値を超え、かつこの条件に合致したためです」と、根拠の行を指させた。システムの動作には、必ず対応する規則があったからです。
ところが生成AIを組み込んだシステムでは、同じ問いに対する正直な答えが変わります——「このモデルがなぜその出力をしたのか、完全には説明できません」。しかも、これはあなたの会社の担当者の勉強不足ではありません。モデルを開発した世界最高水準の技術者に聞いても、本質的には同じ答えが返ってきます。作った本人たちが中身を完全には説明できないもの——それが、もう仕事の中に入り始めている。
奇妙な話です。人類が作った機械なのに、人類が説明できない。なぜそんなことがあり得るのか。それは欠陥なのか、それとも付き合い方のある性質なのか。そして、説明責任を負う立場の人間は、何に立脚すればよいのか。この講は、この3つの問いを順に解いていきます。基礎課程第1回(仕組み)と第4回(リスク)を読んだ方には、その2本の根っこをつなぐ深掘り編として読めるはずです。
書かれたソフトウェアと、育てられたソフトウェア。
謎解きの鍵は、作られ方の違いにあります。従来のソフトウェアは、書かれたものです。人間が「こういう場合は、こうせよ」という規則をひとつずつ言葉(コード)で書き、その集まりがシステムになる。だから動作の説明とは、該当する規則を指させることでした。どれほど巨大なシステムでも、原理的には、すべての動作が人間の書いた規則にさかのぼれます。
LLM(大規模言語モデル)は違います。第1回で見たとおり、あの賢さは誰かが規則を書いた結果ではありません。人間が用意したのは「育て方」です——大量の文章というデータ、「次の単語を当てる」という訓練の目標、そして膨大な計算。訓練の過程で、モデルの中の数千億個の数値(パラメータ)が自動で調整されていき、その調整の積み重ねから、翻訳も要約も推論めいた振る舞いも「生えてきた」。つまり、規則を書いた人はどこにもいないのです。
比喩で言えば、庭師です。庭師は、種と土と水と日当たりを選べます。しかし育った木の、枝の一本一本がなぜその角度で伸びたのかは説明できません。制御できるのは育て方であって、育った結果の細部ではない。LLMの開発者たちの立場は、設計者というより、この庭師に近いのです。
公平のために付け加えると、この箱を解読しようとする研究——解釈可能性研究——は近年大きく進んでいます。数値の海の中から特定の概念に対応するパターンを突き止めるなど、部分的な解読には成果が出始めている。ただし「この出力の、この根拠」を規則の形で示せる水準にはまだ遠い、というのが2026年時点の現在地です。当面は「読めない前提」で構えるのが実務の正解です。
「本人に聞けばいい」という罠。
ここで、誰もが思いつく近道があります——「中身が読めないなら、本人に聞けばいい。AIは言葉を話すのだから」。実際、AIに「なぜその結論に至ったのですか」と尋ねると、筋の通った理由が滑らかに返ってきます。一見、問題は解決したように見える。
しかし、これが第二の罠です。第1回を思い出してください。LLMの出力は、内部の処理を報告したものではなく、「もっともらしい続き」を生成したものでした。そしてこの性質は、自分の判断について語るときも変わりません。「なぜ?」と聞かれたAIが返す説明文は、実際の内部計算の記録ではなく、「この結論への、もっともらしい説明」として新たに生成された文章です。判断と説明が、内部でつながっている保証はどこにもない。
これは想像上の心配ではありません。研究の場では、答えに影響を与えたはずの要因(たとえば問題文にこっそり混ぜたヒント)をモデルが実際に利用していながら、説明文にはそのことが一切現れない例が確認されています。もっともらしさと正しさが独立であるという第1回の原理は、AIが自分自身について語る文章にも、そのまま適用されるのです。さらに第4回で見た追従性を重ねると、状況はもう一段悪くなります——「本当にそうですか?」と聞き返すだけで、説明ごと結論が変わることがある。
整理しましょう。中身は開けても読めない(第1章)。本人に聞いても、返ってくるのは作文(この章)。では説明責任は、いったい何に立脚すればよいのか。手がかりは、実はあなたの業界の足元にあります。
金融は、この問題の経験者である。
朗報があります。「中身を完全には説明できないモデルに、業務を任せる」という問題に、金融は数十年前から取り組んできました。信用スコアリング、デリバティブの評価モデル、不正検知——統計モデルが実務に入り込むたびに、同じ問いが立ちました。そなえとして整備されてきたのがモデルリスク管理(MRM)です。米国の監督指針を起点に世界の金融機関へ広がったこの型は、おおむね4つの柱でできています。①モデルの用途と限界を文書化する(何に使ってよく、何に使ってはならないか)。②開発者から独立した検証を行う(作った本人以外が挙動を試す)。③継続的に監視し、定期的に再検証する(性能は静かに劣化するから)。④モデルが何を出そうと、最終判断の責任は人間と組織が負う。
気づいてください。この型は、モデルの中身が読めることを前提にしていません。中身の完全な説明の代わりに、用途の限定・独立の検証・継続の監視・人間の責任という「プロセス」で統制を成立させている。つまり「読めない箱を責任もって使う方法」を、金融は先に発明していたのです。LLMという新しい箱にも、この型がそのまま出発点になります。
ただし、正直な注記も添えます。LLMには、従来の統計モデルになかった難しさが3つあります。第一に、挙動の範囲が広すぎる。信用スコアリングモデルなら入力も出力も型が決まっており、全体の挙動を検証で押さえられました。自由な文章を受け付けるLLMでは、起こり得る入出力を試し尽くすことができません。第二に、言い回しに敏感。同じ意味の質問でも、聞き方ひとつで答えが変わり得ます。第三に、バージョン更新で挙動が静かに変わる。外部のモデルを使っている場合、ある朝、中身が「別物」になっていることがあり得る——通知があっても、何がどう変わったかまでは分からないままに。
だから、MRMの型に新しい一手が加わります。定点観測です。自社の業務を代表する質問セットを決めておき、定期的に、そしてバージョン更新のたびに流して、答えの変化を記録する。健康診断と同じで、一回の数値より変化にこそ情報がある。読めない箱と付き合う実務の知恵として、これが新しい必須科目になりつつあります。
それでも説明責任を果たす — 3つの語り方。
道具立てが揃いました。監査や検査、あるいは顧客から「なぜAIの判断を信用できるのか」と問われたとき、実務者が立てる説明は3つあります。①用途で語る。「このAIを何に使い、何に使わないと決めているか」——用途と限界の文書は、中身が読めなくても書けます。むしろ読めないからこそ、高リスク・不可逆の判断(第2回の地図の右上)には単独で置かない、という線引きが文書の芯になります。②プロセスで語る。「出力をどう検証し、誰が確認し、どこに記録したか」——検品と人間ゲート(第2回・エージェント講)の記録は、そのまま監査証跡になります。③根拠で語る。出力の根拠を、AIの自己説明ではなく検証可能な出典に紐づける。社内文書と突き合わせて回答させる構成(いわゆるRAG)にしておけば、「この規程のこの記述に基づく」と、指させる根拠が復活します——書かれたソフトウェアが持っていた「指させる」力を、仕組みの側で取り戻すわけです。
この3つに共通する原則を、一行にまとめます。説明責任は、AIには移転しない。「AIがそう言ったので」という説明は、稟議書に「部下がそう言ったので」と書くのと同じです。組織が部下の判断をそのまま通さず、上長の確認と記録を挟むように、AIの出力にも確認と記録を挟む。責任の宛先は、最後まで人間と組織に残ります——そしてそれは、AIの限界であると同時に、あなたの仕事が残る理由でもあります。
「ブラックボックス」は、怖い言葉です。しかし正体を知れば、付き合い方があります。中身が読めないことを認め、読めない前提でプロセスを固める。それは未知の恐怖に怯えることでも、根拠なく信用することでもなく、金融が統計モデルとともに数十年やってきたことの、延長線上にあります。この分野で、あなたの業界は初心者ではありません。
現場での使いどころ — 明日からの3行動
- AIの出力を上に上げるとき、AI自身の説明文を根拠欄に貼らない。代わりに、検証済みの出典と「誰がどう確認したか」を添える。自己説明は作文——参考メモまで。
- 高リスク・不可逆の判断に、中身の読めないモデルを単独で置かない。第2回の地図で右上に当たる業務は、人間ゲートを挟む構成だけを許す。用途と限界の文書に、その一線を明記する。
- 使っているAIの「定点質問セット」を10問ほど作り、バージョン更新のたびに流す。答えの変化を記録するだけで、静かな挙動変化への最低限の見張りになる。
実は、人間も自分を説明できない。
「中身が読めない知的な存在」と聞いて、思い当たるものがもうひとつあります——人間です。心理学には「選択盲」と呼ばれる有名な実験があります。2枚の顔写真から好みの1枚を選ばせ、手品の要領でこっそりもう1枚のほうを手渡して「なぜこちらを選んだのですか」と聞くと、多くの人が選んでいないほうの写真を選んだ理由を、流暢に語り始めるのです。脳研究でも、人間が自分の行動に後付けの理由を作って語る現象(作話)は繰り返し確認されています。AIの自己説明が作文であるのと、驚くほど似た構図です。
それでも組織が回ってきたのは、個人の内省を信用したからではありません。プロセスで責任を担保してきたからです。稟議という記録、承認という関門、ダブルチェックという独立の目、監査証跡という再現可能性。つまり「中身が読めない知的な存在を、プロセスで統制する」のは、AI時代の新技能ではなく、組織運営の本業そのものなのです。AIに対しても、同じ型を使えばいい——むしろAIには、人間にない追い風すらあります。同じ質問を1万回試しても疲れず、嫌がらず、訴えもしない。挙動の検証は、人間相手より、はるかに徹底できるのです。
チェックリスト — 「そのAI、説明できますか」に備える5つの問い。
- そのAIの「用途と禁止用途」を、1枚の文書で示せるか?説明責任の最初の一枚。中身が読めなくても、これは書ける。書いていないなら、統制は始まっていない。
- 出力の根拠を、検証可能な出典に紐づける構成になっているか?社内文書と突き合わせる構成(RAG)なら「この規程のこの記述」と指させる。素のモデルの記憶頼みなら、指させない。
- 定点質問セットがあり、バージョン更新のたびに流しているか?外部モデルは静かに変わる。変化の記録がなければ、「いつから挙動が違ったのか」に答えられない。
- AIの自己説明と、検証済みの根拠を、文書の上で区別しているか?作文と証跡が同じ欄に混ざっていたら、監査人は全体を疑う。区別は誠実さの表明でもある。
- その出力について説明を求められたとき、立つのは誰か——氏名で言えるか?「AIの判断です」は説明ではない。責任の宛先が人の名前で言えないなら、その業務にAIを置く準備はまだ整っていない。
5問すべてに「はい」と言えたら、あなたの組織は「説明できないAI」を「説明できるプロセス」で包めています。それが、この講の着地点です。
- LLMはなぜ賢いのか — 仕組みと歴史を、1時間ぶんだけ。
- 境界線の地図 — AIにできること・人がやるべきこと
- AGIはいつ来るのか — 予測の読み方と、賭けない備え方
- AIのリスクとの付き合い方 — ハルシネーション、バイアス、秘密
※本稿の記述は2026年7月時点のものです。解釈可能性研究は急速に進んでおり、「中身がどこまで読めるか」の現在地は年単位で変わります。またAI規制の細部は法域によって異なり、更新も続いています。ただし本稿の芯——中身が完全には読めない前提で、用途・プロセス・根拠の3点から説明責任を組み立てる型——は、モデルの中身が読めるようになった世界でも無駄になりません。読める部分が増えるほど、同じ型がより強く機能するだけです。