Consulting Dojo — AIを知る 第4回(最終回)

AIのリスクとの付き合い方
— ハルシネーション、バイアス、秘密。

AIのリスクは、怖がり方を間違えると二度損をします。怖がりすぎれば競争力を失い、 怖がらなすぎれば事故で信用を失う。必要なのは「なんとなく不安」でも「たぶん大丈夫」でもなく、 仕組みから正しく怖がることです。最終回は、3つのリスクを「仕組み→事故の典型→手当ての型」の 順で解剖します。第1回で学んだ原理が、ここで全部回収されます。

読了 約13分第1回と対になる実用回シリーズ 全4回の最終回2026年7月時点
00

リスクの語られ方は、なぜ両極端になるのか。

AIのリスクを巡る社内の会話は、たいてい2つの極に割れます。「何が起きるか分からないから、当面禁止で」——と、「みんな使ってるんだから、細かいこと言わずに」。どちらも間違いですが、間違い方が対照的です。前者はリスクを大きな一つの霧として扱い、後者はリスクを存在しないものとして扱っている。

実際のリスクは、霧でも無でもありません。数えられる数個の、仕組みの分かった現象です。仕組みが分かれば、手当ても型になる。実務で押さえるべきは3つ——①もっともらしい嘘(ハルシネーション)、②回答の偏り(バイアス)、③入力情報の行き先(秘密)。順に解剖しましょう。3つとも、解剖が終わる頃には「霧」ではなくなっているはずです。

01

ハルシネーション — 嘘は、どこで生まれやすいか。

第1回の核心を思い出してください。LLMは「もっともらしさ」を最適化する機械であり、「正しさ」を最適化する機械ではない——だからハルシネーションはバグではなく仕様の裏面でした。最終回では、この理解を一段深めます。実務で本当に役立つのは「嘘をつくことがある」という知識ではなく、「どこで嘘をつきやすいか」の土地勘だからです。

原理から導けます。もっともらしさは学習データの厚みから生まれる——ならば、データの薄い場所ほど危ない。具体的には、細かい固有名詞(人名・判例番号・製品型番)、正確な数字(統計値・日付・金額)、最新の出来事(学習後の世界)、そしてニッチな専門領域。逆に、教科書に何万回も書かれた一般原理の説明は、めったに間違えません。「概念は強いが、事実の細部は弱い」——この非対称が土地勘の核心です。もうひとつ質の悪い性質があります。データが薄い場所でも、この機械は「知りません」と言うより、もっともらしい続きを生成する方に傾きがちです。空白を、流暢さが埋めてしまう。

仕組み
もっともらしさの最適化。学習データの薄い場所(固有名詞・数字・最新・ニッチ)で空白を流暢さが埋める。
事故の典型
実在しない判例を引用した準備書面。架空の統計が載った企画書。存在しない機能を案内するFAQ回答。
手当ての型
①事実の主張には出典をセットで出させ、出典そのものを開いて確かめる ②説明の「構成」と「事実」を分けて検品する(構成は信じてよい、事実は疑う) ③検索や社内文書を参照させる構成(RAG)で、記憶ではなく資料に答えさせる。

ここで第2回の地図が効いてきます。ハルシネーションの実害は「嘘の発生」ではなく「嘘の通過」で決まる——だから検証可能なタスク(コード、突合できる数字)では被害が小さく、検証しにくく不可逆な場所(顧客への回答、当局への提出物)では致命傷になる。リスク対策とは、検品の濃淡を委譲マトリクスに合わせて設計することなのです。

02

バイアス — 偏りは、二重に入ってくる。

2つ目のリスクは、答えの「偏り」です。入り口は2つあります。第一に学習データそのもの——LLMは人類が書いた文章から学ぶので、人類の偏見・固定観念・声の大きい集団への傾きを、丸ごと吸い込んでいます。第二に調教の過程——人間のフィードバックで応答を整える工程(第1回で触れたRLHF)では、評価者の好みや「無難さ」も一緒に教え込まれます。

実務でまず効いてくるのは、差別のような分かりやすい偏りだけではありません。もっと日常的なのは、追従性——あなたの意見に寄せてくる癖です。「この施策、良いと思うんだけど」と聞けば長所を並べ、「不安なんだけど」と聞けばリスクを並べる。同じ機械が、聞き方ひとつで逆の答えを出す。もうひとつは無難への収束——みんなが同じAIに聞けば、みんなが同じ「そつのない答え」を持って会議に来る。差別化を売る仕事にとって、これは静かなリスクです。

仕組み
学習データに含まれる人類の偏り+調教で入る評価者の好み。ユーザーの聞き方に寄せる追従性。
事故の典型
採用・与信の下書きに混ざる属性への偏り。「AIも賛成しています」による意思決定の権威づけ。全社が同じ無難な答えに収束。
手当ての型
①重要な判断は「逆の立場で反論して」ともう一度聞く(反対尋問の型) ②人や属性に関わる判断の根拠説明をAIに丸投げしない——責任は移転しない ③複数の視点・複数の案を最初から要求し、収束でなく発散に使う。

金融機関の読者には馴染みの整理で言えば、これは「モデルの限界を知った上で使う」というモデルリスク管理の発想そのものです。相手が統計モデルからLLMに変わっても、規律の型は変わりません——出力を鵜呑みにせず、限界を文書化し、人間の判断責任を残す。

03

秘密 — 入力した情報は、どこへ行くのか。

3つ目は、AIの出力ではなくあなたの入力のリスクです。チャット欄に貼り付けた文章はどこへ行くのか——答えは「サービスと契約による」です。無料の個人向けサービスでは入力が将来の学習に使われる設定になっている場合があり、法人契約では学習に使わない・一定期間で削除するといった条件が結ばれるのが一般的です。同じ画面に見えても、裏側の契約が違えば、情報の行き先はまったく違う。

だから実務の判断基準は、ツールの名前ではなく、この一問に集約できます——「この情報を、契約関係の整理されていない社外の協力会社にメールで送れるか?」 AIサービスとは、突き詰めれば社外の処理委託先です。委託先に送れない情報(顧客の個人情報、未公開の業績、インサイダー情報、取引先の秘密)は、貼ってはいけない。逆に、送れる程度の情報なら、過剰に恐れる必要もない。迷ったら、固有名詞と数字を伏せ字にして構造だけ相談するという中間の手もあります——「A行の山田様の案件」ではなく「地方銀行の富裕層顧客の一般的なケース」として聞く。相談の価値の大半は、それで保てます。

仕組み
入力の扱いはサービスと契約次第(学習利用の有無・保存期間・保存場所)。画面の見た目からは区別できない。
事故の典型
顧客リストを無料チャットに貼って要約させる。未公表の決算数値を入れて想定問答を作る。会議録音を個人アカウントのツールで文字起こし。
手当ての型
①「社外委託先に送れるか」を入力前の合言葉に ②迷ったら匿名化・抽象化して構造だけ相談 ③会社は「入れて良い情報とツールの組み合わせ」を明文化する——曖昧な禁止より、明るいホワイトリスト。

組織のルール作りにも一言。「機密情報は入力禁止」という一行ルールは、現場に判断を丸投げしており、実は何も統制していません。機能するのは「この業務のこの情報は、このツールならここまで入れてよい」という組み合わせの明文化です。書くのは大変ですが、書いた瞬間から、現場は迷わず走れるようになります。

04

禁止ではなく、統制を。

3つのリスクを解剖して、共通の構造が見えたはずです。どのリスクも「使うか使わないか」ではなく「どう使うか」に宿っている。ハルシネーションは検品の濃淡で、バイアスは聞き方と責任の置き方で、秘密は情報とツールの組み合わせで——すべて設計で管理できるものでした。

ここで、全面禁止という選択肢の本当のコストを見ておきます。禁止された組織で何が起きるかは、もう各所で観測されています——仕事は個人のスマホと私用アカウントに潜るのです。いわゆるシャドーAI。利用は消えず、可視性だけが消える。検品もルールも届かない場所で、会社の情報が一番危険な形で使われる。禁止はリスクを消しません。リスクの置き場所を、見えない場所に変えるだけです。

禁止と統制 — リスクの置き場所が変わるだけ 全面禁止の会社 表向き: 利用ゼロ・リスクゼロ (に見える) 水面下: 私物端末で利用継続 検品なし・記録なし・契約保護なし =最も危険な形の利用 統制する会社 見える場所で利用 ・入れてよい情報の明文化 ・検品の型と不可逆前のゲート ・法人契約でデータ保護 ・事故が起きても発見できる 利用の総量はどちらも減らない。違うのは、リスクが見えるか見えないか。
図1 — 禁止はリスクを消さず、見えなくする。統制は同じリスクを、手当てできる場所に置く。

そして「統制」の中身は、実はもう全部この連載と道場に揃っています。第1回の検品の型。第2回の境界線の棚卸し。第3回のトリガー式の備え。不可逆な実行の前に人を置くゲート設計。リスク管理とは、AIを遠ざけることではなく、AIを見える場所に置いて型で挟むこと——これが、教養課程4回分の結論です。

現場での使いどころ — 明日からの3行動

  • 事実の主張には出典を要求し、出典を開く。「概念は強いが事実の細部は弱い」の土地勘で、検品の力点を絞る。
  • 重要な判断は、逆の立場でもう一度聞く。追従性を知る者は、AIの賛成を賛成として数えない。
  • 入力前に「社外委託先に送れるか」を自問する。迷ったら、固有名詞と数字を伏せて構造だけ相談。
Column 01

会議で「AIもこう言っています」と聞いたら。

これからの会議で確実に増える台詞です。聞いたら思い出してください——その回答は、誰が・どう聞いたかに依存しています(追従性)。賛成してほしそうに聞けば賛成が返ってくる機械の賛成は、賛成者の頭数に入れられません。

切り返しは尋問ではなく、型で十分です。「逆の立場で聞いたら、何と言っていました?」——聞いていなければその場で聞けばよく、両方の答えが出揃って初めて、AIの意見は会議の材料になります。第2回のゲーム「ファクト探しダウト」で鍛えた反射の、そのまま応用です。

Column 02

シャドーAI — 禁止した会社で、実際に起きること。

従業員調査では、会社の許可していないAIツールを業務に使う人の割合が繰り返し高い水準で報告されており、禁止規程のある企業でも例外ではありません。悪意の話ではないのです。目の前に「30分の仕事を3分にする道具」があり、隣の会社は使っていて、自社だけ禁止——その状況で規程だけが利用を止めた例は、歴史上ほとんどありません(私的なスマホ、私的なメール、USBメモリ。どれも同じ道を辿りました)。

統制側に回った会社が最初にやるべきことは、実は高度なガバナンス文書ではなく、「公式に使ってよい、十分に便利な道」を用意することです。表の道が使いやすければ、裏道は自然に細る。統制の第一歩は、禁止の解除とセットでしか機能しない——これが各社の試行錯誤から見えてきた、身も蓋もない教訓です。

Series Complete

教養課程、修了です。

第1回の書き出しを覚えているでしょうか——「使い方の前に、正体を」。4回かけて、正体を見てきました。振り返れば、背骨は4行に収まります。

  • 第1回LLMは「次の単語」を予測する機械。もっともらしさと正しさは独立——だから検品。
  • 第2回境界線は動く前線。位置でなく動き方を覚え、四半期ごとに引き直す——だから棚卸し。
  • 第3回予測は当てるものでなく読むもの。備えは賭けずに型で——だからノーリグレット。
  • 第4回リスクは霧ではなく仕組み。禁止でなく、見える場所で型で挟む——だから統制。

正体は分かりました。次は、使い方です。ここから先は教室ではなく道場——5つの必須スキルの実践課程、腕を試すツール、反射を磨くゲームが待っています。読むだけで終わらせなかった人から、境界線の内側で強くなっていきます。

※本稿の記述は2026年7月時点のものです。サービスごとのデータの扱いは変わり得るため、実際の利用判断は最新の契約・規約と自社の規程に従ってください。本稿は一般的な考え方の型を示すものであり、個別の法的助言ではありません。