LLMはなぜ賢いのか
— 仕組みと歴史を、1時間ぶんだけ。

その日公開されたChatGPTは、5日で100万人が使い、2カ月で1億人に達しました。史上最速で普及したサービスです。しかし本当に注目すべきは普及の速さではありません。AI研究者たち自身が驚いていた、という事実です。

長年AIを研究してきた専門家が「こんなに早くこの水準に来るとは思わなかった」と口を揃える——技術の中身を最もよく知る人々の予想を、技術が追い越した。これは産業史でもかなり珍しい出来事です。いったい何がそんなに予想外だったのか。

答えを先に言ってしまうと、LLM(大規模言語モデル)は3つの発明の掛け算でできていて、驚きの正体は3つ目の発明にあります。順に見ていきましょう。1つ目と2つ目は「なるほど」で済みます。3つ目だけ、少し不思議な話になります。

「はしを渡ってください」と「はしで食べてください」。同じ「はし」でも、意味がまったく違います。人間は文脈から瞬時に判断しますが、単語ごとの地図(発明①)だけでは、この使い分けができません。言葉の意味は、周りの言葉で決まるからです。

2017年、Googleの研究チームが「Attention Is All You Need(注意こそすべて)」という、いま読むと挑発的なタイトルの論文を発表します。提案された仕組みの名はTransformer。核心のアイデアは「注意(アテンション)」——文中のある言葉を理解するとき、文中の他のどの言葉にどれだけ注目すべきかを、計算で決める仕組みです。「渡って」という言葉があれば「はし」は橋に、「食べて」があれば箸に、注意の配り方が変わる。

そしてTransformerには、理屈のエレガントさ以上に重要な実務的特長がありました。文中のすべての言葉同士の関係を、一斉に(並列に)計算できるのです。それ以前の方式は文を頭から順に読む必要があり、計算に時間がかかった。並列化できるということは、計算機を大量に並べればいくらでも大きく・速く学習できるということ。この「大きくできる」という性質が、3つ目の発明——というより3つ目の"事件"——の舞台を用意しました。

ここまでの3つの発明を積み上げてなお、LLMが実行していることは一貫してひとつです。「ここまでの文章に続く、次の単語(正確にはトークン)として最もありそうなものを選ぶ」——これを1語ずつ、延々と繰り返しているだけです。

「予測しているだけなのに、なぜ推論ができるのか」——良い問いです。ひとつの見方はこうです。人類が書いてきた膨大な文章には、事実、論理、因果、価値観といった世界の構造が畳み込まれている。「次に来る言葉」を極限まで正確に当てるには、その構造ごと学ぶしかない。つまり予測の精度を追い込んだ結果、世界の写し絵のようなものがモデルの中に育った——だから予測が、推論のように見えるのです。

そして、この理解から実務上もっとも重要な帰結が導かれます。LLMが最適化しているのは「もっともらしさ」であって、「正しさ」ではない、ということです。学習した文章の海に答えがない質問をされても、LLMは沈黙しません。もっともらしい続きを、いつもの手つきで生成します——存在しない判例、実在しない統計を、自信に満ちた文体で。

誤解のないように付け加えると、これは「LLMは信用できない」という話ではありません。パターンの認識、言語の変換、選択肢の網羅、たたき台の生成——原理に合った仕事では、LLMはすでに人間の平均を大きく超えます。原理を知るとは、得意と不得意が「性格」ではなく「構造」で分かるようになる、ということです。