生成AIは「考えて」いない——LLMが言葉を生成する本当の仕組み

「賢そうに見える」のに、実は考えていない？

ChatGPTなどの生成AIに質問すると、まるで人間のように流暢な文章が返ってきます。複雑な質問にも答え、文章を書き、コードまで生成する。「これは本当に考えているのでは？」と感じる人も多いはずです。

でも実際は違います。LLM（大規模言語モデル）の基本原理は、驚くほどシンプルです。

「与えられた文章に続いて、確率的に最もらしい単語を予測して生成する」

人間のような自覚的な思考・理解・感情を持っているわけではありません。仕組みとしては、「次に来る確率が最も高い単語」を連続して選び続けているだけです。

「むかしむかし」の例で理解する

もっとも分かりやすい例を使いましょう。

「むかしむかしあるところに、おじいさんと」

この文章の後に続く言葉は何でしょうか。ほぼ全員が「おばあさんがいました」と答えるはずです。これは、私たちが昔話の文脈を知っているからです。

LLMもまったく同じことをしています。ただし、人間の「理解」ではなく、膨大なテキストデータを学習した結果として身につけた「単語の出現確率」に基づいて予測しています。「おじいさんと」の後に「おばあさん」が来る確率が高い。だから「おばあさん」を選ぶ。次の単語も確率で選ぶ。それを繰り返すことで、自然な文章が生まれます。

どれだけのデータを学習しているのか

「確率で選ぶだけ」と聞くと単純に思えますが、その背景にある学習データの規模は想像を絶します。

Meta公式発表によると、Llama 4（2025年）の学習データは30兆トークン以上（テキスト・画像・動画を含む）。これを文庫本換算（1冊≒10万字）すると、単純計算でおおよそ数億冊規模、国会図書館の蔵書数（約4,700万点）の数倍〜十数倍に相当する規模感になります（トークンと文字数の対応関係は言語や計算方法により変動するため、あくまで目安です）。前世代のLlama 3（2024年）も同様の換算で数億冊規模あり、国会図書館の蔵書数を大きく超えていました。GPT-5など非公開モデルは学習データの詳細を開示しておらず、規模は推測の域を出ません。

なお「トークン」とはAIがテキストを処理する最小単位（日本語では1〜2文字程度。くわしくはトークンとは何か）ですが、感覚をつかむには「本何冊分」のイメージで十分です。この膨大なデータから「どの単語の後にどの単語が来やすいか」というパターンを学習することで、文脈に合った自然な文章が生成できるようになっています。

LLMには「記憶の窓」がある

膨大なデータを学習しているLLMですが、一度の会話で扱える情報量には上限があります。これをコンテキストウィンドウと呼びます。最新のGPT-5.5では100万トークン（文庫本約10冊分）と大幅に拡大しており、通常の業務利用でいきなり上限に達することはほとんどありません。ただし、長時間にわたる大量のやりとりや、容量の大きいPDFを複数アップロードし続けると上限を超えることがあります。

LLMとの会話では、やりとりのたびに「それまでの全履歴＋新しい質問」がまとめてAIに入力され、次の回答が生成されています。

1回目：〔Q1〕→ AI → A1
2回目：〔Q1・A1・Q2〕→ AI → A2
3回目：〔Q1・A1・Q2・A2・Q3〕→ AI → A3

会話が続くほどインプットのトークン数が増え、上限に近づきます。上限を超えると最も古いやりとりから順に「見えなくなり」、事実上忘れられます。

仕組みを知ると「なぜ失敗するか」がわかる

LLMが「確率的な単語予測」であることを理解すると、AIが失敗する理由も見えてきます。

ハルシネーション（もっともらしい嘘）はその典型です。LLMは「正しいかどうか」を判断しているのではなく、「確率的に自然な文章かどうか」を判断しています。そのため、存在しない情報でも文脈として自然であれば、自信満々に出力してしまいます。

同じプロンプトを入力しても毎回まったく同じ回答が返るとは限らないのも同じ理由です。確率に基づく予測なので、選ばれる単語がわずかに異なることがあります。

計算が苦手なのも同じ理由です。 LLMは数字も「文字列として」確率予測しているため、桁数が増えると誤りが出やすくなります。

こうした弱点を軽減するアプローチの一つとして注目されているのが推論モデルです。o1・o3（OpenAI）やDeepSeek-R1などが代表例で、複雑な推論や数学・コーディングタスクでの精度向上を主な目的に開発されています（ハルシネーションや非決定性が完全になくなるわけではありません）。詳しくは推論モデルとは何かで紹介しています。

「自社の情報」は知らないというのも、同じ構造から来る限界です。自社の規程、製品仕様、社内マニュアル、昨日の会議の議事録——これらはインターネット上に存在しないため、LLMは一切知りません。これを補う技術がRAG（Retrieval-Augmented Generation：検索拡張生成）です。

社内文書をデータベースに登録しておく
質問が来たら、関連情報をデータベースから自動で検索する
「質問＋検索結果」をセットでLLMに渡す
LLMは渡された情報を基に回答を生成する

RAGの具体的な活用方法やツールについては、RAGとはで詳しく紹介しています。

なぜプロンプトがそんなに重要なのか

この仕組みを理解すると、プロンプト（AIへの指示）が重要である理由が論理的に説明できます。LLMは「与えられた文章の続き」を予測します。つまり入力するプロンプトが変われば、確率分布も変わり、出力が変わるということです。

「メールを書いて」→ 汎用的なメールが出力される
「取引先への謝罪メール。相手は50代の製造業の部長。件名は〇〇の件。簡潔に300字以内で」→ 具体的で使えるメールが出力される

文脈が豊かであるほど、確率的に望む出力に近づきます。これがプロンプトエンジニアリングの本質です（具体的な書き方はプロンプトの書き方で解説しています）。「魔法の言葉を探す」のではなく、LLMが正しい文脈を持てるように情報を与えることが重要なのです。

この考え方をさらに広げたのが、近年注目されるコンテキストエンジニアリングという概念です。この言葉が広まるきっかけとなったのは、2025年6月にShopify CEOのトビ・リュトケ氏がXに投稿した内容で、その直後にOpenAI創業メンバーのアンドレイ・カルパシー氏が賛同し、自身の定義を添えて拡散したことで一気に注目を集めました。「プロンプト」が個々の指示文に焦点を当てているのに対し、コンテキストエンジニアリングはLLMが処理する情報全体の設計に着目します。具体的には次のすべてがコンテキストを構成します。

システムプロンプト（AIの役割・制約の設定）
会話の履歴（これまでのやりとり）
RAGで取得した関連文書（社内情報など外部知識）
ツールの実行結果（検索・コード実行など）

プロンプトの書き方を磨くだけでなく、LLMに渡す情報全体を設計する視点——それがコンテキストエンジニアリングであり、重要となってきています。

「よくわからないもの」から「使いこなせるもの」へ

生成AI研修で受講者に多いのが「ChatGPTなどの生成AIはなんとなく使えるけど、なぜうまくいくときといかないときがあるのか分からない」という声です。LLMの仕組みを理解した受講者からは、こんな変化が報告されています。

プロンプトに何を書けばいいかの「方向感」が生まれた
うまくいかないとき、原因を推測して修正できるようになった
AIへの漠然とした不安や抵抗感が減った

「よくわからないもの」は怖く、使いにくい。でも「仕組みが見えるもの」は使いこなせます。LLMは思考していません。でも、膨大なデータから学習した確率予測は、正しく使えば強力な武器になります。その「正しく使う」ための第一歩が、仕組みを理解することです。