ChatGPTに質問を投げると、まるで人間みたいにスラスラ答えが返ってくる。
便利なんですけど、ふと「これ、中で何が起きてるんだ?」って気になりませんか。私も最初は「AIが文章を理解して考えてる」とぼんやり思っていました。
でも、それは半分以上ハズレでした。5分もあれば、その勘違いは解けます。
LLM(大規模言語モデル)の正体は、ものすごく雑に言うと「次の単語を確率で当て続けるだけの予測機」です。
意味を噛みしめているわけでも、感情があるわけでもありません。ここを勘違いしたまま使うと、平気で嘘をつかれたときに「なんで?」とパニックになります。
私はエンジニアとして毎日のようにLLMを触っていますが、仕組みをざっくり知ってから使い方がガラッと変わりました。
この記事では、専門用語をできるだけ噛み砕いて、LLMの中身と「生成AIと何が違うのか」までまとめて説明します。
読み終わるころには「なるほど、だからこう動くのか」と腹落ちしているはずです。
結論:LLMの仕組みは「次の単語を確率で予測する」だけ
先に答えを言ってしまうと、LLMがやっているのは「ここまでの文章に続く、もっともそれっぽい単語は何か」を確率で計算して、1つずつ出力する作業です。
これをひたすら繰り返して、長い文章を組み立てています。
たとえば「今日の天気は」という入力に対して、LLMは内部で「晴れ:40%、雨:25%、曇り:20%……」のような確率を弾き出します。
そして高い確率の単語を選んで「晴れ」と出す。次は「今日の天気は晴れ」を入力として、また次の単語を予測する。
この単純なループの積み重ねが、あの流暢な文章の正体です。
拍子抜けしますよね。私も知ったときは「えっ、それだけ?」と思いました。
ただ、この「それだけ」を桁外れの規模でやると、人間が舌を巻くレベルの文章が出てくる。そこがLLMの面白いところです。
LLM(大規模言語モデル)とは何かを一言で
LLMとは、膨大なテキストを学習して「次にくる言葉」を予測できるようにした、超巨大な言語モデルです。
Large Language Modelの頭文字をとってLLMと呼びます。
ChatGPTのGPTや、GoogleのGemini、AnthropicのClaudeなどが代表例です。
「大規模」の中身は、モデルの中にあるパラメータの数です。
パラメータとは、LLMが「次の単語」を予測するときに使う、無数の数値のことです。
この数が多いほど複雑なパターンを覚えられるので、「大規模」と呼ばれます。
とはいえ、パラメータと言われてもピンときませんよね。ニューロンやディープラーニングとの関係も含めて、順番に説明します。
パラメータの正体は、ニューロンの「重み」と「バイアス」
LLMの中身は、ニューラルネットワークという仕組みです。
人間の脳の神経細胞(ニューロン)をヒントにした計算モデルで、小さな計算役(人工ニューロン)を大量につないで作ります。
この計算役の中にある数値が、パラメータです。種類は「重み」と「バイアス」の2つです。
重みは「その入力をどれだけ重視するか」、バイアスは「全体を底上げ・底下げする値」と考えてください。
具体例で見てみましょう。「傘を持っていくか」を判断する、ニューロン1個の計算です。
重みが大きい入力ほど、判断への影響が大きくなります。この例なら、降水確率(重み0.9)を重視しています。
ただし、この重みが最初からちょうどいい値とは限りません。ちょうどいい値を探して調整する作業が、あとで出てくる「学習」です。
なお、ニューロンといっても脳の神経細胞そのものではなく、「掛け算して足すだけ」の単純な計算式です。脳をヒントにした名前、くらいに捉えてください。
ニューロンを何層も重ねたものがディープラーニング
人工ニューロンを層状に並べ、前の層と次の層のニューロンを線でつなぐと、ニューラルネットワークになります。
この線1本1本に重みがあるので、線の数だけパラメータが増えていきます。
線の数だけ、パラメータが増えていきます。
このように、隠れ層を何層も深く重ねたものがディープラーニング(深層学習)です。「深い」とは、層が多いという意味です。
LLMが土台にしているTransformerも、ディープラーニングの一種です。Attentionの計算も含め、中身は突き詰めると膨大な重みの集まりです。
パラメータが「数値のつまみ」と言われる理由
パラメータは、最初はほぼランダムな値です。このままでは、次の単語をまったく当てられません。
そこで学習では、予測が外れるたびに、パラメータをほんの少しだけ動かします。ラジオの周波数つまみを、少しずつ回して合わせるイメージです。
この微調整を何兆回も繰り返すうちに、文法や知識にあたる情報が、パラメータの値の中に残っていきます。
つまりLLMの知識は、文章そのものを保存しているのではなく、この巨大な数値の集まりの中に傾向として溶け込んでいます。
パラメータ数はどれくらい?「数千億〜1兆個」の規模感
規模感を、ほかのものと並べて見てみましょう。
1兆個のつまみを1秒に1個ずつ確認しても、3万年以上かかります。
モデルによってパラメータ数は数千億〜1兆個規模とされます。
ただしGPT-5.6・Claude Opus 5.5・Gemini 3.1 Proなど2026年9月時点の主要モデルは、パラメータ数を公式には公表していません。
性能もパラメータ数だけでなく、学習手法や推論時の計算量に左右されるようになっています。
人間の脳のシナプス(神経細胞のつなぎ目)は、100兆個以上ともいわれます。数だけ見れば、LLMはまだ桁が2つほど小さい計算です。
ただし脳とLLMは別物なので、この比較はあくまで規模感をつかむためのイメージです。
代表的なLLMの種類(GPT・Gemini・Claude・Llama)
代表的なLLMには、OpenAIの「GPT」、Googleの「Gemini」、Anthropicの「Claude」があります。
これらは企業が開発・運用する「クローズドモデル」で、性能は高いもののモデルの中身は公開されていません。
一方、Metaの「Llama」のようにモデルを無償公開する「オープンモデル」もあり、自分のパソコンやサーバーで動かす「ローカルLLM」の土台として使われます。
どちらも仕組みは同じ「次の単語を確率で予測する」ですが、公開範囲と動かす場所が違う、と覚えておくと整理しやすいです。
「理解している」わけではないという大前提
ここが一番大事なので強調しておきます。LLMは言葉の意味を人間のように理解しているわけではありません。あくまで「過去のテキストでよく一緒に出てきた単語のパターン」を統計的になぞっているだけです。
だから自信満々に間違えます。後で触れるハルシネーション(それっぽい嘘)も、この性質から生まれます。
「賢い検索エンジン」ではなく「めちゃくちゃ流暢な予測マシン」だと捉えておくと、付き合い方を間違えません。
LLMはどうやって文章を作る?5つのステップで理解する
LLMが文章を作る流れは、トークン化→ベクトル化→Attention→次トークン予測→出力という5つのステップの繰り返しです。では、入力した文章が答えになるまで、内部でどんな流れをたどるのか、順番に見ていきます。
全体像を先に置いておくので、迷子になったら戻ってきてください。
なお、この5ステップは、この章のすぐ後に置いたブラウザで動くデモで実際に触れます。文章を入れるとトークンに刻まれ、ベクトルになり、次の一語の確率が出るまでが、そのまま動きます。
- ①トークン化:文章を細かいかけらに分解する
- ②ベクトル化:かけらを数字の並びに変換する
- ③Attention:文脈の中で重要な部分に注目する
- ④次トークン予測:次にくる単語の確率を計算する
- ⑤出力:選んだ単語を返し、また①に戻る
①トークン化:文章を細かく分解する
最初の工程はトークン化です。LLMは文章をそのまま扱えないので、「トークン」と呼ばれる小さな単位にバラします。
トークンは単語そのままのこともあれば、単語の一部だったりもします。
たとえば「東京タワー」が「東京」「タワー」の2トークンに分かれる、といった具合です。
英語だと"playing"が"play"と"ing"に割れることもあります。このトークンの数が、料金計算や処理量の基準になります。
②ベクトル化:単語を数字の地図に置き換える
次に、バラしたトークンを数字の並び(ベクトル)に変換します。
コンピュータは言葉のままでは計算できないので、意味の近い単語が近い座標になるよう、数百次元の地図上に配置するイメージです。
この地図の上では「王様」から「男」を引いて「女」を足すと「女王」の近くにたどり着く、なんて関係も表現できます。
言葉の意味を座標で扱えるようにする、地味だけど決定的に重要な工程です。
③Attention:文脈の「どこが大事か」を見る
ここがLLMの賢さの源泉です。Attention(注意機構)は、文章の中でどの単語がどの単語と強く関係しているかを計算します。
これによって文脈を踏まえた判断ができます。
英語の「He went to the bank.」(彼は銀行に行った)と「He fished on the river bank.」(彼は川岸で釣りをした)の「bank」。同じ単語でも、Attentionが周りの言葉(went to と river など)を見て、意味を使い分けます。
文脈を読む力は、ここで生まれています。
実務でもこの仕組みを意識して助かったことがあります。以前、AIコーディング用のルールファイル(CLAUDE.md)を1ファイルに詰め込んで運用していたら、途中から指示への反応が鈍くなりました。
トピック別に分割し、必要なファイルだけを都度読み込む形に変えたところ、精度がはっきり改善したのです。Attentionが「文脈の中で今どこが重要か」を計算する仕組みだと知っていたからこそ、見るべき範囲を絞ってやれば精度が上がる、という対処に行き着けました。
④次トークン予測:確率で次の単語を選ぶ
最後にモデルは、ここまでの情報をもとに「次にくるトークンの確率」を全候補について計算します。そして確率の高いものから1つを選んで出力する。
冒頭で説明した「予測機」の本体がここです。
毎回かならず最高確率を選ぶとは限りません。あえて少しランダム性を混ぜることで、同じ質問でも違う言い回しが返ってきます。
この「ゆらぎ」の強さを決めるのが、よく聞く温度(temperature)という設定です。
実際に動かして確かめる:ブラウザで動くちいさな言語モデル
ここまでの5ステップを、そのまま動かせる形にしました。画像も外部ライブラリも使わず、HTML・CSS・JavaScriptだけで組んだちいさな言語モデルが、この記事の中で実際に動いています。
文章を入れ替えて、つまみを回して、出力がどう変わるかを見てみてください。
HOW A LANGUAGE MODEL WORKS
ことばを数にして、
確率で返す
入力・パラメータ・出力。6つの段を、上から下へ流れていきます。
入力
モデルに渡す文章。途中で切れた文ほど、続きを書きたがります。
トークン化
モデルは文字も単語も見ていません。トークンという細切れの単位に分け、それぞれに番号(ID)を振ります。「単語ひとつ=トークンひとつ」とは限らないのがポイントです。
ベクトル化
トークンIDは、そのままでは意味を持ちません。ここで数字の列(ベクトル)に置きかえます。下のマス目が、そのトークンを表す8個の数字です。青はマイナス、橙はプラス。
アテンション
次の一語を決めるとき、モデルは手前のトークンをどれくらい参照するかを計算します。線が太いほど強く見ています。トークンを押すと、その位置から見た景色に切り替わります。
次の一語の確率
モデルの出力は文章ではなく、語彙ぜんぶ分の点数です。それをsoftmaxで確率に直し、つまみで形を変えてから、サイコロを振ります。切り捨てた候補のぶんは残った候補で割り直されるので、表に出ている数字は「切り捨て後の実際の目盛り」です。
よく見た文脈では直前2語の統計をそのまま使い、見たことのない文脈でだけ、二つ組→語そのものの頻度へと段階的に逃がしています(補間バックオフ)。この逃がし方が雑だと、「〜仕込むと」の次に「。」が7%も出るような、文脈を無視した確率になります。
出力
選ばれた一語を文の末尾に足して、またトークン化からやり直します。この往復だけで、文章ができていきます。
語彙・確率とも、このページに書いた数十文だけから作っています。世界の知識はどこにもありません。
つまみは何をしているのか
温度は、確率の山をならす強さです。低いほど一番人気だけを選ぶので、同じ入力から同じ文が出ます。上のデモで温度を0.3まで下げると、内蔵した例文をほぼそのまま思い出すのが見えます。逆に上げると、確率の低い語まで拾い始め、文が崩れていきます。
top-pは「確率の合計が◯%になるまでの候補だけ残す」、top-kは「上位◯個だけ残す」。どちらも、あり得ない語を引く事故を防ぐための柵です。top-kを3まで絞ると、下の候補が一気に薄くなるのが分かります。
くり返し抑制は、直近に出した語の点数を下げる仕掛けです。これがないと、モデルは同じ言い回しを延々と繰り返すことがあります。
見落としやすいのが、切り捨てたあとに確率を割り直していることです。top-pやtop-kで候補を削ると、残った候補だけで合計100%になるように配り直されます。珍しい語が思ったより出てくるのは、切り捨て前の見た目の確率より、実際の目盛りのほうが太っているからです。上のデモでは割り直したあとの数字を表示しています(カッコ付きの薄い行が、切り捨てられた候補の元の確率)。
「と」の次に「。」が来ないのはなぜか
このデモを最初に作ったとき、「朝のうちに自動化を仕込むと」の次の候補に、「。」が7.5%で並んでいました。接続助詞の「と」の直後に文が終わることは、まずありません。
原因は、ゼロ確率を避けるためのスムージング(平滑化)が雑だったことです。学習データに出てこない組み合わせの確率がゼロになると、その語は永遠に選ばれません。それを防ぐため、どの語にも「全体での出現頻度」を少し足して下駄をはかせていました。「。」はコーパス全体で最頻出なので、文脈と関係なく大きな下駄をもらっていたわけです。
いまは補間バックオフに直しました。直前2語の並びを何回見たかで重みを決め、よく知っている文脈では三つ組の統計をそのまま信じ、知らない文脈のときだけ下位の統計へ逃がすやり方です。同じ場面で「。」は0.6%まで下がり、切り捨てられる側に回りました。
では、本物のLLMはどうしているのか。答えはそもそも下駄をはかせていないです。膨大な文章から分布そのものを学習するので、「と」の直後の句点は自然に極端な低確率になります。手で決めた補正ではなく、学習の結果としてそうなる。ここが、統計を数え上げるだけのモデルとの決定的な差です。
このデモのモデルと、本物の違い
正直に書いておきます。上で動いているのは、デモ内に書いた38文だけを数え上げた、ごく小さな統計モデルです。直前の2トークンから次を予想しているだけで、Transformerの層も学習もありません。ベクトルも学習結果ではなく、文字コードから機械的に作った疑似的な数字です。
本物との差は、規模と学習にあります。語彙は258種類ではなく10万種類、文脈は2トークンではなく数十万トークン、数字は手で決めるのではなく膨大な文章から学習で決まります。そのうえ人間の評価で仕上げ(RLHF)をしているので、文章に不自然さが出にくいわけです。
けれど、入力をトークンに刻み、数にして、文脈を見て、次の一語の確率を出し、サイコロを振る——この骨組みは同じです。だから、AIが自信満々に間違えるのも当然です。正しさを確かめているのではなく、その場で一番ありそうな続きを選んでいるだけなのですから。
LLMの心臓部「Transformer」をかみ砕く
ここまで出てきたAttentionを軸に組み上げられた仕組みが、Transformer(トランスフォーマー)です。
いまのLLMはほぼ全部、このTransformerをベースにしています。
2017年にGoogleの研究者が発表した論文「Attention Is All You Need」が出発点でした。
名前はいかついですが、やっていることは「Attentionを何層も重ねて、文脈の理解をどんどん深める」だけです。
この発明があったからこそ、LLMはここまで自然な文章を書けるようになりました。逆に言うと、Transformerを知らずにLLMは語れません。
LLMの歴史をひとことで言うと(2017年のTransformer論文から)
Transformer以前の主流だったRNN系の技術は、文章を前から1単語ずつ逐次処理するしかありませんでした。2017年、Googleの研究者が論文「Attention Is All You Need」でTransformerを発表しました。これにより、文章全体を並列で処理できる道が開け、ここからGPTやBERTといった今のLLMの系譜が一気に花開きました。
Transformerが革命的だった理由
Transformer以前の技術は、文章を前から順番に1単語ずつ処理していました。
そのため長い文章だと前半の内容を忘れがちで、処理にも時間がかかりました。
Transformerは文章全体を一気に並列で見られます。だから長文でも文脈を保てるし、計算もまとめて回せて速い。
この「並列処理」と「長文への強さ」が、規模を一気に拡大できた最大の理由です。
・文が長いと前半の内容を忘れがち
・長文でも文脈を保ちやすい
自己注意機構(Self-Attention)の役割
Transformerの中核がSelf-Attention(自己注意機構)です。
これは、入力した文章の中の単語どうしが、お互いにどれだけ関係するかを計算する仕組みです。
「それ」「これ」が何を指すか、主語と述語がどう対応するか。Self-Attentionが文中の全単語を見比べて、関係の強さを重みづけします。
人間が文章を読むとき無意識にやっている「前後を見返す」作業を、数式で再現したものだと考えると親しみがわきます。
LLMはどう学習する?事前学習とファインチューニングの2段階
仕組みの形ができても、最初のLLMは何も知りません。賢くするには学習が必要で、これは大きく2段階に分かれます。
事前学習で土台を作り、ファインチューニングで使いやすく仕上げる、という流れです。
事前学習:ネットの大量テキストで次の単語を当てる練習
事前学習では、インターネット上の本・記事・コードなど、桁外れの量のテキストを読み込ませます。
やらせることは1つ、「文章の途中までを見せて、次の単語を当てさせる」です。
外れたら内部のパラメータを少し直す。これを何兆回も繰り返すうちに、文法も知識も言い回しも、自然と身についていきます。
膨大な穴埋めドリルを延々と解かせるイメージですね。ここで言葉の基礎体力が決まります。
ファインチューニングとRLHF:人間好みに矯正する
事前学習しただけのモデルは、知識はあっても受け答えが不親切だったり、危ない発言をしたりします。
そこで人間の手で行儀を整えるのがファインチューニングです。
とくにRLHF(人間のフィードバックによる強化学習)では、複数の回答を人が「こっちが良い」と評価し、その好みをモデルに覚えさせます。
ChatGPTが急に使いやすくなった裏には、この地道な矯正作業がありました。賢さの最後の一押しは、案外人力なんです。
LLMと生成AIの違いとは?一言でいえば「範囲」の違い
テキスト生成を担う「中核エンジン」です。
LLM=そのうち、言葉(テキスト)を扱う部分(範囲が狭い)
LLMと生成AIの違いは、指している範囲の広さです。生成AIはテキスト・画像・音声・動画など「何かを新しく作るAI」全般を指す広い言葉で、LLMはそのうちテキスト生成を受け持つモデルを指します。
ここまで何度も「LLM」と書いてきたので、あらためて「生成AI」との関係を、表と図で整理しておきます。
LLMと生成AIの違いを比較表で確認
まずは違いを表にまとめます。
ポイントは、生成AIが「カテゴリ名」で、LLMがそのカテゴリの中の「モデルの種類」だということです。
図でわかる「生成AIの中にLLMがいる」関係
生成AIは、作るものごとに担当のモデルが分かれています。
画像を作るMidjourneyやStable Diffusionは、生成AIではありますがLLMではありません。
一方、ChatGPT・Gemini・Claudeのようにテキストでやり取りするAIは、生成AIであり、中身にLLMを持っています。
AI・機械学習・生成AI・LLMの違いは「入れ子」で覚える
似た言葉が並ぶと混乱しますが、AIから順に範囲が狭くなる入れ子の関係だと考えると整理できます。
あくまで整理のための目安で、細かい例外はあります。まずは「LLMは生成AIの内側にある」とつかめれば十分です。
ChatGPTとLLMの違いは「車」と「エンジン」
もう1つ混同されやすいのが、ChatGPTとLLMです。
ChatGPTは製品名で、その中で動いているGPTがLLMにあたります。
エンジンだけでは人は乗れません。
画面や会話履歴、検索などを備えた「車」になって初めて、私たちが使える形になります。
画像生成AIとLLMは仕組みも違う
同じ生成AIでも、中身の仕組みは種類ごとに違います。
LLMは「次の単語を予測する」ことを繰り返して文章を作ります。
一方、画像生成AIは拡散モデルが主流で、ノイズだらけの画像から少しずつノイズを取り除いて画像を作ります。
補足
最近は1つのLLMが画像や音声も入力として受け取れる「マルチモーダル」化が進み、境界は少しずつあいまいです。それでも、文章を作る中核がLLMという整理は変わりません。
LLMと生成AIの違いを踏まえた使い分け
日常で言葉を選ぶときは、次のように考えると迷いません。
- 文章・コード・会話の話:「LLM」と言えば正確です
- 画像や動画も含めた話:「生成AI」と言うのが自然です
- 具体的なサービスの話:ChatGPTなど、製品名で呼ぶのが確実です
この記事でここまで説明してきた「トークン化→予測」の仕組みは、LLMが担うテキスト生成の中身そのものです。
LLMの弱点・課題は?知っておくべき2つのこと
仕組みがわかると、弱点も自然に見えてきます。LLMは万能ではありません。むしろ「予測機」という正体を踏まえると、苦手なことがはっきりします。
代表的な2つを押さえておきましょう。
ハルシネーション(それっぽい嘘)が起きる理由
ハルシネーションとは、LLMが事実でない内容を自信たっぷりに答える現象です。存在しない論文や、間違った人物の経歴を堂々と作り出します。
fastjsonx の使い方を教えて」注意
原因はシンプルで、LLMは「正しいかどうか」ではなく「それっぽく続くかどうか」で単語を選んでいるから。事実を確認する機能はそもそも入っていません。
だから重要な情報は、必ず自分で裏取りする。これは仕組み上、避けて通れない注意点です。
最新情報に弱い・計算コストが高い
LLMは学習した時点までの知識しか持ちません。学習のあとに起きた出来事は、追加の仕組みがない限り知らないままです。
だから「昨日のニュース」を聞いても答えられないことがあります。
もう1つはコストです。巨大なモデルを動かすには大量のGPUと電力が要ります。
最新情報を補うRAGや、軽量化する蒸留・量子化といった技術が盛んなのも、この弱点を埋めるためなんです。
LLMは何に使われている?代表的な活用シーン
仕組みがわかったところで、実際にLLMが何に使われているのかも押さえておきましょう。
「予測機」という正体を知ると、どのシーンで力を発揮するのかも腹落ちしやすくなります。
- チャットボット・カスタマーサポート:問い合わせへの自動応答で24時間対応を実現する
- 文章の作成・校正・要約:報告書やメールの下書き、長文の要約を短時間でこなす
- コード生成:Claude Codeのような開発支援ツールの中核として、プログラムの生成・修正を担う
SES時代のJava開発では、半日かかるバグ調査も珍しくありませんでした。当時はAIがなく、ログとソースコードを手動でひたすら追うしかなかった。
今はClaude Codeに任せれば秒で終わることも多く、変化の大きさを日々実感しています。ただしこれも「次の単語を予測しているだけ」という仕組みを理解した上で、出てきた答えを鵜呑みにせず裏取りしながら使う、という前提あっての話です。
- 多言語翻訳:文脈を踏まえたリアルタイム翻訳で、言語の壁をならす
よくある質問(FAQ)
ChatGPTとLLMは同じもの?
同じではありません。LLMは「次の単語を予測する」という仕組みそのものの名前で、ChatGPTはそのLLM(GPT)を使って会話に特化させた製品・サービスの名前です。LLMが土台のエンジン、ChatGPTがそのエンジンを積んだ車、とイメージすると関係がつかみやすくなります。
LLMは計算や数学が苦手って本当?
本当です。LLMは計算しているのではなく「それっぽい数字を予測」しているだけなので、桁の多い計算をよく間違えます。正確さが必要なら、電卓やコード実行と組み合わせるのが安全です。
ローカルLLMと普通のLLMの違いは?
仕組みは同じですが、動かす場所が違います。ローカルLLMは自分のパソコンやサーバーで動かすので、データを外に出さずに使えます。プライバシーを重視する場面で選ばれます。
仕組みを知らなくても使えるのでは?
使えます。ただ仕組みを知ると、嘘を見抜きやすくなり、指示の出し方もうまくなります。「予測機」だと理解しているだけで、トラブルへの心構えが変わります。
LLMと生成AIの違いをひとことで言うと?
生成AIはテキスト・画像・音声を含む「何かを生み出すAI」全般を指す広い言葉で、LLMはそのうちテキストに特化したものです。つまりLLMは生成AIの一種、という関係になります。
LLMはビジネスでどう使われていますか?
カスタマーサポートの自動応答、文章の作成・校正・要約、コード生成、多言語翻訳などで使われています。いずれも「次の単語を予測する」という同じ仕組みを土台にしています。
まとめ:仕組みを知ると使い方が変わる
LLMの仕組みを、もう一度かいつまんで振り返ります。難しい数式は抜きにして、流れだけ頭に残しておけば十分です。
- LLMの正体は「次の単語を確率で予測する機械」
- 文章作成はトークン化→ベクトル化→Attention→予測→出力の繰り返し
- 心臓部はAttentionを重ねたTransformer
- 事前学習で土台を作り、ファインチューニングとRLHFで仕上げる
- 意味を理解しないので、ハルシネーションと最新情報の弱さは宿命
私はこの「中身はただの予測機」という感覚を持ってから、LLMに過度な期待も失望もしなくなりました。賢いふりがうまい道具、くらいの距離感がちょうどいい。
重要な数値やAPIの仕様、存在するかどうか怪しいライブラリ名などは、答えをそのまま信じずに必ず一次情報を確認する。これだけで、ハルシネーションに振り回される場面はかなり減ります。
仕組みを知ることは、振り回されずに使いこなすための、いちばん地味で効く武器です。次にAIへ質問するとき、頭の中で確率を弾く小さな予測機を思い浮かべてみてください。きっと、答えの受け取り方が変わります。
| REV. | DATE | 内容 |
|---|---|---|
| 4 | 2026-10-06 | 記載内容の事実確認と修正 |
| 3 | 2026-09-17 | 2026年9月時点の情報で全体を見直し(古い記述を1件更新) |
| 2 | 2026-09-03 | 2026年9月時点の情報で全体を見直し(古い記述を1件更新) |
| 1 | 2026-06-06 | 初版 |