Skip to content

AI略史:記号論理から数千億パラメータ大規模モデルへ

AI発展の70年、三度の波、二度の冬を経験し、記号主義の論理推論から、コネクショニズムのニューラルネットワーク、さらに行動主義の強化学習を経て、最終的に今日の大規模モデル時代へと融合しました。AIの歴史を理解することは、現在の大規模モデルが持つ「知能」の本質的な源泉を見極める助けとなります。

Foundations
1940s-50s
1st Wave
1960s-70s
❄️ Winter I
1974-80
2nd Wave
1980s
❄️ Winter II
1987-93
ML Rise
1990s-2000s
Deep Learning
2010s
LLM Era
2018+
Tech Wave❄️ AI WinterLLM Era
📜Symbolism
Intelligence = symbolic reasoning / If-Then rules
Examples:Expert Systems, Deep Blue
→ Merging with connectionism (neuro-symbolic AI)
🧠Connectionism
Intelligence = neural networks + massive data
Examples:AlphaGo, GPT series
→ Dominates the LLM era, current mainstream
🎮Behaviorism
Intelligence = interaction with environment / RL
Examples:AlphaGo (RL component)
→ Merging with connectionism (deep RL)

一、理論的基礎と記号主義の誕生(1940s-1950s)

コンピュータが本格的に普及する以前から、先駆者たちは「機械は人間のように思考できるか」という問いに向き合っていました。この時期の研究は主に、脳神経の数学的モデリング、計算理論の探究、そして論理推論の自動化に集中していました。1956年のダートマス会議により、「人工知能(Artificial Intelligence)」は独立した学問分野として正式に誕生しました。

Core idea of Symbolism — encoding knowledge as rules
IF temperature > 38.5°C AND WBC count > 11000
THEN diagnosis = "bacterial infection"
IF diagnosis = "bacterial infection" AND no penicillin allergy
THEN treatment = "penicillin 400mg / twice daily"
// The early medical expert system MYCIN (1977) consisted of 450+ rules like these
Human experts translate experience into IF-THEN rules; the machine matches and executes them one by one

1.1 中核理論とマイルストーン

  • ニューラルネットワークの最初の構想(1943年):神経生理学者ウォーレン・マカロック(Warren McCulloch)と数学者ウォルター・ピッツ(Walter Pitts)が MPニューロンモデル を提唱。彼らは初めて、人間の脳神経細胞の動作メカニズムを簡単な数式で抽象化しようと試み、「ニューロンネットワークは計算可能である」ことを証明しました。これは今日のすべてのディープネットワークの原点となりました。
  • チューリングの究極の問い(1950年):コンピュータ科学の父アラン・チューリング(Alan Turing)は、歴史を変える論文「計算機械と知性」を発表し、有名なチューリングテストを提唱しました。彼は「知能とは何か」という哲学的論争を避け、実用的な操作基準を示しました:もし機械が対話の中で人間に人間か機械か区別できなければ、その機械は知能を持っているとみなす、というものです。
  • 学問分野の正式な確立(1956年):ダートマスの夏季セミナーで、ジョン・マッカーシー(John McCarthy)、マービン・ミンスキー(Marvin Minsky)ら若手研究者が一堂に会しました。マッカーシーは提案書の中で初めて「Artificial Intelligence」という用語を使用し、この年はAI元年とされています。

記号主義(Symbolism)の台頭

初期のAI研究では、記号主義が圧倒的な主導的地位を占めていました。当時のコンピュータは主に論理回路で動作していたため、研究者たちは当然のように「知能の本質は記号の推論である」と考えました。 世界の知識をコンピュータが理解できる記号(概念やルールなど)に変換し、論理推論エンジン(IF-THENルールなど)でそれらの記号を処理すれば、機械は人間のように思考できるはずだ——。これはトップダウンのアプローチであり、人間の専門家による知識の入力を高度に依存するものでした。


二、記号主義の黄金時代と第一次AIブーム(1960s-1970s)

誕生後の最初の十余年で、AIは盲目的な楽観に満ちた黄金時代を迎えました。研究者たちは「機械がすでに数学の定理を証明できるのだから、あらゆる人間の問題を解決できるプログラムもすぐに書けるはずだ」と信じていました。

2.1 エキスパートシステムの輝かしい時代

記号主義の集大成はエキスパートシステム(Expert Systems)でした。各分野のトップ専門家の「経験則(Rule)」をコンピュータに入力することで、特定の垂直領域において高水準の診断や意思決定を実行できるようになりました。

エキスパートシステム誕生年歴史的意義と実用的価値
Dendral1965年初のエキスパートシステム。質量分析データから化学分子構造を推論し、その性能は人間の化学専門家に匹敵しました。
MYCIN1977年血液感染の診断と抗生物質の推奨に使用され、精度は69%に達し、当時の多くの非専門医を上回りました。
XCON1980年初期で最も成功した商用エキスパートシステム。Digital Equipment Corporation(DEC)が顧客要件に基づいてコンピュータシステムを自動構成するために使用し、年間4000万ドルのコスト削減を実現しました。

しかし、エキスパートシステムの華やかさの裏には、越えられない溝が潜んでいました。

2.2 第一次AIの冬(1974-1980)

時が経つにつれ、「人間の知識をルール化する」という道はますます狭まっていきました。記号主義の三つの致命的な限界が、最終的に研究資金の全面的な打ち切りを招きました。

知識獲得のボトルネック:人間にも説明できない知識(例えば「どうやって猫を認識するか」)があり、これは「ポランニーのパラドックス」と呼ばれます。エキスパートシステムは明確に表現できるルールだけをハードコーディングでき、自律的に学習することはできませんでした。

組み合わせ爆発と脆弱性問題:現実の状況は多すぎて網羅が極めて困難であり、常識が欠如しているため、ルールベースからわずかでも逸脱するとシステムは直接クラッシュしました。

計算能力不足と資金断絶:当時のハードウェアの計算能力では爆発的な論理推論をまったく支えられず、DARPAの研究開発予算の大幅削減にも見舞われました。


三、エキスパートシステム(人間の経験をコードに翻訳したプログラム)と第二次AIブーム(1980s)

1980年代に入ると、マイクロコンピュータと専用LISPマシンの普及に伴い、エキスパートシステムは再びビジネス界から注目を集めました。日本政府は野心的な「第五世代コンピュータ計画」を打ち出し、自然言語を理解できる知能マシンの実現を目指し、世界中でパニック的な追随投資を引き起こしました。

3.1 商用応用の爆発と崩壊

この時代、ほぼすべての大手多国籍企業が独自のエキスパートシステム(人間の専門家の経験を何万ものIF-THENコードに翻訳したプログラム)を開発していました。しかし、これらのシステムのメンテナンスは極めて苦痛を伴うものになりました。ルールベースが数万件を超えると、新しいルールを一つ修正するだけで他の十のルールと衝突することが頻繁に発生しました。1980年代末には汎用PCの性能が爆発的に向上し、高価で閉鎖的な専用AIマシンはまったく競争力を失いました。

❄️ 第二次AIの冬(1987-1993)

1987年、AIハードウェア市場は完全に崩壊しました。「第五世代コンピュータ計画」は実際のハードウェアアーキテクチャから過度に乖離していたため、最終的に頓挫しました。企業がエキスパートシステムに投じた資金は水の泡となり、AI研究は再びどん底に落ち、「人工知能」という言葉は学術界でさえ資金を騙し取るための蔑称となりました。

3.2 暗闇の中で息づくコネクショニズム

この二度の浮き沈みの中で、実はもう一つのまったく異なるアプローチが存在していました——コネクショニズム(Connectionism)、すなわち今日私たちが言うところのニューラルネットワークです。

1Feature x₁
0Feature x₂
×0.6
×0.4
Σ
0.3
Bias -0.3
sum > 0 ?
1Fire
① Input features ② Multiply by weights (importance) ③ Sum + bias ④ Fires output 1 if above threshold, otherwise 0

コネクショニズムは1958年にフランク・ローゼンブラット(Frank Rosenblatt)によってパーセプトロン(Perceptron)の形で提唱されました。これは、脳がニューロン間の結合の重みを調整することで学習する仕組みを模倣したものです。機械に明確な「ルール」を教えるよりも、大量の「例」を見せて、自分で帰納させるという発想です。しかし、1969年にミンスキーは著書『パーセプトロン』において、当時の単層ネットワークの限界(単純なXOR問題が解けないこと)を厳密な数学で証明しました。これにより、コネクショニズムは記号主義の黄金時代を通じて長らく冷遇され続けました。歴史の歯車が90年代に進むまでは。


四、機械学習の台頭とコネクショニズムの復活(1990s-2000s)

1990年代に入ると、AI分野に重要な現実主義的転換が起こりました。「人間のような魔法の知能」を実現する方法を語り合うのではなく、厳密なデータ統計手法を用いて現実の分類問題や予測問題を解決することに重点が置かれるようになりました。これが従来の機械学習(Machine Learning)の台頭です。

4.1 硬直したルールから「数学的境界を見つける」へ

1997年、IBMの「ディープブルー(Deep Blue)」がチェスの世界チャンピオン、ガルリ・カスパロフを破り、記号主義に世界が注目する栄光をもたらしましたが、学術界はすぐにこれが単なる「計算能力+大量のハードコーディング」の勝利に過ぎず、ディープブルーはチェスを本当に理解しているわけではないと気づきました。

同時期に、サポートベクターマシン(SVM)、決定木、ランダムフォレストに代表される古典的機械学習アルゴリズムが異軍突起し、その後十数年にわたる絶対的な主流となりました。

従来のエキスパートシステムがコンピュータに「メールに『当選』という文字が含まれていたらスパムとする」と教えていたのに対し、機械学習のアプローチはこうです:人間がまずいくつかの中核的特徴を設定し(特徴量エンジニアリング)、例えば「メールの長さ」「特殊語彙の頻度」「送信者の信頼度」などを決め、次に何万ものラベル付きメールをコンピュータに入力します。この多次元空間において、サポートベクターマシン(SVM)は定規を持った数学者のように、厳密なカーネル関数の推論を用いて、正常なメールとスパムメールの間に「最も広く、最も安全な数学的分離線」を精密に引きます。

サポートベクターマシンは多くのタスクで大成功を収めましたが、致命的な弱点がありました:特徴量エンジニアリング(Feature Engineering)が人間に高度に依存していることです。 例えば猫の画像を認識する場合、人間の科学者は機械に「まずエッジを抽出せよ」「次に三角形の耳を探せ」と教えなければならず、機械は自力で猫の姿を見つけられなかったのです!これにより、モデル能力の上限は人間の認知によってしっかりと固定されていました。

4.2 バックプロパゲーションがニューラルネットワークを復活させる

ディープラーニングの真の基礎はこの時期に築かれました:

1
➡️
Forward Pass
Data flows through the network to produce a prediction
2
📐
Compute Loss
Prediction vs. ground truth → calculate loss
3
⬅️
Backpropagation
Trace back each weight's "responsibility" layer by layer
4
⚙️
Update Weights
Adjust proportionally to reduce future error
Loss decreases over training epochs:
HighLowLossTraining Epochs

この潜伏期に、ジェフリー・ヒントン(Geoffrey Hinton)らはバックプロパゲーション(Backpropagation)の中核的価値をさらに明確にしました:多層ニューラルネットワークが誤った予測を出したとき、その誤差を水波のように層ごとに逆伝播させ、各隠れ層のニューロンに「今回の誤りであなたはどれだけの責任を負っているか、次回はきちんと修正せよ!」と伝えることができるのです。

これにより1960年代のニューラルネットワークへの束縛がついに打破され、隠れ層を持つネットワークが可能になりました。しかし当時はデータが少なすぎ、ハードウェアも弱すぎたため(まともなGPUさえありませんでした)、ニューラルネットワークはSVMなどの従来の機械学習モデルにまだ全面的に勝つことはできませんでした。三つの起爆点が揃うまでは。


五、ディープラーニング革命とコネクショニズムの主導(2010s)

2010年代、ビッグデータ(ImageNetプロジェクトなど)の成熟計算能力の爆発(GPUの並列計算への大規模適用)、そしてアルゴリズムの改良(勾配消失問題の解決)に伴い、「ディープラーニング」は第三次AIブームの幕を轟音とともに開けました。

ディープラーニングと従来の機械学習の本質的な違いは何か?その指標は「特徴の自動抽出(表現学習)」です。 ネットワークの層が十分に深ければ(数十層から数百層)、ニューラルネットワークは最も生のピクセルを直接取り込み、下位層は自ら線を認識することを学び、中間層は毛並みのテクスチャを認識することを学び、上位層はこれが「猫」であることを直接認識します。この革命において、傲慢だった人間はついに権限を手放し、ネットワーク自身に最も重要な視覚、音声、テキストの特徴を見つけさせたのです。

5.1 画像と競技における全面的突破

2012年、ヒントン率いるチームが開発した AlexNet(古典的な畳み込みニューラルネットワークCNN) が、有名なImageNet画像分類コンペティションに参加しました。他の参加者がまだ従来の手法で手作りの視覚特徴を苦労して抽出している中、AlexNetは直接的に圧倒的な性能差を見せつけ、エラー率を26%から一気に15.3%へと半減させ、従来のコンピュータビジョン学界全体を震撼させました。この絶対的な支配力により、その後数年間、ディープラーニングを使用していない論文はトップカンファレンスにほぼ一切採択されなくなりました!

その後数年間、AI技術は刻一刻と猛スピードで進化しました:

Input LayerHidden Layers (stackable)Output Layer
Input Layer
Raw pixels / numerical signals
Hidden Layers (stackable)
Low → edges; Mid → shapes; High → semantic concepts
Output Layer
Final classification or prediction
突破年画期的成果深遠な影響
2014年GAN(敵対的生成ネットワーク)の提唱二つのネットワークが「互いに競い合う」(一方が偽造、他方が見破る)ことで、AIは驚くほどリアルな画像を生成する能力を持ち始めました。
2015年ResNet(残差ネットワーク)の登場革新的な「ショートカット」構造を導入し、ネットワークの深層化に伴う学習不能問題を解決。ニューラルネットワークに数百から数千層もの積層を可能にしました。
2016年AlphaGo が李世ドルに勝利ディープラーニングと強化学習の融合の頂点。「機械は人間の囲碁に永遠に勝てない」という断言を打ち破り、世界を震撼させました。

行動主義(Behaviorism)と強化学習

AlphaGoはもう一つの学派——行動主義の勝利を象徴しています。それは知能が主体と環境の動的な相互作用から生まれるとする考え方で、まるで子犬に「お座り」を教えるように、正しくできれば報酬、間違えれば罰を与えます。巨大な仮想環境の中で絶え間なく自ら試行錯誤し対局を重ねることで、AlphaGoは人間のトップ棋士すら気づかなかった戦略を編み出しました。

5.2 Transformer:大規模モデルを生み出す揺り籠

2017年、すべての運命の歯車が回り始めました。Googleは論文「Attention Is All You Need」において、まったく新しいディープラーニングアーキテクチャ——Transformerを提唱しました。

Attention distribution when processing "his":
Johngavetheappletohismother
John
62%
gave
8%
the
3%
apple
10%
to
5%
his
7%
mother
5%
"his" sits mid-sentence, yet the model directs 62% attention to "John" at the start — resolving the pronoun across distance

従来、ある文を処理する際(例えばRNNモデル)、AIは左から右へ一語ずつ読むことしかできず、後ろを読んだ頃には前を忘れていました。しかしTransformerの自己注意機構(Self-Attention)はこの制限を完全に打ち破りました:AIに文全体を「一目で見渡す」ことを可能にし、「りんご」という単語を見たとき、文脈に応じてそれが果物を指すのか、スティーブ・ジョブズの携帯電話会社を指すのかを自動的に判断できるのです。

それは本質的に並列計算に適しており、無限のデータを取り込み、無限に積み重ねることが可能でした。この瞬間、大規模言語モデル(LLM)の基盤が完成したのです。


六、大規模モデル時代と汎用知能の夜明け(2018年〜現在)

Transformerが際限のない狂気じみた計算能力と膨大なデータに出会ったとき、AI開発の歴史的パラダイムは永遠に変わりました。科学者たちは驚くべき現象を発見しました:自己注意機構に基づくアーキテクチャは、どうやら永遠に「満腹にならない」ようなのです。従来のディープラーニングモデルは賢さに天井がありましたが、TransformerはGPUの大規模並列計算に完璧に適合し、与えるデータが増え、ネットワーク層が深くなればなるほど、その性能は無限に向上し続けるのです。

6.1 「事前学習+ファインチューニング」パラダイムの確立:特化型から汎用型へ

従来のAIは「一つのタスクに一つの小さなモデル」でした:翻訳用には翻訳モデルを専門に訓練し、チャット用にはチャットモデルを専門に訓練する——まるで一つの技能だけを持つ「スペシャリスト」を育てるようなものでした。しかし2018年、OpenAIの GPT-1 とGoogleの BERT の発表により、状況は「力こそすべて」という新しいパラダイムへと変わりました。

まずは事前学習(Pre-training)です。これは大規模言語モデルの中核的知能の99%を構成します。科学者たちは、全人類がインターネット上に残した数兆語に及ぶ文章、名著や典籍、コンピュータコード、さらには百科事典的知識を、巨大なTransformerネットワークにすべて注ぎ込みました。そして与えられた訓練タスクは、単純な「文章の続きを予測する(次の単語予測)」だけでした。

人間の言語における様々な「次の単語」を極めて精密に予測するために、モデルはその数千億に及ぶニューロンのパラメータの中に、世界の動作法則全体を自ら内面化し凝縮せざるを得ませんでした!それは主語・述語・目的語の文法を完全に習得しただけでなく、「りんご」が赤い果物であることを知り、「ニュートンがりんごの落下から万有引力を発見した」という背後の論理まで把握できるようになりました。これはまるで、子供が文法書を意識的に暗記しなくても、膨大な蔵書を幅広く読むことで、複雑な世界を理解する能力を自然に身につけるようなものです。

GPT-12018
117 M
Pre-train + fine-tune paradigm
GPT-22019
1.5 B
Zero-shot generalization
GPT-32020
175 B
⚡ Emergence! In-context learning
GPT-42023
~1.8 T
Multimodal + complex reasoning

GPT-2(15億パラメータ)からGPT-3(1750億パラメータ)へと至る中で、科学者たちは衝撃的な創発能力(Emergent Abilities)を発見しました——モデルが十分に巨大になると、量が恐ろしい質的変化を引き起こしたのです。特別な訓練を一切受けていなくても、巨大パラメータのモデルは自ら論理推論、コード作成、文脈内学習の能力を「悟った」のです。これは人間がわざわざコードで教える必要はまったくありませんでした。

6.2 生成AIの爆発とChatGPTの核爆発的瞬間

博識で世界の常識を内包した巨大な事前学習モデルを手に入れた後、完璧なパーソナルAIアシスタントを作り上げるには最後の一歩が残っていました:ファインチューニング(Fine-tuning)です。なぜなら、事前学習モデルは盲目的に文章の続きを書くことだけに慣れており、ユーザーの「指示」を理解することも、きちんと一問一答の対話を行う方法も知らなかったからです。

2022年11月、OpenAIは巧みに RLHF(人間のフィードバックに基づく強化学習) 技術を導入しました。彼らは大勢の専門家を雇い、モデルの回答に対して採点と修正を行いました。これはまるで、極めて聡明だが口が過ぎる天才に、明確なコミュニケーションの境界線と礼儀のガイドラインを設定し、穏やかで理路整然とした対話アシスタントへと強制的に塑造するようなものです。こうして、ChatGPT が誕生しました。

一夜にして、AIはもはや退屈な研究室のおもちゃではなく、すべての一般人の手の中にある汎用的な知恵の頭脳となりました。

その後、壮大なマルチモーダルの紀元が開かれました:

  • 2023年:複数の感覚の融合。 Midjourney、Stable Diffusionに代表される画像生成モデルがデジタルアート産業を刷新しました。同年発表された GPT-4 は、極めて高難度の視覚画像理解と長距離論理関連推論能力システムを融合させました。
  • 2024年の爆発から現在まで:物理世界のシミュレーション。 Soraなどのリアルな動画生成モデルの発表、そして感情や音色を含むリアルタイムエンドツーエンド音声大規模モデルの全面的な実用化に伴い、AIは単なるテキスト処理から、三次元空間、光影の移り変わり、さらには繊細な声の調子や感情を含む完全な世界への全体的な知覚を急速に広げています。

七、AI三大学派の融合と未来展望

この70年を振り返ると、機械に数学の定理を推論させること(記号主義)から、統計的境界を探すこと(従来の機械学習)、試行錯誤の中で囲碁に勝利すること(行動主義/強化学習)、そして膨大なデータを飲み込んで常識を創発する大規模モデル(コネクショニズムの極致形態)まで、人工知能の発展は決して止まることはありませんでした。

今日の大規模モデルは一見、人間が作成した硬直的な「ルール」を放棄したように見えますが(記号主義の本来の目的)、実際には数千層のネットワークに暗黙的に埋め込まれた膨大なパラメータの中に、人間の論理よりもはるかに深遠な「暗黙のルール」を学習しカプセル化しています。現在の大規模事前学習モデルにおける思考の連鎖(Chain of Thought)による長距離推論手法は、かつて記号学派が追求した論理的検証と段階的厳密性という古典的思想の、ニューラルネットワークにおける再生ではないでしょうか。

大規模モデル時代の頂点から見渡すと、未来の汎用人工知能(AGI)は以下のいくつかの極めて広大かつ深遠な探求の道に沿って進んでいます:

  1. 統一されたネイティブな神経中枢へ(ネイティブマルチモーダル): 未来のモデルはもはや「テキストモデル+音声モデル」を繋ぎ合わせたフランケンシュタインではありません。GPT-4oに代表されるアーキテクチャは、同一のスーパーネットワークでテキスト、画像、動画ストリーム、そして超低遅延の高感情三次元波形音声を同時に取り込み、知覚し、理解します。
  2. 具現化知能(Embodied AI): 極めて高い知能指数を持つ「脳」がシリコンのサーバールームに閉じ込められているだけでは、物理世界から真理を検証することはできません。Boston Dynamicsやヒューマノイドロボットとの融合により、スーパーAIは両手を持ち、試行錯誤の中で私たちとまったく同じ物理的客観法則を習得することが期待されています。
  3. エージェント知能システム(Agentic AI): 現在のほとんどのLLMは、依然として「一問一答の受動的な計算機」の段階に留まっています。一方、AI Agentの時代において、大規模モデルはついに自律的に行動する権限を完全に付与されます。あなたがマクロな自然言語の指示を一言与えるだけで(例えば「来週ノルウェーにオーロラを見に行くためのすべての航空券とホテルを調査・計画し、カレンダーの予定を生成して」)、AI Agentは長期的記憶に基づき、自律的に数十のサブタスクに分解し、仮想ブラウザを開いて実際の航空会社の検索APIを呼び出し、複雑な検証や比較確認まで完了します。それらはもはやキー入力を受動的に待つ反響壁ではなく、疲れを知らないデジタル労働力の集合体なのです。

螺旋状に上昇するこの長い技術的旅路の中で、歴史は常に驚くほど似ていますが、決して繰り返すことはありません。私たちは今まさに、「アルゴリズムにルールを死硬的に入力する」ことから「機械が自律的に世界の法則を定義する」ことへの、最も心躍る歴史的断面を目撃しているのです。

🌟 AI Development Stages & Core Paradigms at a Glance
📜
Rule-Based Era
1960s - 1980s
Driver
Human-coded knowledge
Core Mechanism
If-Then logical deduction
Key Examples
DendralDeep Blue
📊
Classical ML
1990s - 2000s
Driver
Manual feature engineering + statistics
Core Mechanism
Finding mathematical decision boundaries
Key Examples
SVMRandom Forest
🧠
Deep Learning Revolution
2010s
Driver
Big data + GPU compute
Core Mechanism
Neural nets auto-extract features
Key Examples
AlexNet (CNN)AlphaGo (RL)
💬
Large Language Models
2018 - present
Driver
Massive unlabeled data + brute-force compute
Core Mechanism
Next-token prediction + emergent knowledge
Key Examples
GPT-4Claude 3
🤖
Agentic AI
Now - future
Driver
LLM brain + environment perception
Core Mechanism
Autonomous planning + tool use
Key Examples
AI ProgrammerEmbodied AI