【ディープラーニング基礎①】ディープラーニングの歴史

はじめに

私は研究でディープラーニングを利用しています。復習がてら本を読むので、ここからはディープラーニングについて説明します。まずはその歴史についてです。

AIブーム

AI（人工知能）の研究は、これまでに3度のブームと停滞期を経験しています。ここでは、第一次AIブームと第二次AIブームについてまとめます。

第一次AIブーム（1950年代後半～1960年代）

• 背景と始まり: 1956年、アメリカのダートマス会議でジョン・マッカーシーが「Artificial Intelligence（人工知能）」という用語を初めて使用し、AI研究が本格的に始まりました。

• 主な研究内容: この時期の研究は、「推論」と「探索」に焦点を当てていました。コンピューターを使ってチェスや数学の定理証明など、特定の問題に対して解を導くことが試みられました。

• 限界と終焉: しかし、現実世界の複雑で不確定な問題に対処することは難しく、AIに対する過度な期待が失望に変わりました。その結果、研究への支援が減少し、第一次AIブームは終息しました。

第二次AIブーム（1980年代）

• 背景と始まり: 1970年代の停滞期を経て、1980年代に第二次AIブームが到来しました。この時期には、コンピューターの性能向上とともに、新たなアプローチが模索されました。

• 主な研究内容: このブームの中心は、「エキスパートシステム」の開発でした。エキスパートシステムとは、特定の専門知識をコンピューターに組み込み、専門家のような判断や推論を行うシステムです。これにより、医療診断や故障診断などの分野での応用が期待されました。

• 限界と終焉: しかし、エキスパートシステムは知識の更新や拡張が難しく、柔軟性に欠けるという問題がありました。また、システムの構築には多大な労力とコストがかかるため、実用化が進まず、再びAI研究は停滞期を迎えました。

これらのブームを経て、AI研究は現在の第三次AIブームへと続いています。

シンボリック派 vs ノンシンボリック派（1950～1960年代）

AIには大きく分けてシンボリック派とノンシンボリック派が存在しています。

それぞれの特徴

• シンボリック派: 明示的なルールや知識ベースを使う方法。LISPと呼ばれるプログラミング言語が主に利用されました。現在でもSchemeという後継があります。
• ノンシンボリック派: 人間の脳の働きをモデルにしたニューラルネットワークを研究する派閥。パターン認識、データから直接学習しようとしました。

ノンシンボリック派の復活と成功

• 1986年: ヒントン教授らが「バックプロパゲーション」を発表。ニューラルネットワークの性能が飛躍的に向上しましたが、計算資源不足で広く普及せず。
• 2006年: ヒントン教授が「ディープビリーフネットワーク」を提案し、ディープラーニング研究の再ブームを起こしました。

劇的な成果と2010年代のブレイクスルー

• 2012年: ImageNetコンペティション

  • ヒントン教授のチームがディープラーニングを用いたモデル（AlexNet）で画像認識の精度を飛躍的に向上。これがディープラーニングの商業利用を加速させました。

• 以降の成功例

  • 自然言語処理: BERTやGPTのようなモデルの登場。
  • 医療、自動運転、音声認識など幅広い応用。

まとめ

• AIは最初、シンボリック派が中心でしたが、ニューラルネットワークを基盤とするノンシンボリック派が徐々に実力を示しました。
• 2度のAIブームと冬の時代を経て、2000年代以降、計算資源とデータの進化によりディープラーニングが本格的に成功。
• 2012年のImageNet大会は、ノンシンボリック派の勝利を象徴する出来事となり、AI技術の発展における重要なターニングポイントです。