🚀
【ディープラーニング基礎③】独立同分布(iid)
はじめに
ディープラーニングでは独立同分布を仮定しています。そもそも独立同分布とはどういう概念なのかについて説明します.
独立同分布と非独立同分布
独立同分布(Independent and Identically Distributed, IID)とは、確率論や統計学において、各データポイントが互いに独立しており、同一の確率分布に従うことを指します。これに対し、非独立同分布(Non-IID)は、データポイント間に依存関係があるか、異なる分布から生成されている場合を意味します。
IIDの具体例:
-
コイン投げ: 理想的なコインを複数回投げるとき、各投げは他の投げと独立しており、表と裏が出る確率は常に同じです。
-
サイコロの出目: 均一なサイコロを何度も振る場合、各結果は独立しており、各面が出る確率は等しいです。
いわゆる高校数学の「どうようにたしからしい」というものですね。
非IIDの具体例:
- 生存者バイアス: 何らかの選択過程を通過した人・物・事のみを基準として判断を行い、その結果には該当しない人・物・事が見えなくなることである。選択バイアスの一種である。例えば、梅干を食べていた人が長生きするというデータがあるとします。しかし、長生きできなかった人が梅干をどれほど食べていたかはわかりません。もしかするともっと多く食べていた可能性だってあるというわけです。
ディープラーニングとの関係:
ディープラーニングを含む多くの機械学習アルゴリズムは、トレーニングデータがIIDであることを前提としています。この仮定により、モデルはデータの基礎的なパターンを学習し、未知のデータに対しても適切に一般化できます。しかし、実際のデータは非IIDであることが多く、この場合、モデルの性能や収束に影響を与える可能性があります。
さらに、非IIDデータは、モデルの学習過程でショートカット学習(shortcut learning)を引き起こす可能性があります。これは、モデルがデータの表面的な特徴に依存し、真のパターンを学習しない現象であり、特に自然言語処理の分野で問題視されています。
このように、IIDと非IIDの概念は、ディープラーニングのモデル構築や評価において重要な役割を果たしており、データの特性に応じた適切な手法の選択が求められます。
Discussion