Duffusionモデル関連で分からなかった用語（勉強メモ）
はじめに
Diffusionモデル関連で分からない用語がいくつかあったので、後から見返せるよう書き留めておきます。
分からなかった用語
ガウス分布とは？
ガウス分布（または正規分布とも呼ばれます）は、統計学や確率論において広く用いられる確率分布です。ガウス分布は連続型の確率分布であり、その形状は一つのピークを持ち、左右対称でベル型の曲線となります。
ガウス分布は平均値（μ）と分散（σ^2）という2つのパラメータで特徴付けられます。平均値は分布の中心位置を示し、分散はデータが平均値からどれくらい散らばっているかを示します。分散が小さいほど、データは平均値の周りに集中し、分散が大きいほどデータはより広がります。
ガウス分布は多くの自然現象や統計データにおいて観察されることがあります。中心極限定理によって、独立な確率変数の和が大数のもとでガウス分布に収束するという性質があります。そのため、実際のデータや測定結果がガウス分布に従う場合が多いと仮定することが統計的な解析やモデリングにおいて有用です。
ガウス分布は確率密度関数（probability density function, PDF）で表され、次のような式で表されます：
f(x) = (1 / √(2πσ^2)) * exp(-((x-μ)^2) / (2σ^2))
ここで、xは確率変数の値、μは平均値、σ^2は分散を表します。ガウス分布の曲線は平均値を中心に左右対称であり、分散の値によって曲線の幅が決まります。
ガウシアンノイズとは？
ガウシアンノイズ（Gaussian noise）は、ガウス分布（正規分布）に従う確率的なノイズのことを指します。ノイズとは、信号やデータに不要なランダムな変動が加わることを指し、ガウシアンノイズはその中でも特にガウス分布に従うノイズを指します。
ガウシアンノイズは、さまざまな自然現象や測定装置などで生じるノイズのモデル化において広く使用されます。例えば、電子回路の測定データ、画像処理、音声処理などの分野でよく利用されます。
ガウシアンノイズは、平均値が0であり、分散（または標準偏差）が与えられることが一般的です。平均値が0であるため、ガウシアンノイズは基本的にはシグナルの増減を引き起こすだけで、シグナル自体のバイアスを持ちません。また、ガウシアンノイズの特徴として、異なる独立なノイズ成分の加算によって生じることがあります。
ガウシアンノイズは、その性質から統計的なモデリングやフィルタリング、信号処理などの応用で広く使用されます。また、中心極限定理によって、複数の独立なランダムな要素が加わる場合、それらの要素がガウス分布に従う場合が多いとされています。このため、自然界や測定データなどの多くの現象において、ガウシアンノイズの仮定は一般的には妥当なものとされます。
DDPMとは？
機械学習の文脈における「DDPM」とは、Diffusion Models (拡散モデル) または Denoising Diffusion Probabilistic Models (ノイズ除去拡散確率モデル) を指すことがあります。
DDPMは、データ生成モデルの一種であり、確率的生成モデルのフレームワークの一部です。DDPMは、ノイズが加わったデータから元のクリーンなデータを推定するために使用されます。
DDPMは、ノイズを逐次的に追加することによってデータを変換するプロセスをモデル化します。具体的には、クリーンなデータをノイズがない状態として考え、その後、時間ステップごとにノイズが加わります。DDPMは、このデータの拡散プロセスを確率的な変換としてモデル化し、ノイズが加わったデータを逆変換することで元のデータを推定する能力を持ちます。
DDPMは、生成モデルの一種として、画像生成やデータの補完、ノイズ除去などのタスクに応用されます。DDPMは、確率的な変換を学習するために逆のモデル（デコーダ）を使用することが一般的です。学習は、データセットにおける観測データとノイズデータのペアを使用して行われます。
ただし、機械学習の分野は常に進化しており、新しい手法やアルゴリズムが現れることもあります。そのため、DDPMに関連する最新の研究や具体的な実装については、最新の文献や研究資料を参照することをおすすめします。
MCMCとは？
MCMC（Markov Chain Monte Carlo）は、機械学習や統計モデリングなどの分野で広く使用される手法の一つです。MCMCは、確率的なサンプリングを用いて、複雑な確率分布からのサンプルを効率的に生成するための手法です。
MCMCは、マルコフ連鎖（Markov chain）とモンテカルロ法（Monte Carlo method）の組み合わせです。マルコフ連鎖は、過去の状態に基づいて次の状態を生成する確率的な遷移プロセスを表現します。モンテカルロ法は、確率的なサンプリングを用いて数値積分や確率分布の特性を推定する手法です。
MCMCでは、マルコフ連鎖を使用して、目標とする確率分布のサンプルを生成します。具体的には、初期状態から始めて、現在の状態から確率的に次の状態を生成します。この過程を繰り返すことで、マルコフ連鎖が収束し、目標分布に従うサンプルを生成することが期待されます。
MCMCは、特にベイズ統計モデリングにおいて頻繁に使用されます。ベイズ推論では、事前分布と観測データに基づいて事後分布を推定する必要があります。MCMCは、事後分布からのサンプルを生成するために使用され、パラメータの事後分布や予測分布などの統計的な推論を行うのに役立ちます。
MCMCにはいくつかの手法がありますが、代表的な手法にはMetropolis-HastingsアルゴリズムやGibbsサンプリングなどがあります。これらの手法は、異なる問題に応じて適切なサンプリング手法を選択することが重要です。
MCMCは、確率モデリングやベイズ推論における重要なツールであり、実世界の問題においても広く応用されています。
画像における高周波、低周波成分とは？
画像における高周波成分は、画像内の急激な変化や細かい詳細を表します。画像は、低周波成分（低い変動領域）と高周波成分（高い変動領域）の組み合わせとして表現されます。
高周波成分は、画像内のエッジや線、テクスチャ、ノイズなど、細部や局所的な変化を表現します。例えば、画像内の物体の境界や輪郭は、高周波成分として捉えられます。また、テクスチャが存在する場所や、ノイズの影響が強い領域も高周波成分の一部です。
画像処理や画像解析のコンテキストでは、高周波成分を抽出したり、画像の低周波成分と高周波成分を分離したりすることが一般的です。これにより、画像の特徴や構造を分析しやすくなります。
一般的な画像処理手法では、画像を周波数領域に変換するためにフーリエ変換やウェーブレット変換などの手法が使用されます。これによって、低周波成分と高周波成分が分離され、それぞれの成分に対して異なる処理や解析が適用されることがあります。
画像の高周波成分は、画像の詳細な部分やエッジ情報を表現するため、画像処理のタスクやアプリケーションにおいて重要な役割を果たします。例えば、エッジ検出や画像の鮮鋭化（シャープニング）、ノイズ除去、画像圧縮などの処理において高周波成分の利用が行われます。
参考
Discussion