📝

[統計学] 数理統計学の主要な概念の定義一覧

2023/04/30に公開

定義

  • 確率実験(random experiment)

    • 偶然性を伴った試行あるいは観測.
  • 全事象

    • 一つの確率実験に対し, 起こり得る結果の全体を全事象といい, \Omega で表す.

    • ex: サイコロを振ったときの全事象

      \Omega=\{1,2,3,4,5,6\}
  • 事象

    • 標本空間・全事象の部分集合を事象といい以下で表す.
    • A \subset \Omega.
    • 定義より事象は集合であるから, 和集合や積集合, 補集合(complement), 差集合(relative complement)を考えることが出来る. 特に積集合を積事象(intersection), 和集合を和事象(union)という.
    • また, 事象 A, BA \cap B = \empty であるとき, A, B は互いに排反(disjoint)という.
  • 確率

    • 全事象 \Omega とその可測集合族 \mathcal{B} に対する可測空間 (\Omega, \mathcal{B}) 上の確率とは以下を満たす測度である.
    • P(A):\mu(\Omega)=1.
    • また, 三つ組 (\Omega, \mathcal{B}, P) を確率空間という.
  • 確率変数

    • 確率空間 (\Omega, \mathcal{B}, P) のもとで\omega \in \Omegaを実数に対応づける関数 X(\cdot): X(\omega) \in \R , つまり \omega\longmapsto X(\omega) を確率変数(random variable)という. 任意の実数 x に対してX \leq x である確率は, 以下の様にして(\Omega, \mathcal{B}) 上で定義された確率P を用いて与えることが出来る.

      P(X \leq x) = P(\bigl\{ \omega \in \Omega | X(\omega) \leq x \bigr\})
    • ただし, 以下が成り立っている必要があることに注意する.

      \forall x\in\R, \; \bigl\{ \omega \in \Omega | X(\omega) \leq x \bigr\} \in \mathcal{B}
    • なお, これより先については便宜上成り立っていることとする.

  • 標本空間

    • 1つの \omega \in \Omega に対してX(\omega) = x なる X の値が定まる. この x を実現値といいその全体の集合 \mathcal{X}X の標本空間(sample space)という.

    • 全事象にたいして以下が標本空間となる.

      \mathcal{X} = \bigl\{X(\omega)|\omega \in \Omega\bigr\}
  • 累積分布関数

    • 確率変数X の累積分布関数(cumulative distribution function: 以下cdf)を以下の様に定義する.

      F_X(x) = P(X \leq x)
    • 関数F(x) がある確率変数の分布関数になる為の必要十分条件は次の3つの条件が成り立つことである.

      \begin{align*} &(a)\quad\lim_{x \rightarrow -\infty}F(x) = 0, \quad \lim_{x \rightarrow \infty}F(x) =1\\ &(b)\quad \forall x_k <x_j, F(x_k) < F(x_j) \\ &(c)\quad \forall a, \lim_{x \rightarrow a+} F(x) =F(a) \end{align*}
    • (b)である関数のことを非減少関数, (c)が成り立つ関数のことを右連続関数であるという.

    • 左連続が言えない例として, 累積分布関数が階段関数になる例が存在する. 累積分布関数が階段関数になる確率変数のことを離散型確率変数という.

    • ある確率変数 X の累積分布関数が F であるときXFに従う(X \:\text{is according to}\; F)という.

  • 離散型確率変数・連続型確率変数

    • 累積分布関数が階段関数である確率変数を離散型確率変数(discrete random variable)といい, 連続型である確率変数を連続型確率変数(continueous random variable)という.
    • discreteという単語は離散という意味であり, 他の統計の用語にもたびたび出現する. (離散積分など)
  • 確率関数・確率密度関数

    • 累積分布関数ではP(X\leq x) を求めていたが, ある一点についての確率を考える. 離散型確率変数について確率関数(probability mass function: 以下pmf)を以下のように定義することができる.

      \begin{align*} \mathcal{X} &= \big\{ x_1, x_2,\cdots\big\},\; x_1<x_2,\cdots\\ \\ f_X(x)&= \begin{cases} p(x_i)&(x=x_i)\\ 0&(x \notin \mathcal{X}) \end{cases} \\ \\ p(x_i) &= P(X=x_i) \\ &= P( \omega \in \Omega\;|\;X(\omega)=x_i)\\ &= P(\omega\in \Omega \;|\;X(\omega)\leq x_i)-P(\omega\in \Omega \;|\;X(\omega)\leq x_{i-1})\\ &= F_X(X_i)-F_X(X_{i-1}) \end{align*}
    • 連続型変数の場合1点の測度が0なので, 離散型の確率関数のように定義することが出来ない. そこで一点に対してではなく微小領域を定義することで確率関数のような関数を構成する.

      F_X(x) = \int_{-\infty}^xf_X(t) dt, \quad -\infty < x < \infty
    • このような関数f_X(x) が存在するとき, f_X(x) を確率密度関数(probability density function: 以下pdf)という.

補足

確率

確率について測度の議論を前提としたため補足する.

  • (ルベーグ)外測度

    • 外測度の定義は以下である.
    • m_*(A) = \mathbf{inf} Z_A.
    • \text{Where} \; Z_A =\big\{\sum_{n=1}^{\infty} l(I_n): I_n \; \text{is section}, A \subset \bigcup_{n=1}^{\infty} I_n \big\}.
    • 説明は省略するが, 外測度は加算劣加法性が成り立つ.
    • \forall \{E_n\}_{n=1,\cdots} \quad m_*(\bigcup_{n=1}^{\infty} E_n) \leq \sum_{n=1}^{\infty} m_*(E_n).
    • 逆に言えば加算加法性は成り立たない. そこで加算加法性が成り立つ集合を考える. (加算加法性は下記参照)
    • i\ne j, \; E_i \cup E_j=\empty, \; m_*(\bigcup_{n=1}^{\infty} E_n) \leq \sum_{n=1}^{\infty} m_*(E_n).
  • ルベーグ可測

    • 定義: 集合 E \subset \R がルベーグ可測であるとは以下を満たすことをいう.

    • m_*(A) = m_*(A \cap E) + m_*(A \cap E^c),\; \text{Where} \; E^c \coloneqq \R\setminus E.

    • 集合がルベーグ可測であるとき以下のような性質を持つ. すなわち, \mathcal{M} はσ-家宝族であることを意味している.

    • ただし, \mathcal{M}\R の全てのルベーグ可測な部分集合族.

      \begin{align*} \R &\in \mathcal{M} \\ E &\in \mathcal{M} \Rightarrow E^c \in \mathcal{M} \\ n&=1, \cdots \; E_n \in \mathcal{M}, \;j\ne k, \; E_j \cap E_k=\empty \Rightarrow m_*(\bigcup_{n=1}^\infty E_n) = \sum_{n=1}^\infty m_*(E_n). \end{align*}
  • 測度

    • 任意に与えられた集合 \Omega と, \Omega上の σ-加法族 \mathcal{F}, そして, 非交差的な集合に対して上記を満たす関数 \mu: \mathcal{F}\rightarrow[0,\infty] を測度という.
    • また, このとき3つ組, (\Omega, \mathcal{F}, \mu) を測度空間と呼ぶ.

参考文献

Discussion