ラビット・チャレンジ レポート 応用数学

第1章：線形代数

1.1 スカラーとベクトルの違い

スカラー

• 普通の数
• ＋−×÷の演算が可能
• ベクトルに対する係数になれる

ベクトル

• 「大きさ」と「向き」を持つ
• 矢印で図示される

1.2 行列

行列

• スカラーを表にしたもの
• ベクトルを並べたもの（ベクトルのベクトル）

行列の積(例題)

$$\begin{align} \begin{pmatrix} 1 & 2 \\\\ 3 & 4 \end{pmatrix} \begin{pmatrix} 5 & 6 \\\\ 7 & 8 \end{pmatrix} &= \begin{pmatrix} 1 \times 5 + 2 \times 7 & + & 1 \times 6 + 2 \times 8 \\\\ 3 \times 5 + 4 \times 7 & + & 3 \times 6 + 4 \times 8 \\\\ \end{pmatrix} \\\\ &= \begin{pmatrix} 19 & 22 \\\\ 43 & 50 \end{pmatrix} \end{align}$$

第2章：確率・統計

2.1 確率

頻度確率(客観確率)

• 発生する頻度
• 例：「10本のうち1本だけ当たりのクジを引いて当選する確率を調べたところ、10%であった」という事実

ベイズ確率(主観確率)

• 信念の度合い
• 例：「あなたは40%の確率でインフルエンザです」という診断

2.2 条件付き確率

• ある事象$X=x$が与えられた下で、$Y=y$となる確率

$$P( Y=y | X=x ) = \frac{P(Y=y, X=x)}{P(X=x)}$$

2.3 独立な事象の確率

• お互いの発生には因果関係のない事象$X=x$と事象$Y=y$が同時に発生する確率

$$\begin{align} P( Y=y | X=x ) &= P(X=x)P(Y=y) \\\\ &=P(Y=y, X=x) \end{align}$$

2.4 ベイズ則

• 一般的に事象$X=x$と事象$Y=y$に対して...

$$P( X=x | Y=y )P(Y=y) = P(Y=y | X=x)P(X=x)$$

2.5 確率変数と確率分布

確率変数

• 事象と結び付けられた数値
• 事象そのものを指すと解釈する場合も多い

確率分布

• 事象の発生する確率の分布
• 離散値であれば表に示せる

事象	裏が0枚, 表が3枚	裏が1枚, 表が3枚	裏が2枚, 表が2枚	裏が3枚, 表が1枚	裏が4枚, 表が0枚
確率変数	4	3	2	1	0
事象が発生した回数	75	300	450	300	75
事象と対応する確率	$$\frac{1}{16}$$	$$\frac{4}{16}$$	$$\frac{6}{16}$$	$$\frac{4}{16}$$	$$\frac{1}{16}$$

2.6 期待値

• その分布における, 確率変数の 平均の値 or 「ありえそうな」値

事象$X$	${x_1}$	${x_2}$	・・・	${x_n}$
確率変数$f(X)$	$$f({x_1})$$	$$f({x_2})$$	・・・	$$f({x_n})$$
確率$P(X)$	$$P({x_1})$$	$$P({x_2})$$	・・・	$$P({x_n})$$

$$期待値E(f) = \sum _{k=1} ^{n} {P(X={x_k})f(X={x_k})}$$

連続する値なら・・・

$$期待値E(f) = \int P(X=x)f(X=x)dx$$

2.7 分散と共分散

分散

• データの散らばり具合
• データの各々の値が，期待値からどれだけズレているのか平均したもの

$$\begin{align} Var(f) &= E((f(X=x) - E(f))^{2}) \\\\ &= E(f^2(X=x) - (E(f))^2 \end{align}$$

共分散

• 2つのデータ系列の傾向の違い
• 正の値を取れば似た傾向
• 負の値を取れば逆の傾向
• ゼロを取れば関係性に乏しい

$$\begin{align} Cov(f, g) &= E((f(X=x) - E(f)) (g(Y=y) - E_(g))) \\\\ &= E(fg) - E(f)E(g) \end{align}$$

2.8 標準偏差

分散は2乗してしまっているので, 元のデータと単位が違う
→ 2乗することの逆計算（平方根を求める）をすれば元の単位の戻る

$$\begin{align} \sigma &= \sqrt{Var(f)} \\\\ &= \sqrt{E((f(X=x) - E(f))^2)} \end{align}$$

2.9 様々な確率分布

ベルヌーイ分布

• コイントスのイメージ
• 裏と表で出る割合が等しくなくとも扱える

マルチヌーイ分布

• さいころを転がすイメージ
• 各面の出る割合が等しくなくとも扱える

二項分布

• ベルヌーイ分布の多試行版

ガウス分布

• 釣鐘型の連続分布

第3章：情報理論

3.1 自己情報量

• 対数の底が2のとき, 単位はビット(bit)
• 対数の底がネイピアの$e$のとき, 単位は(nat)

$$I(x) = -\log(P(x)) = \log(W(x))$$

3.2 シャノンエントロピー

• 微分エントロピーともいうが, 微分しているわけではない
• 自己情報量の期待値

$$\begin{align} H(x) &= E(I(x)) \\\\ &= -E(\log(P(x))) \\\\ &= -\sum(P(x)\log(P(x))) \end{align}$$