2024/07/17

基礎理論

集合と論理

要素 => 集合Xに属するもの
空集合φ
有限集合・無限集合
要素数が2^n個の要素から成り立つ集合 => べき集合

命題と論理

※ p,qは命題
条件命題 => 命題に含まれる変数xによって真偽が決まる命題
連結命題 => p ∧ q
選言命題 => p ∨ q
否定命題 => ¬p

命題p, q
p → q　のとき ¬p →¬q
裏
p → q　のとき q → p
逆
p → q　のとき ¬q → ¬p
対偶

排他的論理和 (A ∩ ¬B) ∪ (¬A ∩ B)

カルノー図 => 論理式を図示したもの

情報量

情報には、情報の量（情報の多さ少なさ）と情報の質（情報の妥当か正当か）の2つの側面がある

• 情報量（I）
  I(J) = -log2(J)
  0 <= P(J) <= 1 ※ P(J) は事象の起こる確率

• 情報量の加法性
  事象J1とJ2があった時それぞれ独立の事象であれば和を取ることができる性質
  平均情報量、エントロピーともいうらしい

• 平均情報量H
  H = nΣk=1 {P(Jk) * I(Jk)}
  P(Jk) => 事象の起こる確率
  I(Jk) => 事象の情報量

感想

情報量の話は初耳学

書き忘れたけど、本はこれを使ってます。
https://amzn.asia/d/03Wkmpwv

1日20ページくらいのペースで頑張ろう〜

2024/07/18

基礎理論

情報源符号化

• 通信路符号化
  情報を正しく伝達するための符号化
• 情報源符号化
  情報の量をできる限り短く（小さく）するための符号化

ハフマン符号化

• 出現度の高いデータは短いビット列で、出現度の低い文字列は長いビット列で表現する符号化

1. 各文字種の出現率で重み付けする。
2. ハフマン木を作成する。
   ※ ハフマン木のルートノード（根）は100%
   ハフマン木は文字の種類をノード（葉）にもつ。
   木の重みの大きい順に並び替える。

ランレングス符号化

• データ列冗長度に着目して同じデータの値が連続する部分はその反復回数とデータの値の組に置き換える符号化
  ex. AAAAA44444BCCCC => 4A440B3C

デジタル符号化

パルス符号変調（PCM: Pulse Code Modulation）

• アナログデータをデジタル符号に変換する符号化

標本化（サンプリング）
アナログ信号を一定時間感覚で切り出すこと。
1秒間にサンプリングする回数 => サンプリング周波数
量子化
サンプリングしたアナログ値をデジタル値に変換すること。
量子化ビット数 => 1回のサンプリングで生成されるビット数

符号化
量子化で得られたデジタル値を2進符号形式に変換すること
ex. 180 => 10110100

1秒間に生成されるデジタルデータ量
= サンプリング回数 * 量子化ビット数
= サンプリング周波数 * 量子化ビット数