🔢
外積と内積の雰囲気をつかむ
行列や内積、つまりテンソルを扱う上で100%出てくる内積と外積。
内積は高校で習う気がするけど、外積って習ってない気がします（気のせい？）。
特に初歩的な統計学では、相関係数が[-1,1]となることの根拠になっているので、割と見かける機会はあるが、外積はそこまで頻繁に遭遇しないイメージ。
でも機械学習の文脈になってくると外積がめちゃくちゃ出てきます。よくわからんけど計算させられることもしばしば。
そこでちょっとそれらの意味を厳密さよりもわかりやすさ、イメージのしやすさを重視して考えてみた。
内積のイメージ
- 特定の軸に沿ってテンソルの要素を掛け合わせて足し合わせる操作
- 内積の結果は元のテンソルよりも次元が低いテンソルになる
- 特定の軸に沿った「一致度」や「類似度」を表す
外積のイメージ
- 各テンソルの各要素を掛け合わせて新しいテンソルを作る操作
- 外積の結果は元のテンソルよりも次元が高いテンソルになる
- 元のテンソルが持つ構造や関係性を拡張する
イメージの比較
- 内積の結果は元のテンソルよりも次元が低いテンソルになる
- 特定の軸に沿った「一致度」や「類似度」を表す
-
内積は2つのテンソルをその共通部分へと凝縮するイメージ
情報をもっとざっくりとした目線（類似度など）へ落とし込む、的な
- 外積の結果は元のテンソルよりも次元が高いテンソルになる
- 元のテンソルが持つ構造や関係性を拡張する
-
外積は2つのテンソルの情報を持ってより高次の概念に昇華するイメージ
今ある情報をもっと俯瞰した目線でとらえたい、的な
まとめ
さらにイメージ（妄想）を膨らませて書くなら
- 内積は自分が神で、神が持ち得る情報を人間が理解できる尺度に落とし込んであげる、的な
- 外積は自分が人間で、人間が持ち得る情報で神の尺度を目指す、的な
ものなのかな、と思いました
Discussion