Python機械学習プログラミング
radidaniPython機械学習プログラミング
radidani第一章
機械学習におけるノーフリーランチ定理（No Free Lunch theorem：「無料のランチはない」定理）とは、あらゆる問題を効率よく解けるような“万能”の「教師ありの機械学習モデル」や「探索／最適化のアルゴリズム」などは存在しない（理論上、実現不可能）、ということを主張する定理である。
"全部知ったうえで適切なのを選びなはれ"ということを伝えたいのだと思う
機械学習の軽い全体像と環境構築
デザインが好きだからJupyter NotebookではなくJupyter Labを使う
radidani第二章
パーセプトロン、ADALINEを用いて2値分類を実装した
勾配降下法で駆動方法（?）によってバッチ勾配降下法、確率的勾配降下法、ミニバッチ勾配降下法があるらしいです
偏微分が出てきてビビる
numpyを前提とした実装で、ソースを読むときに変数の次元について考えなければならず、読むのが遅い.
そしてndarray.dotの挙動が以下の記事にある通り直感的ではない😅
(助かりました)https://qiita.com/ao_log/items/64768b67153e8fb6820b
radidani雰囲気だけ理解
radidaniADALINEとパーセプトロンとの違い
正解のクラスラベルと
パーセプトロン：予測したクラスラベルと比較する
ADALINE：線形活性化関数から出力された連続値と比較する
radidaniバッチ勾配降下法と確率的勾配降下法との折半案の
ミニバッチ学習が最適では？？
radidani第三章
層化サンプリングとは入力の各クラスの比率をテストデータセットと訓練データセットで保持する手法
radidaniモデル.score(X_test, y_test)で予測と評価をしてくれる
radidaniオッズ比の対数がロジット関数でロジット関数の逆関数がロジスティックシグモイド関数ね。
なるほど、なるほど、、、
radidani尤度、対数尤度(log-likelihood)、対数尤度をもとにしたコスト関数
yが1と0で視力検査みたいに一方を見なくするのが面白い
コストの求め方で、シグモイドの対数のマイナスで頭の中の符号がごちゃごちゃになったけどChatGPTの助けをもって理解
radidani負の対数尤度関数を偏微分してマイナスと学習率を掛けるとADALINEの時に使った勾配降下法の更新規則と同じらしい。
radidaniなんでL2正則化の項を追加すると、ノイズが取り除かれるのか分からない
radidani損失関数に必ず重み分のペナルティが課せられる。
そして重みの更新の時にも正則化の項の影響があるから？
radidaniサポートベクターマシン（Support Vector Machine）は線形分離が前提だが、スラック変数を用いることで誤分類を許容しながら収束することが出来る（ソフトマージン分類：soft-margin classification）
最小化する対象のCを操作することで、バイアスとバリアンスのトレードオフの調整が可能
radidani途中でnumpyの添え字の認識違いがあった。
[:, 1]は2列目の全行らしい
radidaniカーネルSVMが最強、カーネルトリック様様
radidani決定木には情報利得があり、親ノードと子ノードの不純度の差が最大となるように分割を決めていく。
決定木は意味解釈可能性があるが、ランダムフォレストは決定木ほどのそれはない。
ブートストラップ標本のサイズは最適化できるが、訓練データセットのサイズと同じ値が最適らしい？
scikit-learnも訓練データセットのサイズと同じ値が選択される。
radidaniそして気になる多数決
radidaniKNNは訓練データセットを記憶して最も近いK個から多数決を取る。
訓練に時間はかからないが、予測時間は訓練データセットや次元に比例して長くなる。
ノンパラメトリックモデルという概念があまり理解できない
どうしてカーネルSVMがノンパラメトリックモデルなんだろう？