Open2023/02/27にコメント追加1optimizer.zero_grad()の意義PyTorchのなか2023/02/27 optimizer.zero_grad()って何しているのか いまさらだけどこれに引っかかった 学習のたびに0にしていたら学習進まないのでは 結論 重みと勾配を混同していた 重みは別に初期化していない 勾配法を使うために勾配を0にして初期値を0にしている 参考 https://euske.github.io/introdl/lec3/index.html#learn-optim https://teratail.com/questions/209355 https://ohke.hateblo.jp/entry/2019/12/07/230000
のなか2023/02/27 optimizer.zero_grad()って何しているのか いまさらだけどこれに引っかかった 学習のたびに0にしていたら学習進まないのでは 結論 重みと勾配を混同していた 重みは別に初期化していない 勾配法を使うために勾配を0にして初期値を0にしている 参考 https://euske.github.io/introdl/lec3/index.html#learn-optim https://teratail.com/questions/209355 https://ohke.hateblo.jp/entry/2019/12/07/230000
