行列の計算例のスライドは作った #snow_SU

誤差逆伝播法の計算例のスライドを作っていた #snow_SU

微分の過程を図で示すの結構めんどそう #snow_SU

簡単な推論の例が一致していることは確認した #snow_SU

フレンの配信見ながら計算例を作ってた。字では書けるけど図では説明しづらさそう #snow_SU

計算過程の確認用の実装をした。平日は仕事後の時間を貴重に感じる #snow_SU

とても小さいネットワークでの逆伝播法の計算過程の例を実装したい #snow_SU

誤差逆伝播法はギリ説明資料作れそうだけど、畳み込みはまだ実装してないから分からん #snow_SU

サンプルコードの途中で使う関数がsigmoidからreluに変わってたけど、sigmoidだと誤差逆伝播法でもbackwordの計算が重いな。精度の上がり方もreluより悪い #snow_SU

本とWebのサンプルコードでsoftmaxの実装が違っていたのが原因だった。これで5章は終わった #snow_SU

誤差逆伝播法の実装動かしてみたけど損失関数が全然減って無いな。めちゃ高速ではあるが #snow_SU

やっぱ難しい事を理解するには実際に手を動かしてコードを書いてデバッグで追うのが合ってるなと思う #snow_思考 #snow_SU

今日は出社したけど頭痛がわりとしてた。飲み会はおもんない。うるさくて不快。1時間もあれば十分。シコってから風呂沸かすのめんどかったのでシャワーのみ。電車で技術書を少し読んだが逆伝搬の理屈が分からない #snow_日報 #snow_SU

p128の逆伝播でどっから2.2が出てきたか分からんが、最終的な値段÷リンゴの値段で出してるの？ #snow_SU

単に全ての入力に対して損失関数の結果を計算して、それを総入力数で割ったものを損失関数の値とすればいいだけか #snow_SU

1つの入力と答えに対し、損失関数に対する勾配を計算してずらして行けば精度が上がるのは分かるが、入力と答えが複数ある場合のイメージが付いてない #snow_SU

30分くらい集中して技術書を読めて、少し疲れてきた #snow_行動 #snow_SU

sizeって多次元配列だと全要素数返すからこのサンプルコード通らなくない？と思ってサイトに見に行ったらcommonのメソッドの実装が本と違ってたのにはまってた #snow_SU