誤差逆伝播法

【今日の1日1スキル👩‍💼】DS-210 モデル化 - 深層学習 ⭐️⭐️ Residual Connection(Skip Connection)が誤差逆伝播法（Backpropagation）における勾配消失問題の緩和策となっていることを理解している

誤差逆伝播法の計算？は分かったけど、PytorchのBackwardは何を計算してるの？傾き(biasやweight)かな？ その後、勾配降下でパラメータを更新？

100いいね！ | 物理を習ったことがある人向けの誤差逆伝播法 by @cometscome_phys bit.ly/3yzQZrv

#今日の積み上げ 【入門】誤差逆伝播法(Python)【数値計算】 多層パーセプトロンによる分類をPythonで実施。 一応ちゃんと分類できた。 #駆け出しエンジニアと繋がりたい simulationroom999.com/blog/error-bac…

【今日の1日1スキル👩‍💼】DS-209 モデル化 - 深層学習 ⭐️⭐️ 誤差逆伝播法（Backpropagation）における勾配消失、勾配爆発の問題を理解し、適切な活性化関数・重みの初期化方法の選択、Gradient Clippingなどの緩和策を実施できる

#UoPeople CS4407 Unit 6のニューラルネットワークから教科書ついていけてないのに、Unit 7のBack Propagationが日本語の動画ですら理解できなくてうわーーーーーッとなっています。もう一回参考文献読もう。 誤差逆伝播法（バックプロパゲーション） youtu.be/SgBDx8DqBZw?si…

#今日の積み上げ 【入門】誤差逆伝播法(MATLAB)【数値計算】 多層パーセプトロンによる分類をMATLABで実施。 一応ちゃんと分類できた。 #駆け出しエンジニアと繋がりたい simulationroom999.com/blog/error-bac…

#JSAI2024 で新しい自動微分の方法を提案するので叩きに来てください 低分散で省メモリな勾配推定のためのForward Gradientと誤差逆伝播法の結合 confit.atlas.jp/guide/event/js… pic.twitter.com/q5n8p7SIHW

#今日の積み上げ MATLAB,Python,Scilab,Julia比較 第4章 ✅誤差逆伝播法⑩ 多層パーセプトロンによる分類をJuliaで実施。 一応ちゃんと分類できた。 #駆け出しエンジニアと繋がりたい simulationroom999.com/blog/compare-m…

ニューラルネットワークについては誤差逆伝播法を理解できたら初心者卒業だよね

誤差逆伝播法（バックプロパゲーション） | Chapter 3, ニューラルネットワークの仕組み youtu.be/SgBDx8DqBZw?si… @YouTubeより 毎日寝る前に一本ずつ見てるけど、ナレーションしてるのは誰なんだ……むっちゃ聞き取りやすいのだが

#今日の積み上げ MATLAB,Python,Scilab,Julia比較 第4章 ✅誤差逆伝播法⑨ 多層パーセプトロンによる分類をScilabで実施。 一応ちゃんと分類できた。 等高線による分類表記がうまく行かなかったため、境界線をplotしている。 #駆け出しエンジニアと繋がりたい simulationroom999.com/blog/compare-m…

#今日の積み上げ MATLAB,Python,Scilab,Julia比較 第4章 ✅誤差逆伝播法⑧ 多層パーセプトロンによる分類をPythonで実施。 一応ちゃんと分類できた。 #駆け出しエンジニアと繋がりたい simulationroom999.com/blog/compare-m…

#今日の積み上げ MATLAB,Python,Scilab,Julia比較 第4章 ✅誤差逆伝播法⑦ 多層パーセプトロンによる分類をMATLABで実施。 一応ちゃんと分類できた。 #駆け出しエンジニアと繋がりたい simulationroom999.com/blog/compare-m…

誤差逆伝播法のところを高校数学のみで説明するのに挫折している 無理 偏微分と勾配法まで説明するのは無理 つらい やめたい 分かりはするけど分かりやすい説明に落とし込めない

link: 誤差逆伝播法（バックプロパゲーション） | Chapter 3, ニューラルネットワークの仕組み youtu.be/SgBDx8DqBZw

#今日の積み上げ 【入門】誤差逆伝播法②【数値計算】 連鎖律の「プログラミングするための最適化」は連鎖律上の共通部分の特定が重要。 連鎖律の共通部分の算出。 共通変数で実際の処理に相当する数式を書き出し。 #駆け出しエンジニアと繋がりたい simulationroom999.com/blog/error-bac…

#今日の積み上げ 【入門】誤差逆伝播法①【数値計算】 多層パーセプトロンの重みを決定するための誤差逆伝播法が必要。 誤差逆伝播法の全体像を確認。 出力層の連鎖律と各偏導関数を導出。 隠れ層から誤差関数までの連鎖律を導出。 #駆け出しエンジニアと繋がりたい simulationroom999.com/blog/error-bac…

有用性は不明なんですが誤差逆伝播法が現実の脳細胞で起こるのかという観点ではあり得ないから大嫌いで、そこを現実に寄せて独自にモデリングしたら論理上変な点が含まれるけどそれで動くからこれは別にええやんけという感性の優先度づけに天才の人みを感じました

ディープラーニングの勉強本を見始めたのだけど、初学者向けじゃなかったから最初のトピックが誤差逆伝播法でもはや鬼なんです。 あれ、偏微分って文系高校で習ったっけ。でもなんか聞いたことある…が高校数学全く抜け落ちてる 導関数…？ e…？ 合成関数？ 開区間？ やばいタスケテ

#今日の積み上げ MATLAB,Python,Scilab,Julia比較 第4章 ✅誤差逆伝播法⑥ 連鎖律の共通部分の算出。 いままでの部品の組み合わせで導出できる。 共通変数で実際の処理に相当する数式を書き出し。 ついでに学習率を加味した各重み各バイア… #駆け出しエンジニアと繋がりたい simulationroom999.com/blog/compare-m…

週末も近いのですが、頑張って誤差逆伝播法を学びました。一応学んだのですが、正直腹落ちしていない(テキストを写しておおよそ理解はしたけど、自分で実際に手を動かしての導出はしていなかったため)ので、今度自分でそれっぽい例を題材に計算・導出をしてみたいと思います。ちょうどよく眠たいですね

#今日の積み上げ MATLAB,Python,Scilab,Julia比較 第4章 ✅誤差逆伝播法⑤ 連鎖律の「プログラミングするための最適化」は連鎖律上の共通部分の特定が重要。 連鎖律の共通部分を特定。 共通部分を変数化。 変数化したもので連鎖律を表現し… #駆け出しエンジニアと繋がりたい simulationroom999.com/blog/compare-m…

お医者さんに誤差逆伝播法の話したらめちゃ受けて嬉しい

#今日の積み上げ MATLAB,Python,Scilab,Julia比較 第4章 ✅誤差逆伝播法④ 隠れ層から誤差関数までの合成関数を確認。 隠れ層から誤差関数までの連鎖律を導出。 #駆け出しエンジニアと繋がりたい simulationroom999.com/blog/compare-m…

#今日の積み上げ MATLAB,Python,Scilab,Julia比較 第4章 ✅誤差逆伝播法③ 出力層の合成関数を確認。 出力層の連鎖律と各偏導関数を導出。 多層であるが故に、順伝播時の中間変数を記憶しておく必要がある。 #駆け出しエンジニアと繋がりたい simulationroom999.com/blog/compare-m…

#今日の積み上げ MATLAB,Python,Scilab,Julia比較 第4章 ✅誤差逆伝播法② 誤差逆伝播法の全体像を確認。 更新したい重みとバイアスの層によって連鎖律のルートが少し変わる。 出力層と隠れ層の合成関数を確認。 #駆け出しエンジニアと繋がりたい simulationroom999.com/blog/compare-m…

#今日の積み上げ MATLAB,Python,Scilab,Julia比較 第4章 ✅誤差逆伝播法① 多層パーセプトロンの重みを決定するための誤差逆伝播法が必要。 多層に渡っているため少しメンドウクサイ。 各層の連鎖律を求めその後結合させたりプログラミング… #駆け出しエンジニアと繋がりたい simulationroom999.com/blog/compare-m…

某AI検定終了 受講体験を経てますます悶々としてしまった 📷某検定対話履歴分析結果 添付： 出題構成比率テーブルにまとめた (佐藤のリアル絶叫ボイスメモから自動AI集計) こんな配分だった模様 📷難しいよ技術用語 活性化関数、誤差逆伝播法、勾配消失問題… pic.twitter.com/sAUXSotKu9

「中学生でもわかる誤差逆伝播法」みたいな記事書きたい

誤差逆伝播法を使ったニューラルネットワークを、関数とかレイヤとかから全部手作りで作った。2回目だから理論の理解が結構深まったので、tensorflowとかの外部ライブラリを使う練習に移っていきたい。 pic.twitter.com/4fm2HByUjH

【独り言】 GW中の目標であった「誤差逆伝播法」にたどり着きました。偏微分、連鎖律には、２月から格闘していました。 ３月様々なことが重なり、勉強できませんでしたが、４月からエンジンを掛けなおして、現在に至っています。 ８月末のE資格には絶対に間に合わせたい！！ #E資格 #リスキリング

誤差逆伝播法の計算例のスライドを作っていた #snow_SU

AIの基礎からパーセプトロン、誤差逆伝播法、LLMの概念まで、絵付きで分かりやすく説明していた。

ていうか　#生成AI が隆盛を迎えている中、誤差逆伝播法をやろうとしてるの我ながらロックでウケる🤣

近々CUDAで誤差逆伝播法を実装したい

明日のTODO 小さなニューラルネットワークの推論、勾配法での学習、誤差逆伝播法での学習の例を作る。名取同時視聴を見る。夏用のパジャマを買う #snow_TODO

学んだことはいつ役に立つかわからないと言うけど、まさかコース料理の高級店でのお食事会で誤差逆伝播法の話する人生だとは思わなかった。ありがとうゼロから作るDeep Learning①