並べ替え：新着順
- 境界の狭間を攻撃して誤分類させたり、勾配降下法の勾配が大きくなるようなデータを混入させる ・論理型AIによる未知の脆弱性の網羅的な検証(Mayhem) dropbox.com/scl/fi/w8vegdl…
発想の元はベクトルの加法じゃないか。乗法だ ベクトルa,bの積は|a||b|cosθだから、θがπ/2のときに最小値を取る、つまり、コーシー・シュワルツの不等式により、与式は-|a||b|となる これを2つのベクトルではなく、ニューラルネットワークが持つ無数の変数に対して行う操作が勾配降下法
勾配降下法面白すぎる ベクトルΔx=-η∇f ほぼ無限次元の坂道∇fの一番「低い」位置までの最短ルートを探すために一歩一歩微分してより低い場所を探していく 歩幅ηの決め方は研究しよう 発想の元がベクトルの加法なのも面白い
統計学が最強の学問である[数学編] この本で、私は数学を学び直しました!(^^)!数とは何か？から始まり、勾配降下法などの大学数学まで一気に学べて素晴らしいいです。 bookloveru2.com/post/statistics #統計 #西村先生
おはようございます 朝活今日も有効に活用できました 勾配降下法の予測計算まで 次は ・損失計算 ・勾配計算 ・パラメータ修正 予測値の計算グラフですが 簡単なコードでグラフ化できるので 驚いています では 行ってきます #朝活 #PyTorch&深層学習プログラミング pic.twitter.com/R9LjyT9JuX
Phase1で作ったモデル「Tanuki-8b」は、指示追従性の向上を最優先し、 幻覚を大量に含む人工合成データを100万件以上も学習させるという、「学生勾配降下法」的なことをしました。 Phase2では、事前学習モデルのサイズ・基礎性能、指示データの質・量が出力に及ぼす影響を精査したいです。 pic.twitter.com/mKa337AULE
自分の専門の実験化学・材料系は、現象が複雑・予測不能すぎて、理論よりも実験結果が先行することが多いです。 実際、「理論では説明できない予想外の結果を頑張って発見するのが醍醐味」くらいのモチベーションでやってる方も多いので、だいぶ、深層学習と親和性が高まってきた気がします。
#キャルちゃんのquantphチェック グラフ彩色問題を解くための、量子インスパイアド手法を提案。積状態におけるquditを活用したもので、各quditがグラフ頂点を表し、d次元球座標でパラメータ化される。そしてqudit勾配降下法と、qudit局所量子アニーリングの2つを提案した。 arxiv.org/abs/2406.00792 pic.twitter.com/mMaLnHlHAx
【午前の積み上げ】 ・毎日ABC 2回分（昨日と今日） ・GCI week5 （受講と課題提出） ・ぜろつく 確率的勾配降下法のさわり C問題はやはり勉強になるな。 本日の2つの収穫は、前からと後ろからの累積和を活用する方法と、先入れ後入れどちらも可能なdequeというデータ型。
「学生勾配降下法」か... yaneuraou.yaneu.com/2024/06/03/sin… 大学院生がランダムな思いつきを端から試すことですが、今年の人工知能学会はこれが少なかった印象です。 学位の取得や就職、出世、保身は考えずに、自由に研究できる場が大事なのですが、結局は在野がベストなのでしょうか。 #jsai2024
「学生勾配降下法」か... 大学院生がランダムな思いつきを端から試すことですが、今年の人工知能学会はこれが少なかった印象です。 学位の取得や就職、出世、保身は考えずに、自由に研究できる場が大事なのですが、結局は在野がベストなのでしょうか。 #jsai2024 yaneuraou.yaneu.com/2024/06/03/sin…
返信先:@a1Icetiptree他1人引用元の記事は「最短コースでわかるディープラーニングの数学」という書籍の紹介なのですが、その本の著者の赤石です。 いただいたご質問はあいまいな箇所があり、より厳密に定義すると「ディープラーニングの主要なアルゴリズムである勾配降下法を理解するのに必要な数学は」となります。…
機械学習の基礎から学び直してる 損失関数、クロスエントロピー、二乗損失、最尤推定、訓練誤差、目的関数、勾配降下法.. 結構大学数学の理論が出てきて、ムズいけどギリギリ理解できてる。 小手先のツールばかりではなく、学生らしく理論から学ぶ意識。 こーゆー基礎が後々効いてくる！はず！
【勾配降下法】 以下の違いについて答えられますか？ ✅最急降下法 ✅確率的勾配降下法 ✅ミニバッチ勾配降下法 わからない人は下の画像を確認してね！わかりやすかったから一部引用させていただきました🙇♂️ pic.twitter.com/l9wN9glhtj
これは計算のhowとwhatの問いに関係する もう少し言えば， few-shot in-context学習の研究でSAと勾配降下法の関連を示したものがあり(例 arxiv.org/abs/2212.07677)，グラフ的視点での解析はそちらに関係が深い ではそれで何の関数クラスが実現できるかの理解に，おそらく関数解析側の視点が役に立つ
統計学が最強の学問である[数学編] この本で、私は数学を学び直しました!(^^)!数とは何か？から始まり、勾配降下法などの大学数学まで一気に学べて素晴らしいいです。 bookloveru2.com/post/statistics #統計 #西村先生
ChatGPTにblenderで勾配降下法を書いてもらった。 しかもアニメーション付き！ ①偏微分をして、勾配を知る ②勾配が分かったら、「ベクトルの性質」を利用。 グラフの0に向かう＝誤差が0に近づく ③繰り返す 球体1つ＝偏微分1回 前回と似たような話 x.com/kawamurrrrr/st… pic.twitter.com/aOOuIigsbF
勾配降下法、楽しかった☺️ 「ベクトルをこう使うの？！」という驚きが、過去最高に面白かった✨ それまで数列だけだったページに一気に空間ができて、降下するイメージが浮かぶように見えた瞬間だった💫 あまりにも鮮やかで、しばらく心地良い目眩がした(*´ｰ`*)
自然勾配降下法はヘッシアンを計算する必要があるのでパラメータの二乗に比例する計算量が求めらるが、熱力学的線形代数を応用してSPUを使うことによりパラメータに比例した計算量に抑えて漸近的に計算できるようになるのは面白い👀 arxiv.org/abs/2405.13817 pic.twitter.com/r7EoiD1VJ3
熱力学的ディープラーニング？ 日本語訳： AIモデルのトレーニングで物理ベースのハードウェアによるコスト削減は魅力的です。新しい論文では、アナログ熱力学ハードウェアのおかげで、大幅に複雑さを減らしながら二次最適化を実行する新しい手法「熱力学的自然勾配降下法（TNGD）」を提案しています
As the cost required to train AI models is exploding, the prospect of using physics-based hardware to bring down this cost is enticing. Our new paper (arxiv.org/abs/2405.13817) proposes Thermodynamic Natural Gradient Descent (TNGD), a novel method to perform second-order…
熱力学的自然勾配降下法… (； ･`д･´)ｺﾞｸﾘ 確率的勾配降下法と比べて より効率的で収束が速いが Fisher情報行列、逆行列の計算コスト、負荷が高すぎてあまり実用されてなかった それを克服するアルゴリズムを提出し、分類タスク、言語モデルファインチューニングタスクでその効果をデモ…!
Thermodynamic Natural Gradient Descent Second-order training methods have better convergence properties than gradient descent but are rarely used in practice for large-scale training due to their computational overhead. This can be viewed as a hardware limitation
arxiv.org/abs/2405.13817 2次学習法は勾配降下法よりも収束性に優れているが、計算量のオーバーヘッドが大きいため、大規模な学習に実際に使われることはほとんどない。これは（デジタル・コンピューターに課せられた）ハードウェア的な制限とみなすことができる。ここでは、適切なハード... pic.twitter.com/CXtdr7oBTt
#CodeSignal learn.codesignal.com/preview/course… Course 6「Introduction to Supervised Machine Learning」 Unit 2 21% 31日目 Unit2に入った。Unit2は勾配降下法。 6/7回できた。… pic.twitter.com/py3ySp6HNk
#CodeSignal learn.codesignal.com/preview/course… Course 5「Deep Dive into Numpy and Pandas with Housing Data」が全て終わった。 Course 6「Introduction to Supervised Machine Learning」に入った。内容は教師あり学習。 6/6回できた。 それと、学習してから30日経った。
【今日の1日1スキル👩💼】DS-203 モデル化 - 深層学習 ⭐️⭐️ バッチ勾配降下法（バッチ学習）、確率的勾配降下法（オンライン学習）、ミニバッチ勾配降下法（ミニバッチ学習）の違いを説明できる
甘利先生の確率勾配降下法が発表されたのが1967年で、そこから約20年後の1986年になってやっとRumelhart がchain-rule で勾配を最適化できるの発見したのって、甘利先生が天才すぎておせぇよ時代になってた感がある
今のDNNは 「一次関数 -> 非線形関数->一次関数」 だけど、非線形に対応させるだけなら、 「一次関数 + 非線形関数」の方が良いと思う。 例えば、現在のDNNで非線形関数にReLUを使うと、負の値が出てきた瞬間、勾配降下法が基本的に効かなくなるけど、並列にすると勾配降下法が効くからです。 続く
東工大が公開している「機械学習帳」が無料とは思えないクオリティ。 ・単回帰, 重回帰 ・モデル選択と正則化 ・ニューラルネットワーク ・SVM ・クラスタリング ・PCA 勾配降下法なども丁寧に解説していて素晴らしい。 機械学習の基礎を学びたいならRT&ブクマ。 chokkan.github.io/mlnote/index.h… pic.twitter.com/KUpP19AuC0
エンタメ
エンタメ
グルメ
アニメ・ゲーム
スポーツ
エンタメ
ITビジネス
アニメ・ゲーム
