セグメンテーションのプログラム作ってるのだけど その分野全くノータッチだったのもありFocal LossとDice lossの使い分けが全く分からん。 とりあえず予測能高い損失関数組みこんどきゃ良いのかな…？🤔

返信先:@sugicchiconcafeDeep Q Networkの損失関数としてHuber Lossを使うことは本当に正しいのですか?

今日のぜろつくは二乗和誤差の勉強！ 出力と正解データの差を二乗してその和を求めてる？ 損失関数に使われ、二乗和誤差が小さいほど実際の値に近く、二乗和誤差が大きいほど実際の値からかけ離れている！！！ ニューラルネットワークの制度の悪さを表す指標ですね。

データサイエンス言語においてややこしい単語が多い。 損失関数と評価関数 これを同一とおいてる参考書もあるが実は全然異なる。 前者は、AIモデルを最適化する数式 後者は、AIモデルの性能を測る数式 いやー、面白い🤣 #データサイエンス

返信先:@piacere_ex> Axonなら、下記の通り、ディープラーニングでの損失関数として、Axon.Loop.trainerのlossに指定すればOKです💁‍♂️ この点について質問です。 Axon.Loop.trainer のドキュメントを読むと、損失関数にはアリティが2であるような関数を指定するとあります。 しかし、教えていただいた loss…

返信先:@tkrd_oiaxAxonなら、下記の通り、ディープラーニングでの損失関数として、Axon.Loop.trainerのlossに指定すればOKです💁‍♂️ hexdocs.pm/axon/Axon.Loop… Scholarなら、SVMのような損失関数が指定可能なモデルで指定します😌 hexdocs.pm/scholar/Schola… いずれにせよ4パラメータのロジスティック回帰で実現できます😉

返信先:@tkrd_oiax下記損失関数でScholar／Axonにて学習させましょ💁‍♂️ defp log4pl(x, a, b, c, d) do ((a - d) / (1.0 + Nx.power(x / c, b)) + d) end defp loss(abcd, x, y) do [a, b, c, d] = Enum.map(abcd, & &1) y_pred = log4pl(x, a, b, c, d) Nx.mean(Nx.power(y_pred - y, 2)) end

機械学習の基礎から学び直してる 損失関数、クロスエントロピー、二乗損失、最尤推定、訓練誤差、目的関数、勾配降下法.. 結構大学数学の理論が出てきて、ムズいけどギリギリ理解できてる。 小手先のツールばかりではなく、学生らしく理論から学ぶ意識。 こーゆー基礎が後々効いてくる！はず！

そもそも損失関数の合成ってこうやるのか！毎回苦労してカスタム損失関数作ってた笑 そんでもって、 損失関数A(メモリ使用) 損失関数B(さらにメモリ使用) 誤差逆伝搬(一気にメモリ解放) より、 損失関数A(メモリ使用) 誤差逆伝搬(メモリ解放) 損失関数B(使用) 誤差逆伝搬(解放) の方がいいのね。

#キャルちゃんのquantphチェック 量子ビジュアル符号化を再検討。既存の符号化手法では、符号化後の視覚的特徴の情報保存が保証されず、量子機械学習の学習を困難にしていることが判明。この問題に取り組むため、量子情報保存と呼ばれる簡潔かつ効率的な損失関数を導入した。 arxiv.org/abs/2405.19725 pic.twitter.com/TCLaz8Gxik

パーセプトロンのAND演算の重みとかって損失関数がうまく設定できないから学習の例として使えないな。y=2x1+x2みたいな関数を作るための重みを学習させる、みたいな例だったら行けるか？ #snow_SU

fxは金持ちの必ず勝つゲーム。これにインした時から、含み損、損失関数は増えるの当たり前。 相当の覚悟がいる。でも信じる。失敗から学ぶしかない。

Adadeltaが「次元合ってる」っていうのがよくわからなくて、損失関数の形が千差万別であることを考えると、次元が合う合わないって些細すぎる気がするんだよね。

損失関数とかの設定は割と理論とかある(PPIMとか?)気がするけどアーキテクチャは基本個人技だったり職人技で気持ち悪いのはわかる

Eは両方の損失関数の長所を維持し、パフォーマンスを向上させるように困難なネガティブサンプルの採掘を協調的に活用。 - 実験結果は、CLCEが12のベンチマークでTop-1精度でCEを大幅に上回り、few-shot学習シナリオで3.52%、BEiT-3モデルの転 #AI

音声合成でもUTMOSとかは非侵入型 (正解音声なし) の指標だから損失関数に組み込んだらテキストのみからそれなりの音声が合成できるようになるのか気になるよね

趣味の機械学習プロジェクトでここ数日進捗がない。pre-trained モデルの知識蒸留を試しているがうまくいかない。pre-trained モデルは画像の encoder で、それを教師として生徒モデルを学習しようとしている。埋め込み自体を MSE を損失関数として学習させるのは順当にうまくいかなかった(val loss…

用した。 - 具体的には、Z-ボゾンがレプトンに崩壊するジェット関連生成のLHCデータにQINNを適用した。 - QINNのパフォーマンスを異なる損失関数やトレーニングシナリオで比較した。 - このタスクにおいて、ハイブリッドQINNは、学習や複雑なデータの生 #AI

#111論文等共有 1370 openreview.net/forum?id=hE7PG… [NeurIPS'23] 顔照合用損失関数 unified threshold integrated sample-to-sample (USS) loss を提案しSOTA。すべての positive sample2sampleペアをnegative sample2sampleペアから分離する閾値を設定するというアイデア。MFR, IJB-C, LFW, CFP-FP,… pic.twitter.com/2sASxf40b1

物件探しって線形回帰問題とも順序回帰問題ともモデリングできるな。俺が損失関数だ

ArcFace: Additive Angular Margin Loss for Deep Face Recognition (Deng+, CVPR2019) （名工大 玉木研 CV論文読み会） ・クラス識別性の高い特徴量を得るための損失関数 - 内積 -> cos類似度 - 線形なマージンを設定し、学習 slideshare.net/slideshow/arcf…

- 色情報から短絡的に識別する問題 - 損失関数はコサイン類似度 ・様々な対照学習 - MoCo：負例数の増加 - SimSiam：負例が不要 　　：勾配停止処理、非対称なモデル構造 - CLIP：マルチモーダル - DINO > 負例が不要

最適化の入力について微分する系の話はマチューさんの仕事を信奉してる（損失関数の設計は Fenchel-Young loss; とりあえず微分するなら JAXopt）（素人の個人的意見）

「制約条件を考慮するためにすべての制約条件はペナルティ係数として損失関数を定義します」「ペナルティ係数はハイパラチューニングをがんばります」「非連続かつ微分不可能である場合は正則化項を導入して自動微分が機能するようにします」

📚第５回輪読会を実施📚 今回は、損失関数と微分によるニューラルネットワークの学習、GNNによるグラフ分類・接続予測・グラフ生成について学びました。 発表の場所を間違うなどのアクシデントがありながらも、楽しく議論が出来ました。

正解の値が正規分布をなすようなデータセットでニューラルネットワークに対して回帰を学習させていたが、平均付近に予測値が寄るという問題があった。損失関数として正解が平均から離れているほど誤差をより大きく罰する重み付き平均二乗誤差(weighted MSE…

正解の値が正規分布をなすようなデータセットでニューラルネットワークに対して回帰を学習させていたが、平均付近に予測値が寄るという問題があった。正解が平均から離れているほど誤差をより大きく罰する損失関数として重み付き平均二乗誤差(weighted MSE…

時系列データに対して使う損失関数に CTCLoss とかいうのがあるが、理屈はどんなものかとpytorch.org/docs/stable/ge… から参照されている論文を読んだら何だか難しくてよく分からなかった…。distill.pub/2017/ctc/ が分かりやすいという情報もあるので、こちらが良いか。動きは分かるが理屈がなぁ…。

損失関数使って説明するのいるかなぁ？

勿論それまでの研究が無意味になったわけではなく、数理的な理解は重要だし、機械学習でも特徴量や損失関数の設計にバリバリ活用されている。

お前nanなんだよ！(損失関数) フーリエ変換のねぇ……実部と虚部を分けてねえ……それぞれ計算したらねえ……漏れてたんだよ？(明かされぬ謎)狂うぅ＾〜

以前　brain**ckか何かを学習するモデルをAI に書いてもらったら、生成したのがインタプリタで動くかどうかも損失関数に使ってた気がしたので、頑張ってモデル作って学習させれば、意外とAI プログラマー、良いところまで行くのでは

CFML本の読み進め。第0章。教師あり学習の復習の節。統計的推定との関係を強調したかたちで、教師あり機械学習をコンパクトにまとめてあって、好き。期待リスク（同時分布による損失関数の期待値）の分解式は、示唆に富んでいて勉強になった。

本当にスーパーわかりやすかった 【決定版】スーパーわかりやすい最適化アルゴリズム -損失関数からAdamとニュートン法- qiita.com/omiita/items/1… #Qiitaアドカレ #Qiita via @omiita_atiimo

テトの感情的反応を最大化すると自分に組み込まれた損失関数が小さくなっていくことに気づいてしまうレイさんな

今の機械学習モデルって予測値と正解の差を損失関数というものに落とし込んでて、精度を上げるためにこれを最小化することを目指してるのですが 将来感情を持ったAIにも損失関数が組み込まれててこれを最小化することが人間でいう快感を得ることに相当するのだとするとだいぶエッチな気がするな（？）

エコーステートネットワークのノード状態を記号として扱うために、ホップフィールドネットワークによりパタンを記憶し（何かしらの報酬、損失関数からノード状態におけるエネルギーを最小とする）、その記憶されたパタンが、ある条件下における記号創発であると言えるのか、言えないのか。

とは言っても損失関数までは理解したい。 あまりまだイメージ湧いてないからYoutubeとかで少しイメージ固めてから戻ろ

#キャルちゃんのquantphチェック 古典シャドウトモグラフィの性能向上に、自己回帰的なニューラル量子状態を用いる。また新しい損失関数を提案し、古典シャドウ測定で学習したtransformerベースのニューラルネットワークにより、GHZ状態の安定した再構成が達成できると示した arxiv.org/abs/2405.06864 pic.twitter.com/FgEBCJaTfA