disjoint sparse table みもありつつ、まぁ結局それらは似てるしな

というかSparse Tableで十分か

#ABC352 ABCED 45:31(0) 苦しい E: Kruskal 法をします、時間かかりすぎです D: 区間 min/max どうしようってなって sparse table を取り出しました、() F: 制約を連結成分に分割; 人ごとに順位を決め打って bitDP でありうるか判定 (一意なら OK) でいい？？→ 実装わからなくて時間切れ G: FPS？

LLMをmege/moeする際のモデル数が増えてくる(e.g., >10)と、探索空間がかなり広くなるので、sparse modelingなどで刈り込みながら重み係数を決定、みたいなアプローチが現実味を帯びる気がしました。

返信先:@LaDataEcI saw the good AV DE LAS AMERICAS was repaved, but the sparse sidewalks that were in tatters were not improved in any way. 我看見好好的美洲大道被重新鋪上一層，破爛不堪而又狹窄的人行道沒有一處得到改善。

学習した後のMLPはsparse tensorで、それらをマージすることでdense tensorにすることができて知識の向上ができるってことなんかな(小並感)

返信先:@netcapgirlAI is a sparse matrix

NinjaとVecteusが強い理由、スクラッチで学習されたLLMの重みはsparseだけどマージすることでdenseになるからと考えれば辻褄は合う

人生で初めてSparse Tableを使う気分になった

そしてここにたどり着く。 Neal, R., & Hinton, G. E. (1999). A view of the EMalgorithmthat justifies incremental, sparse, and other variants. In M. I. Jordan (Ed.), Learning in graphical models. Cambridge, MA: MIT Press. cs.toronto.edu/~hinton/absps/…

昨日はsparse powが有能すぎたのでライブラリ化しようかなという気持ちに

合成 f(x+1/x) ということになる。これは log が 2 つつく？？ ところで f[i] は簡単な規則があって、 f(x) = (sparse poly) / (1-rx^2) の形になる。すると f(x) = (2n次 poly) / (4次式 poly) のように計算できるのでよい。

cf 942 (div1) [E2] 最後の10分くらいでようやくたぶん行けそうになってきました（間に合わず） F(x+x^{-1}) を計算したくなってしまうが F が (sparse) / (2次式) とかなので、結局 O(N) 時間で出来そう。

div1お疲れ様でした。AbCです。 A: いい感じに B1: b | aであることに気づいたので調和級数 B2: ふぁーーーー C: FPSで解けることに気づいて書いてみたらTLEしたので、maspyさんのsparse-powを窃盗したら通った

#キャルちゃんのquantphチェック Structured sparse matrices (構造化された疎行列？)において、変分量子線形ソルバーを効率的に用いる手法を開発。従来はPauli基底がユニタリ線形結合に用いられてきたが、これを別の基底にすることで、行列のスパース性を利用できるとした。 arxiv.org/abs/2404.16991 pic.twitter.com/BrIH9FFk9P

スケールするための技術：パラメータ数(N)に関連する取組み ・Efficient Attention：計算量・メモリ効率の改善 - Big Bird：SparseなAttentionの組合せ - Performer：低ランク行列であるランダム特徴行列に近似 - FlashAttention(2)：メモリアクセスを考慮した高速化

Sparse FPS シリーズ埋めた pic.twitter.com/pxqpiGR3wS

１次元のDisjoint Sparse Table と２次元のSparse Tableを作って放置してた

極小量子化による精度低下へのcompensationとしてLoRAを使うという発想は新しいし、すばらしいと思う。自分は、極小量子化とSparseと組み合わせるという（割と凡庸な）アイデアを考えていて、でも、Sparse側を効率よく実装するのは難しいなというところで詰まっていた。 mobiusml.github.io/1bit_blog/

返信先:@oran_ge不用上班的都看不完，上班的更看不完😭，需要sparse attention

マルチキャストの設定は主にL3SWに入れる ・マルチキャストの有効化 ip multicast-routing distributed ・PIM-SMを有効化 ip pim sparse-mode ・IGMPv3を有効化 ip igmp version 3 ・SSMを有効化 ip pin ssm default SSM

ダメでした sparse checkoutを実装してるライブラリがない なのでgitには依存しちゃうけどgit-jsでいこうと思う github.com/steveukx/git-js

Hayao-Tools/git-sparseをjs-gitで再実装できないか検証してみる

あ〜やっぱりsparse checkout使うのか

sparseのRLS設定し忘れて無駄に格闘しちゃったし

【Kernel】学術成果を公開しました。 Sparse Estimation for Hamiltonian Mechanics (著: Yaguchi Takaharu, Omori Toshiaki, Note Yuya, Watanabe Masahito, Yoshimura Hiroaki) hdl.handle.net/20.500.14094/0…

脳内にある語彙のルックアップテーブルなんですが、私の場合col=3(英語、中国語、日本語)、rowを一つ一つの概念にすると、少し真面目な学術的な単語の部分はかなりのsparse matrix

返信先:@penguineeersegtree で区間 GCD をやるとき、というか k 個の整数の累積 GCD を求めるとき、互除法の引数の小さくなり方を考えると、O(k + log(値)) 時間で済むはずなので、sparse table にしてもあまり旨味がないかもです

`org-sparse-tree' (C-c /) ; これは、ツリーの抽出を選択するためのコマンドを作成する追加のキーを入力する。

返信先:@ds2baHQndM98068他2人《商君書·畫策》: 昔者昊英之世，以伐木殺獸，人民少而木獸多。  Of old, in the times of the Great and Illustrious Ruler, people found their livelihood by cutting trees and slaying animals; the population was sparse, and trees and animals numerous.

SPLADE 試してみたいな〜。 日本語でやる場合って、なんかいいモデルとかあるのでしょうか？👀 [2107.05720] SPLADE: Sparse Lexical and Expansion Model for First Stage Ranking arxiv.org/abs/2107.05720

朝洋書16日目☀️ Episcopal: 主教の Proffer: 差し出す、提案する Moor: 停泊させる Conservator: 収集家 Turf: 芝 Sparse: まばらな 眠さに負けてあまり読めず。。

Div1 906 C2をupsolve DP思いつくとこくらいまでは行きたかった。そのあとのsparse tableが云々は思いつかないかも。あと実装したくない。セグ木でさぼりたかったが、制約的にダメそうだった codeforces.com/contest/1889/s…

うーん。blur が異常に速いので、あとで実装確認しよ。。 % time magick -size 512x512 xc: -sparse-color Voronoi '100,100 red 100,300 Blue 300,200 Yellow' -colorspace LAB -blur 200x200 -colorspace sRGB output.png real0m0.349s user0m0.916s sys0m0.011s pic.twitter.com/bouHuO4YhR

この論文、2022年のものだけど、去年か今年に出たものならRAG絶世期で当時の100倍はスポットライト浴びただろうに...もったいない。 (dense retrieverでsparse retrieverを模倣するというもの) pic.twitter.com/O3oQzgcxkt

これ2個の問題っすよね。一つは連続的な事象を網羅するのに必要な次元の高さ&何次元まであるかよく分かってないこと。もう一つはそれらの次元を占める値が局所的に固まりすぎて、近似値がみんな同じに思えてしまって一つの名前に収束し、ブレ幅を示す言語に乏しいこと。Sparse matrix なのかも？

"Efficient LoFTR: Semi-Dense Local Feature Matching with Sparse-Like Speed" 高速ローカルフィーチャーマッチング。速い。ただ、Lightning 前提だったのでめんどくさすぎていったんONNX化はスルーする。アノテーションに集中する。 github.com/zju3dv/Efficie…

AuxiliaryTreeができた。 座圧した木を返すようにした。ついでにSparse TableでLCAがO(1)なの初めて知ったかも。 atcoder.jp/contests/abc34…

ライブラリ整備の知見 LCA は Sparse Table + オイラーツアーで O(1) / query になるの忘れがち うまくやると実装量も Binary Lifting よりちょっと多いくらい github.com/kth-competitiv…