こちらの論文でも、特徴ベクトルの変化を観察して、Self-Attentionは「平均シフトクラスタリング」に近いと考察していました。 推論高速化の研究なのですが、切り口も分析もとても面白い内容でした。 Deja Vu: Contextual Sparsity for Efficient LLMs at Inference Time arxiv.org/abs/2310.17157

ありがとうございます。作用素P = Residualを多様体上での微分とみなしたものですよね。 ご紹介いただいた arxiv.org/abs/2305.05465 の論文でも V = I_d は仮定されており、解析にはこの仮定が重要なのだと理解しました。Q^T K > 0 の仮定もQ=K=I_dからの自然な延長として理解できます。 自分も X… pic.twitter.com/1fGT131IBx