ポスト

・どのようにRetrieval headを特定するか？ -> Needle-in-a-Haystack - long contextに特定の文章(needle, key-sentence)を挿入し、そこを強く（scoreが高い）参照しているheadをRetrieval head ・各Rhはkey-sentenceの一部にしか反応していないので、Rhにも種類がありそう

メニューを開く

村山理@sam_murayama

5月19日(日) 22:11

みんなのコメント

メニューを開く

・ベースモデルも事後学習後も同じところにRhは存在する(Intrinsic) ・Rhは発火するだけでなく、本当に機能しているのか？ -> Rhをマスクすると、ランダムにマスクするより顕著にスコアが下がる(CoTありの場合が、なしより顕著） youtube.com/watch?v=AlRLp1…

村山理@sam_murayama

5月19日(日) 22:11

もっと見る

人気ポスト

夏場、エアコン16度にしてこうしてるのが1番幸せ。

兄が神妙な顔をして荷物を詰める姿を見かけた。また母と喧嘩をして家出かと思い話を聞くと「友達を救いに行く」と兄がどこに行くのかはわからない。しかしその目は嘘偽りのない至極真面目な目だった「気をつけてねお兄ちゃん」今度はどんな話が聞けるのだろうクリスチーネ剛田エッセイより抜粋

いま市内の47歳女性でこんなに連打してるの私だけだろうな…と思いながら連打してますてかスターラスターめちゃくちゃ面白いわ

この後ろ姿に期待した自分を殴りたい

これブスは無理あって草

全員知らない人やけどこういうこと起きるからこの界隈大好きwwww

朝起きたら夫は出社しており、無くなりそうだったミルク缶の横に新しい缶が開封して準備されていてベビーワゴンのオムツが補充されていて夜中に放置した哺乳瓶ガーゼおくるみが片付けられている。お昼は夫の作り置きをチンする。平日娘に直接触れられない時間も夫の育児参加は止まらないのである。

ほぼ病院の仮眠室で暮らしてるのに毎日毎日ミヤビちゃんの通勤路で待ち伏せしてカフェでコーヒーを買い、好きでもない抹茶パウダーをかけられ続けてやっとミヤビちゃんの記憶に引っかかった三瓶先生がなんか報われたようで😭😭😭 #アンメット

小学生の頃このガキにめちゃくちゃ虐められてた

何で謝るのに投稿消さないんだろう

もっと見る

トレンド14:28更新

20位まで見る

電車遅延（在来線、私鉄、地下鉄）

北海道東北関東中部近畿中国四国九州

全国の運行情報（Yahoo!路線情報）

よく使う路線を登録すると遅延情報をお知らせ　Yahoo!リアルタイム検索アプリ

Yahoo!リアルタイム検索アプリ