ポスト
llama.cppのFlash-Attentionサポートの効果をcommand-r-plus Q4_K_Mで確認。 3xRTX3090の場合、-faなしでは入力長8000トークン以上で推論時にOOMになっていたけど、18000まで行けるようになった。かなり嬉しい。 18000トークンは日本語だと2.5万文字相当。 pic.twitter.com/iuZuZDtg8F
メニューを開くみんなのコメント
メニューを開く
生成の速度も-faでちょっと速くなる。 生成速度は入力長に線形な感じで遅くなるようで、入力長1000トークンでは12.6tpsだったところが、入力長18000では7.2tpsまで下がる... pic.twitter.com/VJuoha8GZV
人気ポスト
【速報】 小4妹の宿題難しすぎる
関西の小学校あるある このオリックス無料チケットが山積みに余ってる
【知らなかった】 ローソンの牛乳とファミマの牛乳 どちらも中身は雪印メグミルクの牛乳
ここ普通ボコってなるじゃん。 ふくらはぎボト痛いけど、やると真っ直ぐになる。感動 2回目で効果でた。ワンホンみでた。 外張りは、なかなかしぶとい。
友達がこんなの送ってくれたけど……初知りなんですが?!😇😇😇撮りに行こうかな
東工大貧乏すぎて流石に泣けてくる
トマトのわき芽はアクが強いのでそのままでは食べられませんが、重曹でアク抜きをしてから全部捨てて、どこかでワラビを買ってきて食べるとそれはもうワラビそっくり。 天ぷらもいいですね。 一旦天ぷらにしてから全部捨てて、タラノメの天ぷらを買って食べると、まるでタラノメです。
今日川近くのコンビニで見かけたコレ。どこでもザリガニ釣りセットじゃん。こんな販売スタイルが存在するのか…
Temuで買った商品が梱包されてた袋にこんなのついてたんだけど
トレンド18:21更新
- 1
エンタメ
永野芽郁
- はたらく細胞
- 映画はたらく細胞
- 翔んで埼玉
- 実写映画化
- 半分、青い
- 半分、青い。
- 武内英樹
- テルマエ・ロマエ
- 実写映画
- 半分青い
- 佐藤健 白血球
- 赤血球さん
- 永野芽郁 佐藤健
- はたらく細胞 実写
- 白血球
- テルマエロマエ
- NHK連続テレビ小説
- コミックナタリー
- 2
エンタメ
血小板ちゃん
- るろ剣
- 実写化
- 白血球
- 3
ニュース
車両トラブル
- 千里丘駅
- JR京都線
- 振替輸送
- 運転再開
- JR宝塚線
- 琵琶湖線
- JR神戸線
- 19分
- 運転再開見込み
- 再開見込み
- JR京都
- 見合わせ
- 27分
- 43分
- JR
- 38分
- 4
エンタメ
乃木坂46 4期生
- 日向坂46
- 5
グルメ
鬼辛カレー
- ちいかわ
- 6
ヨーロッパ企画
- 7
はらぺこあおむし
- 8
ニュース
システム改修
- アーモンド効果
- システム障害
- メンテナンス
- 9
スポーツ
優秀監督賞
- 優磨
- ポポヴィッチ
- 明治安田
- ベガルタ仙台
- Jリーグ
- 福島ユナイテッド
- 10
エンタメ
白血球さん
- はたらく細胞
- 翔んで埼玉
- 実写映画化
- 実写映画
- 白血球
- 死ねぇ
