ポスト
LLMTranslatorに、translatorインスタンス単位で専用のkv cacheを保持する仕組みを入れたくなってきたのだけど、llama.cpp serverの現在の実装だと、「現在どのキャシュファイルをロードした状態であるか」をサーバーに問い合わせても分からない気がしてる。どうするのがいいのかなあ。…
メニューを開くみんなのコメント
トレンド6:47更新
- 1
スポーツ
ドンナルンマ
- オウンゴール
- 2
スポーツ
ククレジャ
- キエーザ
- カルバハル
- ファビアン
- パス成功率
- 3
スポーツ
先頭打者ホームラン
- 21号
- 先頭打者
- 第1号
- 6月男
- ドジャース・大谷翔平
- 大谷翔平
- ホームラン
- ドジャース
- 4
エンタメ
ドナルド・サザーランド
- Donald Sutherland
- 普通の人々
- 88歳
- バウアー
- 5
ニュース
迷惑防止条例違反
- 都迷惑防止条例違反
- 都知事選掲示板に性的なポスター
- 女性の全裸ポスター
- 性的なポスター
- わいせつなポスター
- 男性候補
- 迷惑防止条例
- わいせつポスター
- 全裸ポスター
- させましょう
- 6
ニュース
顕著な大雨
- 激しい雨が
- 鹿児島県大隅
- 線状降水帯発生情報
- 線状降水帯
- 九州南部
- 鹿児島県
- 激しい雨
- 18分
- 気象情報
- 7
ITビジネス
向井康二誕生祭2024
- 8
スポーツ
クリスタンテ
- カンビアーゾ
- ジョルジーニョ
- バレッラ
- ラスパドーリ
- フラッテージ
- 9
スポーツ
ファビアンルイス
- ファビアン・ルイス
- ファビアン
- 10
スポーツ
ニコウィリアムズ
- ニコ・ウィリアムズ
- ウィリアムズ
