ポスト

LiteLLM経由でVertexAI使うとやはり遅いなー ・直接使う → 1.27秒 ・直接使う(modelをキャッシュ) → 541ミリ秒 ・LiteLLM経由 → 1.64秒 pic.x.com/ayfszjgkdj

メニューを開く

小笠原みつき🐈JX通信CTO@YAMITZKY

みんなのコメント

メニューを開く

VertexAI、リージョンを変えると速度変わる! 時間帯にもよるのかもしれないけど ・東京 → 500-600ミリ秒 ・オレゴン → 900ミリ秒 ・ベルギー → 1.7秒 pic.x.com/mf36w7tnke

小笠原みつき🐈JX通信CTO@YAMITZKY

人気ポスト

もっと見る
Yahoo!リアルタイム検索アプリ