ポスト

孤立したノートPCで生成AIからの支援を受けれる可能性を探る。 llama.cppのサーバモードは、OpenAI互換のエンドポイントを持ってる(投稿時点)。#Phi3 の量子化モデルで、以下からアクセスが可能でした。 ・PythonのOpenAIライブラリ ・Langchain ・VS CodeのGenieAI Extenstion #llm #genai #SLM

メニューを開く

heibei2020@heibei2020

みんなのコメント

メニューを開く

通りすがりの者ですが、私は何かうまく動かず。server ... --chat-templateの設定ははどうされてますか??

にゃんぱいあ(猫と昼寝をする会)@nyanco_pass

メニューを開く

GenieAI Extensionからだと、回答後、違うタスクのことを喋り始めるので、プロンプトがおかしいのか? それとも、モデルが悪いのか?

heibei2020@heibei2020

人気ポスト

もっと見る
Yahoo!リアルタイム検索アプリ