ローカルPCの Dockerで動かしてる Dify から、 ローカルPCで動かしてる Ollama や StableDiffusion webui にアクセスするときに使う URL が http: //localhost:port ではなく、 http: //host.docker.internal:port だというところでつまずく人は私だけではないはず！！ pic.twitter.com/TIkoEx5OcR

記事を投稿しました！ ollama + docker setupメモ on #Qiita qiita.com/kiyotaman/item…

て、APIエンドポイントをhttp://localhost:11434に指定するとエラーが発生。 調べると、Dockerは各コンテナが同一のホスト名を参照できないらしい。 しかし、現状ではDocker上でOllamaとDifyのコンテナが稼働している。。。 今後は、Dockerのコンテナ間ネットワークの設定を見直す必要があるな～。

先日、ローカルにDocker、Ollama、ローカルLLMを導入し、オフラインのDifyを構築することができた。 ただ、現状のOllamaはWindowsプレビュー版なので、今後未知の不具合が出る可能性がある。 そこで、昨晩はDocker上にOllamaのimageを導入。 ところが、Dify上のOllamaにローカルLLMを設定しようとし

Ollamaって明らかにDockerを意識した作りしてるよなー

ちなみに、 Synology NAS の Docker で ollama が普通に動いた。もちろん一番小さなモデルをインストしてチャットにも成功している。 ただし超非力な Celeron J3455 （４コア４スレ）なので、カメのように遅いレスポンスだ😅 NAS 界隈にも GPU 内蔵（or外付けGPU）製品が早く発売されないかなぁ… pic.twitter.com/MPRWhQm8lT

Windows WSL2 Ubuntu + Docker + Ollama + llama3 の API を Node-RED とシンプルに連携するメモをまとめました。 #LLM #WSL #nodered #noderedjp 1ft-seabass.jp/memo/2024/05/2…

dockerでdifyを立ち上げて、ollamaでPhi-3を動かすところまではいけた。これで後は組み合わせればローカルLLMでのチャットボットが実装できてしまいそう。無料でここまでできるんだもんな。すげえなぁ

Windows の WSL2 で入れた Ubuntu で Docker + Ollama + llama3 を動かしたメモをまとめました。 #LLM #WSL 1ft-seabass.jp/memo/2024/05/2…

dockerでollama動かすとメモリ消費がきつい。 pic.twitter.com/guWo6Pbx0P

Windows で WSL2 Ubuntu + Docker + Ollama がサクッと動いた。llama3 モデルでウォンバット質問を良い感じに答えてくれえるなあ。メイン PC のマシンパワーだとそんなに待たずに返答してきてくれる！こんなに手軽に ローカル LLM も体験できるとさらに夢が広がるなー。 pic.twitter.com/7JQkd0Xviu

RAGAppをdocker-compose.yamlで起動しました。 Ollamaもコンテナで起動させ利用できますが、もともと使っているOllamaを使う場合には、URLを”http://host.docker.internal:11434”にすれば問題なく接続できます pic.twitter.com/EIkrplndrw

ローカルのAIチャット環境がDockerで手軽にできた。http://localhost:3000に行くだけ。 $ docker run --rm -p 3000:8080 --name open-webui -v ollama:/root/.ollama -v open-webui:/app/backend/data -e WEBUI_AUTH=False ghcr.io/open-webui/ope… $ docker exec open-webui ollama pull llama3 pic.twitter.com/4AGgpgrS7N

RAGな感じをDify上で、Fessで全文検索して、結果をLLMに渡すのを簡単に試せるようにしたいのだが、どのようにシンプルに試せるようにするかが悩ましい。とりあえず、Ollama含めて、Dockerで丸ごと起動できれば良い気はしているのだけど。

AnacondaでDifyを動かす環境を整える。 DockerでOllamaを動かす環境を整える。 OllamaにLlama3言語モデルを入れる。 Dify上でモデルプロバイダOllamaを選択。 新規チャットボットを作成。フローをつなぐ。 動かす。 まぁ過去の他モデルより、よくしゃべってるね。😺 pic.twitter.com/cbCkz6XCbz

jetson nanoにGPU対応のollamaをDockerで動かしたら、遅くて使い物にならなかった　😭 #jetson_nano #llama #docker

もっかい起動するときは消さずに docker start --gpus all ollama でいいかも runとstartがあるんかーい的な まだ試してないが！

Docker + Dify + OLlama(Fugaku)、1回Mac落ちて再挑戦したけど無理でしたー。メモリ32GBだと行けるのか、そもそも無理なのか… pic.twitter.com/LoJ7eJ2n23

とにかく方向性として DockerのWSLの設定をしてUbuntuをDockerと共有 Ubuntu側にWindowsのビデオメモリリソースを使わせてあげる設定 などが必要であり その上でGPU仕様のコマンドを打ってollamaなどがGPUで動く。

ニッチなDockerNoobのDifyの話。 ollamaなどをGPUで起動するにはDocker設定のResourcesからWSL 2 integrationをこの状態にしなくてはならない。 自分の場合だとUbuntuがオンになっている状態に。 pic.twitter.com/rejuHhoBrb

はてなブログに投稿しました Dify(docker compose)+Ollama(docker)を試す。 - 地平線まで行ってくる。 bwgift.hatenadiary.jp/entry/2024/05/… #はてなブログ #LLM #ollama #Dify

返信先:@Tumeng05open web-ui+ollama+docker 挺香的

Mac StudioでRancher DesktopていうDocker使ってみたけどollamaとopen-webuiがすぐ使えた あとモデル落とすだけ

喧嘩になりそうなので断念。 水族館に行くことにする。 また、SSDの空きが5GBしかないので、dockerもollamaもインストール不可なことがわかった。 やるなら、古いLinuxか、新しいPC買うか…

wsl2上のdockerでDify起動して、同じwsl2内に入れたollamaにアクセス出来ないのなんで

スペックや使ったモデル CPU : Core i5 9400F RAM : 16GB GPU : RTX 2060 モデル : gemma:7b, mxbai-embed-large 使用ツール : GodotEngine, Dify, ollama, Docker

ollamaはいいんだよ。docker、お前は何なんだ

ollama今日１日さわってみたけどプロンプトの効かせ方がいまいちわからない。１回上手くいったような気がするんだけど再現ができない。あとgpuを使うには確かdockerではなくては駄目だったように思う。今日はもうやめる。

DifyにLM Studio接続する方法分かったわ。(Win10) "http://localhost:1234/v1"で繋がらない場合→ "http://{vEthernet (WSL)のIP}:1234/v1"で繋がらない場合→ http://host.docker.internal:1234/v1で繋がる。 ollamaをDifyに繋ぐ記事がヒントだった。似たようなもんだしね

ollama + phi3でローカルLLMをdocker composeで構築できた macbook airだから動作がめちゃくちゃ重すぎる モデルはPhi-3、ベースはollamaを利用しているのでwindowsじゃなくても起動できる pic.twitter.com/2tWZYQKw6W

Docker使ってOllama+Open WebUI立ててみたものの条件不明だがllavaが期待通り動かない場合がある。お前には一体何が見えているんだって、まさに「幻覚」って感じだ。Issueもちょこちょこあるが0.1.32より0.1.33の方が悪そうで初回queryだと大丈夫な場合も確かにある。うーむ。 github.com/ollama/ollama/…

このあとモデルの設定がいる。 右上disy−設定ーモデルプロバイダーollamaをaddModel ただdifyクラウド版でのBaseURLがわからない。明日Dockerでやり直すか。 だれか『クラウド版のBaseURLこれ入れたら良い』がわかれば教えて下さい。（llamaはクラウド版じゃ無理なんだろうか

ラズパイでDockerを使ってOllamaを動かす方法、面白そうですね！私もチャレンジしてみたいです！ zenn.dev//karaage0703/a…

ollamaを使うと簡単にllma3を試せるということで docker run --rm -it --entrypoint /bin/sh ollama/ollama -c 'ollama serve >/dev/null 2>&1 & sleep 5; ollama run llama3' でllama3試してみたけど日本語で唐揚げの作り方を聞いたらキャロットケーキの作り方教えてくれて草 github.com/ollama/ollama

ollamaのWindows版を使おうと思ったが、どうやらサービスを止める手段が標準では用意されていないようだ。 暴走したときを考えるとdockerでブチっといってしまうのがよさげか

LitellmとZoltraakを接続できたのでPR完了！ --- litellmとollamaなどの起動も一括でやるみたいなのはZoltraak Dockerの方で対応します！！ #自然言語プログラミングZoltraak pic.twitter.com/K0EtdQhEG1

WSL2+Docker Desktop環境でふつうにうごいた！ / Ollama + Open WebUI でローカルLLMを手軽に楽しむ zenn.dev/karaage0703/ar…