MoAアーキテクチャをみんな大好きollamaで動かすよというfork github.com/erik-sv/MoA CPU・SoCにNPUを搭載してもガチの大規模LLMをローカルで動かすのは現状では無理があるので、ローカルLLMはMoA方向に進むのかもしれない (MoA：小型LLMを複数・多層で協調させて精度を上げる仕組み) #MoA #ollama

Ollamaのライブラリーにある deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct が気になったので、deepseek-coder-v2:16b-lite-instruct-q5_K_M を動かしてみたら、語尾が微妙だけど日本語でちゃんと応答してくれるのに驚いた！　#ollama pic.twitter.com/JoC02daOx4

はてなブログに投稿しました Ninja-V2-7Bをollamaをcolabで動かしてためす。 - 地平線まで行ってくる。 bwgift.hatenadiary.jp/entry/2024/06/… #はてなブログ #ollama #LLM #ローカルLLM #Ninja_V2_7B

自分のマシンで LLM を使用するには、Ubuntu Linux に Ollama AI をインストールしてください - The New Stack #TNScontent #PrivateGPT #Ollama #LLM prompthub.info/16435/

ollama用にモデル変換しようとしたら、llama.cppのconvert.pyがlegacyになって、代わりにconvert-hf-to-gguf.pyを使うように変更されてた。github.com/ggerganov/llam… #SLM #LLM #Ollama #llama #llamacpp

Solrと連携できるようにしました。これで簡易的ですがollamaと組み合わせて完全LocalでRAGが出来るようになりました。Solrがまだキーワードサーチなので、先々近傍近似検索に拡張していけたらと思っとります。 tinyurl.com/n2xjrj8e #LLM #ollama #gemini #RAG

はてなブログに投稿しました lucas2024/oumuamua-v2をためしてみる。 - 地平線まで行ってくる。 bwgift.hatenadiary.jp/entry/2024/06/… #はてなブログ #LLM #ollama #自然言語処理

とりあえず、Oumuamua-7b-instruct-v2は、mlx環境で動きましたが、Ollamaのライブラリーに以下の４つをpushしました。 #ollama Q4_0 Q5_K_M Q8_0 f16 変換してpushしただけなので、自分もほとんどまだ触っていませんので、ぜひぜひご利用ください。 ollama.com/lucas2024/oumu…

Page Assist (OllamaのChrome拡張フロント)のバージョンアップでサイドパネルのインターネット検索を踏まえた応答ができるようになったとのことで、試してみました！　#Ollama #PageAssist #Vecteus LLMは、いい感じで軽く動いてくれる vecteus-v1 利用です。 pic.twitter.com/3cWOsNlUtS

実は、多言語対応してあるので、一応英語、フランス語、ドイツ語、スペイン語で使えたりします。正しい文章になってるかどうか知らんけど。 #GeminiPad #Gemini #Ollama #RAG pic.twitter.com/F1VOwYYRl1

Gemini PadをOllama対応にした。Geminiのモデルを指定する代わりにOllamaのモデルを登録すると使えます。 でも、llama 3とかはすぐ英語で答えようとするから、比較的素直に日本語を返す aya が使いやすいです。 x.gd/jhaMh #ChatGPT #Gemini #Ollama #LLM

はてなブログに投稿しました Colabでollamaとmesopをためす。 - 地平線まで行ってくる。 bwgift.hatenadiary.jp/entry/2024/06/… #はてなブログ #ollama #mesop #LLM

はてなブログに投稿しました qwen2をollamaとcolabでためす。 - 地平線まで行ってくる。 bwgift.hatenadiary.jp/entry/2024/06/… #はてなブログ #LLM #ollama

記事を投稿しました！ Ollama x Open WebUI で、IBMが作ったLLM「Granite Code」を動かすまでの備忘録 qiita.com/kolinz/items/2… #Qiita #IBMChampion #Ollama

スマホのDebianでも動いた。 ありがたい。 ollama list | tail -n +2 | cut -f1 | xargs -n1 ollama pull #ollama qiita.com/KazuhisaFujita…

ollama serve & をしないと動かんのか。 (´-ω-｀)ﾒﾝﾄﾞｲ llama3は日本語も使えるね。 時間はかかるけど面白い。 スマホ、固まりそうになってる。 絵文字がｶﾜ(・∀・)ｲｲ!!。 #ollama #Android pic.twitter.com/lzOnzlyjuB

OllamaとDifyをともにローカルPCで動かす | 工房便り〜TSUBAKI GUITARS & LEATHER #モノづくり塾 #ai #llm #上野原 #相模湖 #藤野 #ollama #llama3 #dify tsubakicraft.wordpress.com/2024/06/01/oll…

DifyにOllamaの大きいモデルを追加しようとするとタイムアウトして登録出来ない。 timeout設定はどこだろう？？ #ollama #dify