📑 GitHub - Niko1221/Strata: Qwen3.8-Flash-Next (125B MoE) on a 12-24 GB NVIDIA GPU + 64 GB RAM: one-click install for Windows / Linux. Strata inference engine, OpenAI/Anthropic API on localhost, optional image input. 🅱 はてなブックマーク テクノロジー… github.com/Niko1221/Strata

VRAM16GB+RAM128GBな環境のAIおすすめ 過剰思考規制・規制解除・MTP自己投機デーコード統合。コードエージェント特化型27Bモデル huggingface.co/ajgazin/Swift-… CPU/GPU並列推論で125BをMoEで快適に動かせる。ただしRAM64GB以上必要。 github.com/Niko1221/Strata

4070 SUPER は VRAM 12GBなのでそこまでスピードでないけどQwen3.8-Flash-Nextを動かしてみる CPU:Intel(R) Core(TM) i9-14900F (2.00 GHz) メモリ：128 GB グラフィックスカード: NVIDIA GeForce RTX-4070-SUPER 12GB github.com/Niko1221/Strata pic.x.com/NkcLWHR9Ea

github.com/Niko1221/Strata NVIDIA card (12-24 GB)でQwen3.8-Flash-Nextが動くと書いてあるけど本当でござるか～？

今日地元の LLM ディスコで教わった、Qwen3.8 Flash Next を高速に動かすことに特化した謎の有志開発エンジン github.com/Niko1221/Strata わいの 5090 + DDR5 128GB 環境 llama.cpp で 30tok/s くらいしか出てなかったのが 使うだけでいきなり 100tok/s 出て横転 llama.cpp pic.x.com/6yQJllwBZi

Qwen3.8-Flash-Next GSQ-RCO IQ3_XXS on RTX4090 + RAM 64GB github.com/Niko1221/Strata 128k contextでdecode 110 tok/s（llama.cpp比x5） prefill 400 tok/s程度（llama.cpp比x2） cache onでGPU hit pathに既知のバグがあるが現状そこまで大きな品質劣化は見られず まだまだだと思い知らされる日々

専用カスタム推論エンジン「Strata」のGitHubリポジトリ github.com/Niko1221/Strata Reddit（r/LocalLLaMA）の元スレッド reddit.com/r/LocalLLaMA/c…

【Qwen3.8-Flash-Nextを12GB VRAMで激速化する「Strata」】 👉 github.com/Niko1221/Strata 12GB VRAMの限定された環境でも、カスタム推論エンジン「Strata」と高度な非一様量子化を使うことで、Qwen3.8-Flash-Nextを最高クラスの速度で動かせるそうです！なんと出力が約65 pic.x.com/34T7Aa6ctl

github.com/Niko1221/Strata これで Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-GGUF (IQ2_XS) 試してみてるけど速いな。 pic.x.com/AIpfj8ZGu2