Difyで @huggingfaceのモデルを登録する方法はエンドポイントによって、①Hosted Inference APIと②Inference Endpointsに分かれてる。前者がプロトタイプ用で後者は本番運用。①の場合はモデル名とAPI Tokenを設定するだけで簡単に使える↓。一方で②は、専用サーバーのURLも必要で設定が多少複雑😇。 pic.twitter.com/zo8GQaqmv7

こんなこと言ってたら、ちょうどMicrosoftから"Azure AI Model Inference API"なるものがリリースされていた。様々なモデルを共通のインターフェースを通じて利用できるから複数モデルを簡単に使い分けられるし、比較/評価もしやすい。いいじゃん。 techcommunity.microsoft.com/t5/ai-machine-… pic.twitter.com/mKQGfPIclT

物体の潜在的な物理特性(質量、摩擦、弾性、変形など)を推論する能力を評価するための新しいデータセットとベンチマーク Physion++: Evaluating Physical Scene Understanding that Requires Online Inference of Different Physical Properties dingmyu.github.io/physion_v2/ pic.twitter.com/WWQ3gwPRp7

civitaiのモデルをHuggingface Inference APIで使う方法を確立してしまった。ガチ有能AI助手がますます有能になってしまう pic.twitter.com/nsY2L8KYOM

MEGALODONが切り開く、AI言語処理の新境界（2024-04）【論文解説シリーズ】Megalodon: Efficient LLM Pretraining and Inference with Unlimited Context Length Xuezhe Ma, et al. youtu.be/tnjGD9eiioE?fe… via @compassinai

Google IOでもMediaPipe LLM Inference APIが紹介されてた youtu.be/nOinQrCvZkM?t=… LLMのモデルはファイルサイズデカすぎるので、Gemini Nanoまでの繋ぎでプロトタイピングに使う感じじゃないのかな

I solved 10 problems using statistical inference formulas five times each. I'll continue to solidify my foundation with another book. #英語日記 #数学 "統計的な推測"の公式"練習問題10題"を5周しました。お陰で公式が少しずつ身に付きつつあります。次は白チャートで基礎固めを目指します🙋 pic.twitter.com/HVcTcFmwnZ

第五人格/𝑻𝒓𝒖𝒕𝒉 & 𝑰𝒏𝒇𝒆𝒓𝒆𝒏𝒄𝒆_Gatto⚰️ 제5인격_진실/추리_가토⚰️ 📷 @Juliofmine pic.twitter.com/kSqqfVfKpD

推理 INFERENCE youtu.be/JyiHwfph43A?si… @YouTubeより

完全に機械学習に支えられた耳コピができた（FL StudioのStem分離機能でピアノ部分を分離して、piano_transcription_inferenceに通してMIDI化されたものをクオンタイズして手直しした） pic.twitter.com/LpfyLRNKIe

私が AE をしている Journal of Statistical Planning and Inference で「Deep learning: statistical perspectives」特集をしているらしい。 AE には何も周知がなく，知らなかったです。鈴木大慈さんが Guest Editor の一人，日本人グループの論文が 2 本採択済み。 sciencedirect.com/journal/journa… pic.twitter.com/PlS82ckHzA

返信先:@setten_QBmodel inversion attack / membership inference などのキーワードが思い当たりました aclanthology.org/2023.trustnlp-… pic.twitter.com/Cu3YDjaGQu

#111論文等共有 1354 openreview.net/forum?id=oGNdB… [ICLR'24] DNN x Bayesian inference x flatness。 Posteriorの flat region から MCMC する手法を提案。分類、calibration, OODで既存手法を上回る実験結果。 pic.twitter.com/iw6igxkAPY

Groqの革新的なLPUチップアーキテクチャ：低レイテンシー・高効率の大規模言語モデル推論を実現する（2024-05）【論文解説シリーズ】 Inference Speed Is the Key To Unleashing AI’s Potential Groq. youtu.be/9_xg3pQfjF8?fe… via @compassinai

トレーニングでのHardware Requirement のvramデカすぎるわ “Understanding VRAM Requirements to Train/Inference with Large Language Models (LLMs)” by Siddhesh Gunjal medium.com/@siddheshgunja… pic.twitter.com/KV9Vb2znt9

ブログ投稿「【YouTube】TOEFL Reading 推論問題 Inference Q の解法を教えます！」 tofure.com/blog/22157/ 過去のTOEFL問題を使って、推論問題解法の重要なポイントだけではなく アカデミックなパッセージの話の展開 セミコロンの用法 選択肢の見方 についても解説しています pic.twitter.com/tBhdh6Oi2R

今日の論文はこちら Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time arxiv.org/abs/2203.05482 github.com/muramasa2/pape… pic.twitter.com/hSx8TJWkKH

Intellij IDEA的full-line-inference好像稳定吃一个CPU pic.twitter.com/sEcgM8WKIg

IdentityV 第五人格 cos - 𝐓𝐫𝐮𝐭𝐡 & 𝐈𝐧𝐟𝐞𝐫𝐞𝐧𝐜𝐞 𝐬𝐞𝐫𝐢𝐞𝐬 - pic.twitter.com/ckWvxHMABB

【cosplay】IdentityⅤ ―――――――――――― 新たな舞台の幕が上がる… ―――――――――――― Mr.Inference_Naib Subeder_ Ronald of Ness_Norton Campbell_： @fate_X_crow Photo ：@sai_llium_07 pic.twitter.com/UnCe4MXBM8

inference melodis dminfer D推 / 写傭 pic.twitter.com/f5giOJxFgI

「If you’re only here to waste my time, then leave」 Detective Inference / Mr. ミスタリー 📸 @photo_melle ❣️ #identityV #naibsubedar #第五人格　#ナワーブ・サベダ pic.twitter.com/pNrW64D7jK

"Yes, yes, yes ... and yes!" — Tuberose ✽ ———————————————— ⚠️ R18 🤕✂️| 傭リ | 佣杰 Mr. Inference x Tuberose [InfeRose] ———————————————— Link: poipiku.com/700717/7184671… #傭リ #NaibJack pic.twitter.com/dr2qtsaoNf

⚠️ R18 🤕✂️| 傭リ | 佣杰 Mr. Inference x Tuberose [InfeRose] ———————————————— ✂️✽ : Pretty ... 💘 ———————————————— Link: poipiku.com/700717/7154217… #傭リ #NaibJack pic.twitter.com/qUTmzD4cdy