Azure AI Model Inference のリリース(プレビュー)。基本モデルの共通の機能セットを公開する API であり、サーバーレス API としてデプロイされた learn.microsoft.com/ja-jp/azure/ai… これら主要なモデルが共通 A​​PI をサポートします　Introducing the Azure AI Model Inference API techcommunity.microsoft.com/t5/ai-machine-…

OCIは、MLPerf Inference v4.0ベンチマークで優れた生成AIパフォーマンスを実現 blogs.oracle.com/oracle4enginee…

OCIは、MLPerf Inference v4.0ベンチマークで優れた生成AIパフォーマンスを実現 blogs.oracle.com/oracle4enginee…

Metaの機械学習のトレーニングと推論用のアクセラレータについて。 Our next-generation Meta Training and Inference Accelerator ai.meta.com/blog/next-gene…

推理 INFERENCE youtu.be/JyiHwfph43A?si… @YouTubeより

完全に機械学習に支えられた耳コピができた（FL StudioのStem分離機能でピアノ部分を分離して、piano_transcription_inferenceに通してMIDI化されたものをクオンタイズして手直しした） pic.twitter.com/LpfyLRNKIe

なんかもうTriton Inference Serverで良いなぁ

GPT-4o 体験 早すぎて、これが MoE + Nvidia GH200クラスター接続のお陰だったら、GB200も爆売れだろうな やっぱり Inference はネットワーキングじゃないかなぁ

はてなブログに投稿しました #はてなブログ SiPearl の Rhea1 HPC/AI Inference processor とは？ - Vengineerの妄想(準備期間) vengineer.hatenablog.com/entry/2024/05/…

返信先:@minux302何かの役に立ったなら嬉しいです！psd-watch-inferenceも触らせていただきます……！いつも開発お疲れ様です！

が要求されることになる。すなわち、もし実際に推理 (inference) が推論と議論(reasoning and argument)によって導き出されるのならば、こうした推理を精神に可能 とさせる媒介項が要求されることになるのである。率直に言って、その媒介項が何であるのか私にはわからない。 その媒介項を提示する責任

かもしれないことを認めて もよい。実際、私はそうした命題が常に推理されることを知っている。しかし、もしその推理(inference)が 論の連鎖 (a chain of reasoning) によってなされると主張するならば、その推論を提示してほしい。これらの命題 間の結合は直観的ではない。よって、そこにはある媒介項

5/19（日）おはようございます。今朝は自然に午前5時47分に目が覚め、先ほどまで"Causal Inference: "What If"読んでいました。これから朝食摂ります。その後の予定がどうなるかは、入院されている患者さん次第です。

Knowledge Bases for Amazon Bedrock Guardrails,inference parametersをいじれるようになったアップデート、17日付けのwhat's newに

MediaPipe LLM Inference APIのマニュアル Gemma 2Bや とGemma 7B、Phi-2、Falcon-RW-1B、StableLM-3BなどをブラウザやAndroids、iphoneなどで動かす事ができるようになるとの事 眠いので未チェックです ai.google.dev/edge/mediapipe…

なんと、MediaPipe LLM Inference APIを使って、MediaPipe形式に変換するとGemma 2Bや とGemma 7B、Phi-2、Falcon-RW-1B、StableLM-3BなどをブラウザやAndroids、iphoneなどで動かす事ができるようになるとの事 LoRAも対応しているようですがLoRAの場合はGPU必須っぽいです。

JpGUでは2件発表します． [SIT14-P11] Mapping the upper mantle discontinuities under the Australian continent with the Bayesian inference using azimuth-dependent receiver functions and multimode surface waves confit.atlas.jp/guide/event/jp…

私が AE をしている Journal of Statistical Planning and Inference で「Deep learning: statistical perspectives」特集をしているらしい。 AE には何も周知がなく，知らなかったです。鈴木大慈さんが Guest Editor の一人，日本人グループの論文が 2 本採択済み。 sciencedirect.com/journal/journa… pic.twitter.com/PlS82ckHzA

返信先:@setten_QBmodel inversion attack / membership inference などのキーワードが思い当たりました aclanthology.org/2023.trustnlp-… pic.twitter.com/Cu3YDjaGQu

membership inference attack ← なんだこれは

これか: Microbial network inference for longitudinal microbiome studies with LUPINE biorxiv.org/content/10.110…

ニュートン新書はMIT Press Essential Knowledge seriesのものを翻訳しているんだけど、このシリーズにはRosenbaum先生の"Causal Inference"があり、これも翻訳されないか期待している mitpress.mit.edu/9780262545198/…

返信先:@hayashiyus他1人こちらの論文でも、特徴ベクトルの変化を観察して、Self-Attentionは「平均シフトクラスタリング」に近いと考察していました。 推論高速化の研究なのですが、切り口も分析もとても面白い内容でした。 Deja Vu: Contextual Sparsity for Efficient LLMs at Inference Time arxiv.org/abs/2310.17157

#link LLaMA 3のマシン別ベンチマーク。Apple SiliconなMacはメモリ帯域幅が小さい機種もあるのでローカルLLM用に買う時には留意。 / - [XiongjieDai/GPU-Benchmarks-on-LLM-Inference: Multiple NVIDIA GPUs or Apple Silicon for Large Language Model Inference?](github.com/XiongjieDai/GP…)

American Causal Inference Conferenceは、現地時間の14日からスタート

membership inference attack for LLMs without using likehood : 自分のtextが使われているかどうかを確認する方法として、自分のtextの前半を入れて、後半をどれだけ推論できるか？で判定する。

抜け出す際に本当は@kimizuy さんにもっとわかりやすく宣言的vs命令的プログラミングの違いを教えていただいてめちゃ勉強になったけど、一旦おそらく原因と思われるTypeScriptがType Inferenceするのは宣言時やでってとこにだけ着地した

kantasakai.vercel.app/blog/hono-rpc-… というわけでHonoで初めてRPC使ってみてる時にちょっとハマった事項について書いた Expressの時の手癖で命令的にrouteを書いてたらRPCで方共有したい時にType Inferenceが効いてないことに気づいたという話

GPTの反応速度的にOpenAiは相当inferenceのインフラも積んでるではないかなと。しかもASICとか使わずにGPUだけでやろ。 競合他社みんなこれくらい出ないと勝負にならんのは明らかだけだ、それより人間がこれ以上の反応速度を求めるかどうかの方が気になる。

【セキュリティ ニュース】「Triton Inference Server」や「ChatRTX」の脆弱性を修正 - NVIDIA（1ページ目 / 全2ページ）：Security NEXT security-next.com/156931

Check out Kyokou suiri 21 Japanese Comic Manga anime 虚構推理 Invented inference Chashiba ebay.com/itm/1350575986… #eBay @eBayより

Nesa @nesaorg Layer-1 executing critical AI inference on queries that require a high degree of privacy, security, and trust using ZKML on-chain. Galxe有。今後のTestnetにToken8.8%割当 BetaAccess legacy.nesa.ai/playground メルアド登録 docs.google.com/forms/d/e/1FAI… Binance MVBシーズン7参加

【セキュリティ ニュース】「Triton Inference Server」や「ChatRTX」の脆弱性を修正 - NVIDIA（1ページ目 / 全2ページ）：Security NEXT security-next.com/156931

【SecurityNext】「Triton Inference Server」や「ChatRTX」の脆弱性を修正 - NVIDIA #cybersecurity #security #news security-next.com/156931

引用: The ANE is mostly designed as an inference only device that supports only forward prop The ANE has layer support implemented in hardware and can't be easily extended (?) え、そうなの？なんか込み入ったことになっていそうな。 zenn.dev/shu223/scraps/…

#111論文等共有 1354 openreview.net/forum?id=oGNdB… [ICLR'24] DNN x Bayesian inference x flatness。 Posteriorの flat region から MCMC する手法を提案。分類、calibration, OODで既存手法を上回る実験結果。 pic.twitter.com/iw6igxkAPY

Data integrative Bayesian inference for mixtures of regression models - Aflakparast - 2019 - Journal of the Royal Statistical Society: Series C (Applied Statistics) - Wiley Online Library rss.onlinelibrary.wiley.com/doi/10.1111/rs… こんなとこにもCRP

返信先:@KR0bqmoZ6Tu96R2インフェレンス（Inference/推論）では🤔

Groqの革新的なLPUチップアーキテクチャ：低レイテンシー・高効率の大規模言語モデル推論を実現する（2024-05）【論文解説シリーズ】 Inference Speed Is the Key To Unleashing AI’s Potential Groq. youtu.be/9_xg3pQfjF8?fe… via @compassinai