Kai-Fu Lee says the cost of AI inference compute will reduce by 100x in the next 2 years (カイフ・リー氏は、AIの推論による計算コストは今後2年間で100分の1に削減されると語った) 223件の賛成票 36件のコメント r/singularity reddit.com/r/singularity/…

Targeted maximum likelihood estimator (TMLE)：ターゲット最尤推定、を利用した機械学習アプローチでのRWDでの因果推論について😌 難しい。笑 From theory to practice: implementing targeted learning for causal inference using real-world data evidencebaseonline.com/from-theory-to…

>さて、このツールにはもう一つ特筆すべき機能が用意されている。左側「Inference」をクリックすることで表示される「Inference」と呼ばれる新たなUIだ。 ASCII.jp：これは便利！「Stable Diffusion」が超簡単に始められる「Stability Matrix」 (3/3) ascii.jp/elem/000/004/1…

Today's vocab; "order of magnitude":桁違いに An advent of generative AI is a order of magnitude greater than that of the Internet back in 1990s, pushing hyperscalers toward a buying spree of GPUs to enable both learning and inference. @ForeignAffairs

うん、とりあえず Hailo が Bookworm 標準の Python 3.11 / Picamera2 サポートをうまいことしてくれるまでは、USB カメラでやろう Hailo-Application-Code-Examples の yolox_streaming_inference のコードの途中までが USB カメラでの推論になってる （途中から Hailo model zoo…

Accelerating LLM Inference with vLLM (vLLMを用いたLLM推論の加速) - APC 技術ブログ IT企業技術ブログ等アンテナより techblog.ap-com.co.jp/entry/2024/06/…

Causal Inference and Discovery in Pythonの邦訳が出るらしい。 Pythonライブラリによる因果推論・因果探索［概念と実践］　因果的機械学習の鍵を解く (impress top gear) amzn.asia/d/cHQwmwb #Amazon

Type Inference也太magic了：devblogs.microsoft.com/typescript/ann…。

6/17（月）5時42分起床。おはようございます。朝勉としてマインドマップの本読みながら、マインドマップもどきを作ってみました。やっぱり、頭の中のものを書き出すのはよいですね。これから出勤し、午前訪問診療、午後回診、夜間診療です。帰宅したら"Causal Inference: What If"読むつもりです。

Thad Dunning先生のサイトを見てたらこんなものが Forthcoming. “Concepts and Causal Inference.” In Collier, David, Essays on Concepts and Measurement. Zachary Elkins, Editor. Cambridge University Press (in process). thaddunning.com/research/all-r…

タイトルパンチ効いててすこ > LLM Dataset Inference: Did you train on my dataset? arxiv.org/abs/2406.06443

#統計 さらに手堅い結果が原理的に得られるはずがないことについても統計学の文脈では「推論」(inference)と言ったりする。 「それ全然科学的証拠じゃないだろ！」と言いたくなる「尤度」(ゆうど)を「証拠」(evidence)と呼ぶ場合もある。 言葉による権威付けによる詐術に見える部分が非常に不快。

動かしたりするのはLumaみたいなのを使えばいいから、inferenceメインにしてもいいかもしれんなw (´・ω・｀)ｹﾞﾗｹﾞﾗ

Required Hardware BF16 Inference: 8x H200 (1x H200 node) 16x H100 (2x H100 nodes) 16x A100 80GB (2x A100 80GB nodes) そ、そんな

340Bクラスだと、H100x8で推論すらできない、、😇 Required Hardware BF16 Inference: •8x H200 (1x H200 node) •16x H100 (2x H100 nodes) •16x A100 80GB (2x A100 80GB nodes) huggingface.co/nvidia/Nemotro…

AIの話をした 現在隆盛するのは根本的にはRandom Inference Machineだ まで話しましたがそれから先がほんとはあってContext embedded randomでありこのContext embeddedの意味的真性が認知的スレッシュホールドを超えると真に知能的となると言えそれはもうそれ自体が意味を持つと言えることになる

京大に来て2ヶ月半。自分の中の（京大）世界モデル🌍を更新中。ガンガンActive Inference をかけながら動いている。…

これに「だったらAIでいい」というコメント付いてるけど、映像がないということはAIにとっても入力信号が足りない（inference に使うデータがない）んだから、どんな高精度な判定モデルが作れても実際の判定はできないと思う。 （モデルを学習するのもめちゃくちゃ難しそう、教師信号どうする？）

前処理のフレームワークを変えると inference の結果が少し変わるのがどうしても気になったので lldb で tensor の copy 部分でフックして memory read <address> --size <tensor_size> <dump_path>で実際にメモリ内で渡されてるテンソルを比較してみる。

予想する時に、「もし X だったら A というアクションをとっているはずなので、今の B のアクションは Y という意味がある」みたいな Inference (推定) ができるようになると、結構上手くなれるんじゃないかなっていう。

論文での因果への言及について "因果を汚い言葉のように扱うことは科学にとって有害" "論文では、「因果」という言葉は、タイトル、導入、方法、議論のセクションでは適切" The C-Word: Scientific Euphemisms Do Not Improve Causal Inference From Observational Data ncbi.nlm.nih.gov/pmc/articles/P…

I'm excited to attend How Fast Can Your Model Composition Run in Serverless Inference? | 您的模型组合在无服务器推理中可以运行多快？ - Fog Dong, BentoML & Wenbo Qi, Ant Group at KubeCon + CloudNativeCon + Open Source Summit + AI_dev China 2024 sched.co/1eYXz @sched pic.twitter.com/JV275ZVrXf

１つのデータでただ inference だけするコードを必ず提供してほしい

虚構推理 = Invented inference. 21 / 城平京 原作 ; 片瀬茶柴 漫画 東京 : 講談社, 2024.5 ndlsearch.ndl.go.jp/books/R1000000… amazon.co.jp/o/ASIN/4065355…

6/13（木）５時１７分起床。おはようございます。朝一で"Causal Inference: What If"を読みました。朝、ちょっとゆっくり勉強できると嬉しいです。仕事が１０時から１５時くらいなら、とってもハッピー。まあ、メチャクチャ自分が組織に無理を言えばできないこともないでしょうが。（続く）

Intellij の full-line-inference CPU使いすぎで仕事にならないのでオフった

おっと、これは予想外のmlx distributed inference来た？mlxはオープンということを忘れていた。非公式で実装してくれる人が出てきたということか？急に悩みが解決した説でてきた。

6/12（水）５時３１分起床。おはようございます。朝勉で"Causal Inference: What If"読みました。一節読めて満足。これから出勤し、午前外来、午後回診とカンファレンス。帰宅後も"What If"を読んで早く寝るでしょう、早く寝たい、早く寝られればよいな。もちろんお酒は飲みません（知らんけど）。

☆ﾟ⁠.⁠*⁠･⁠｡ﾟ🎀𝓘𝓷𝓯𝓮𝓻𝓮𝓷𝓬𝓮 𝓹𝓻𝓮𝓰𝓪𝓷𝓽𝓮 🎀☆ﾟ⁠.⁠*⁠･⁠｡ﾟ #fredenaib pic.twitter.com/ZM4EgDScld

『LLM（大規模言語モデル）』から『推論inference』するのではなく、OS上で動く『複数のApp』を『照合reconcile 』するという手法 #Yahooニュースのコメント news.yahoo.co.jp/profile/commen…

ONNXの変換コマンドの例。また変わるだろうからメモだけ。 $ python yolo/lazy.py task=inference weight=weights/v9-s.pt device=cpu +task.save_predict=True +task.fast_inference=onnx image_size=[640,640] model=v9-s

一口に推論と言っても、LLMの方でやってるのは Reasoning で、世界モデルの方でやりたいのは Inference だから、ちゃんと示さないと噛み合わない場面がある。 最終的には、実世界応用に向けて統合されていくだろうけど。

pixartのcontrolnet関連スクリプト、あまりにも汎用性がなくてキレてる なんでtrainとinferenceに当然のようにHED前処理が含まれてるんじゃ

返信先:@shiraishia_mdCausal inferenceのSummerコースっす。涼しくて全然夏感ないですけど笑

帰納推論ってIBEの一種なんじゃないかってこの前ふと思いついて調べてみたら、G. ハーマンが半世紀くらい前に論文にしてた。えらすぎ。 Harman, G. H. (1968). Enumerative Induction as Inference to the Best Explanation. The Journal of Philosophy, 65(18), 529–533.

返信先:@Javski2やり直してみました。 GPU_ID=0 VRAM_fraction=100% channel=64 block=7 inference:0-149 write:0149 最後の行がカウントアップしていって149になった時点でdos窓が閉じてしまいました。

返信先:@johtaniinference apiの代わりにspladeモデル直ホスト -> トークンIDから元のワードに変換できればML Node要らなかった気がします。 ANN/kNNと違ってマッチしたdoc IDベースになるのでレイテンシ的には問題なかったイメージです ただカウント/aggsを使うユースケースだとマッチ件数が爆発して厳しかったです…

返信先:@Javski2返信ありがとうございます。ログ上、Active code page: 65001以下エラーらしい記述がわかりません。basicvsrpp.exe実行後は、 GPU_ID=0 VRAM_fraction=100% channel=64 block=7 inference:0-81 write:0044 で止まります。これだけでは判断できないでしょうか。

6/10（月）６時１５分起床。おはようございます。一瞬ChatGPTの入門書読んで朝食。これから出勤します。午前外来、午後訪問診療、夜間診療。帰宅したら"Causal Inference:What If"読みます。今日はアルコールは控えておきたいと思うものです。（知らんけど）