BF-16：クリティカルに頼らなくてもレオン撃破間に合うやん、ってことで最終ターンやり直してMVP厳選。ミステールでTec+2からAtk+2へ変更。これでBF-17はミステールでTec+1でよいのでターン制限がない分楽に。 ※金のドゼウでドーピング時に小星は切り捨てられるためTec+2にしても小星1個無駄になる

BF-16：ノーマルと同じノリでミラノを対レオン隊殲滅に回さずにアイテム回収させてたらきつかった…、お馬鹿。予定通りミステールMVPでTec+2。

7bのbf16推論と28bのIQ4XSはどちらが性能が良いのだろうか

VRAM 24GBのGPUで、SDXLのCNを1024x1024でトレーニングできた！！ もはやmixed precisionすらできないので全部bf16でやった。 試作したモデルはoutpaint CN（外に向かって拡張）で、とりあえずできたんだけどかたらぎさんのinpaint CNの方がoutpaintでも優秀だった😅 ※テストの内容などはALTに。 pic.twitter.com/GWbRgcNo6V

対応する演算精度については、FP16（16bit浮動小数点）、BF16、INT8（8bit整数）、INT4（4bit整数）、INT2（2bit整数）と変わっていない＞ GPU界隈では 2bit は既に標準っぽいぞマジか…？ ってか FP8 は何処に行った！？

また、Instinct MI325Xを8基搭載した「Instinct MI325X Platform」では、理論ピーク性能はBF16およびFP16で最大10.4PFLOPS、メモリは最大2.3TBを装備。Instinct MI325X Platform 1台で1兆パラメータのAIモデルを格納できるとしており、

Core Ultraに搭載されたXe-LPGでは未搭載だったXMXが搭載されたことも大きな特徴で、FP16/BF16、INT8/INT4/INT2など、さまざまな精度のデータタイプの行列演算を一度に処理することが可能になる。FP16では2,048命令を1クロック周波数で、INT8では4,096命令を1クロックで処理できる。

aixsatoshi/Honyaku-13b　ZeroGPUデモ さすがA100 bf16 結構速い pic.twitter.com/CmQxXKPjNu

もうNodeで対応してくれてるのありがたや。xformersなしだと色褪せ低画質化しちゃうのでほぼ必須。 github.com/kijai/ComfyUI-… 枝刈り済のweightならVRAM16GBでもギリいける。OutOfMemoryでたらdtypeをbf16にしよう。 huggingface.co/Kijai/DynamiCr…

返信先:@Eth_Aliceee他1人0x51bf16d4ab2d27625aa7f65c7f07b64e698dbfad 陪跑专业户

BF16で訓練してるんだけどこのくらいのデカい値だと丸め誤差がすごいことになってそう

＼　　　　　　　　　／ 　 Japan Drone 2024 ／　　　　　　　　　＼ 📅 6/5(水) - 6/7(金) 📍幕張メッセ 展示ホール6 BF-16 最新のネットワークセキュリティについて説明いたします。 wolfSSLのご使用を希望される方には、弊社エンジニアより直接ガイドいたします。 ssl.japan-drone.com pic.twitter.com/Kvv0WxRSGV

返信先:@aorblueすみません、ありがとうございます！bf16の評価見てみたいのでSacreBLEU、WMT23調べてみます。このbenchmark結果、huggingfaceリポジトリのほうで引用させてもらっても良いですか？よろしくおねがいします🙇

ケース・バイ・ケースとは思いますが､ TransformerEngineでbf16 to fp8 に変更した際の現実的な速度向上は､5/4倍くらい? databricks.com/blog/coreweave… 40日の学習が30日くらいで終わるイメージ｡ pic.twitter.com/MzkhKM2pcP

kohyaさんのスクリプトを参考にfull_fp16みたいな実装にしたらやっと動いた！！ 消費VRAM 22868MiBだけど💦 多分fp16よりbf16の方が良い気がするので、それで試してどうなるかかなあ？

最近はH100/A100ばかり使っているので気付かなかったけど、TuringアーキテクチャのT4でもbfloat16が使えるようになっている。 なにが起きたのかはよく分からない（多分torch==2.3.0内部でbf16が実装されたのだろうけど、documentationが見当たらない） pic.twitter.com/akZHtRYMG3

LLM周り調べてたらbf16が高精度って書いてあってたまげてしまった

open sora 完全なbf16(モデルもbf16)で学習しながら Attentionのsoftmaxだけfp32で計算してる 面白い Attentionのsoftmaxの精度下げると一気にnanに飛びやすくなる

返信先:@ShouChen_20系不支持bf16 局限太大了 3090才是最优解

ロズウェルの出番BF16 BF17だけじゃね？ ほぼTASと同じチャートになってきてる気がする

できるだけ品質保持するため量子化せずに学習時のパラメータ探索してたけど、推論時にbf16で使う人ほとんどいないなら、QLoRaで最適なパラメータ探索すべきなんですかね？

一応6月BF16日の予定です。

#まほやく をプレイしよう🧙 アプリをインストールして、下記招待コードを入力！ マナ石50個とSSR確定11連ガチャチケットをもらおう♪ 招待コード【bf16e28f92bc】 #まほやく招待キャンペーン @mahoyaku_info mahoyaku.com/store pic.twitter.com/Ww6ozAi86E

Neoverseシリーズじゃない独自のアーキテクチャなのも面白いよね。元々、SVEとか利用が少ないものは外しつつ、BF16とかint8もCPUに実装して消費電力下げつつ、推論性能をそれなりに稼ぐ構成 coelacanth-dream.com/posts/2022/05/…

返信先:@marugamefan他3人saferiskman3 0x7F1ddae2dF2F2bf16E2da686AC20dDb21Fba3784 よろしくお願いします🥺

返信先:@sweswesuuwee他2人saferiskman3 0x7F1ddae2dF2F2bf16E2da686AC20dDb21Fba3784 よろしくお願いします🥺

返信先:@gm_kohane他3人saferiskman3 0x7F1ddae2dF2F2bf16E2da686AC20dDb21Fba3784 よろしくお願いします🥺

返信先:@cibinobu他3人saferiskman3 0x7F1ddae2dF2F2bf16E2da686AC20dDb21Fba3784 よろしくお願いします🥺

返信先:@Ayumiiiii666他3人saferiskman3 0x7F1ddae2dF2F2bf16E2da686AC20dDb21Fba3784 よろしくお願いします🥺

返信先:@y_s_y_11他2人saferiskman3 0x7F1ddae2dF2F2bf16E2da686AC20dDb21Fba3784 よろしくお願いします🥺

返信先:@didpacchan他2人saferiskman3 0x7F1ddae2dF2F2bf16E2da686AC20dDb21Fba3784 よろしくお願いします🥺

返信先:@lick69696969他3人saferiskman3 0x7F1ddae2dF2F2bf16E2da686AC20dDb21Fba3784 よろしくお願いします🥺

返信先:@taka777SF他2人saferiskman3 0x7F1ddae2dF2F2bf16E2da686AC20dDb21Fba3784 よろしくお願いします🥺

返信先:@Drai_nft他3人saferiskman3 0x7F1ddae2dF2F2bf16E2da686AC20dDb21Fba3784 よろしくお願いします🥺

返信先:@harashowcom他1人saferiskman3 0x7F1ddae2dF2F2bf16E2da686AC20dDb21Fba3784 よろしくお願いします🥺

返信先:@laa_sts他2人saferiskman3 0x7F1ddae2dF2F2bf16E2da686AC20dDb21Fba3784 よろしくお願いします🥺

返信先:@ark3141592他3人saferiskman3 0x7F1ddae2dF2F2bf16E2da686AC20dDb21Fba3784 よろしくお願いします🥺

返信先:@meta_ut他3人saferiskman3 0x7F1ddae2dF2F2bf16E2da686AC20dDb21Fba3784 よろしくお願いします🥺

返信先:@shibacryptojp他3人saferiskman3 0x7F1ddae2dF2F2bf16E2da686AC20dDb21Fba3784 よろしくお願いします🥺

返信先:@Mayoi_Present_他3人saferiskman3 0x7F1ddae2dF2F2bf16E2da686AC20dDb21Fba3784 よろしくお願いします🥺