どうしてこんなにAIが進化してるのにubuntu20.04にfluentdをインストールすることすらできないのでしょうか

返信先:@hoshino2501自分のきっかけは、OSS のプラグイン部分のコード読み。 コア部分にawkが使われることはないけど、fluentd のようなプラガブルな設計思想のソフトウェアだと、プラグインはプログラミング言語がバラバラ。 awk '{ print $1, $2}' のような単純な処理だけではなく複雑な処理もできる事を初めて知った

返信先:@naa0yamaしかもこれ、オブジェクトに付与されるメタデータがfluentdとfluentbitで異なるという…

返信先:@tss_ontap詳しくないですが、ログの運用についてもアドホックなパーサを書くのではなくname=value形式のフォーマットが一般的になり、中でもJSONが相互運用性で一番な感じがしますね。昔はfluentdとかlogstashに始まり、いまはクラウド…

Fluentdのプラグインを作ってBigQueryにログを挿入するコストを1/3にした話 - #pixiv inside inside.pixiv.blog/2024/06/10/180… #pixiv_inside @pixiv_corpより

Fluentdのプラグインを作ってBigQueryにログを挿入するコストを1/3にした話 - pixiv inside inside.pixiv.blog/2024/06/10/180… #pixiv_inside @pixiv_corpより

Fluentdのプラグインを作ってBigQueryにログを挿入するコストを1/3にした話 - pixiv inside inside.pixiv.blog/2024/06/10/180… #pixiv_inside via @pixiv_corp

“コストが半分以下になった理由は、Storage Write APIが毎月2TiBまで無料なこと、JSONに比べてProtocolBufferのほうがシリアライズ後の容量が小さくなったから” | Fluentdのプラグインを作ってBigQueryにログを挿入するコストを1/3にした話 - pixiv inside inside.pixiv.blog/2024/06/10/180…

“Fluentdのプラグインを作ってBigQueryにログを挿入するコストを1/3にした話 - pixiv inside” htn.to/3dC7VpYSU6

一応プラグインメンテをやってる身としては、ずっとサポートしたいと思ってたんだけど、今自分でほとんど使ってなくて同じことをJavaでやっちゃってたので、なんか申し訳ない。 / Fluentdのプラグインを作ってBigQueryにログを挿入するコストを1/3にした話 - pixiv inside inside.pixiv.blog/2024/06/10/180……

新しいAPIであるBigQuery Storage Write APIを使ったFluentd向けプラグイン。高速かつ安価。わいわい / “Fluentdのプラグインを作ってBigQueryにログを挿入するコストを1/3にした話 - pixiv inside” htn.to/43gKsUBNTg

【今日の1日1スキル👩‍💼】DE-47 データ収集 - データ収集 ⭐️⭐️ FluentdやLogstashなどのログ収集ツールを用いて形式の異なる複数サーバのログを収集し分析可能な形式に変換して蓄積することができる

10年前、EMR/Hive/Spark/Presto/PipelineDB/Fluentd/Embulk/Airflow/Chartioとかを組み合わせてデータエンジニアリングをガッツリやってた頃はよちよち歩きだった Databricks が素晴らしく進化しているのを目の当たりにした場だったなというのが総括だな。また来年。 pic.twitter.com/Vt0DImFeny

Fluentdとの戦い… だるー

gRPC 実装の Storage Write API に対応させた話 / “Fluentdのプラグインを作ってBigQueryにログを挿入するコストを1/3にした話 - pixiv inside” htn.to/gqmL273bLa

Fluentdのプラグインを作ってBigQueryにログを挿入するコストを1/3にした話 - pixiv inside inside.pixiv.blog/2024/06/10/180… #pixiv_inside なんかすごい！(頭の悪い感想)

へー，こんなAPI出てたんだ．直接関係ないけどrecord_transformerのところをrecord_modifierにしたらもう少しスループットあがらないかな > "Fluentdのプラグインを作ってBigQueryにログを挿入するコストを1/3にした話 - pixiv inside" inside.pixiv.blog/2024/06/10/180…

ログローテが消滅！？ 過去の僕ですか！？(fluentd)

Fluentdのプラグインを作ってBigQueryにログを挿入するコストを1/3にした話 - pixiv inside inside.pixiv.blog/2024/06/10/180…

ハイトラフィックが恋しくなってきた Fluentdのプラグインを作ってBigQueryにログを挿入するコストを1/3にした話 - pixiv inside inside.pixiv.blog/2024/06/10/180… #pixiv_inside @pixiv_corpより

こんなAPI出てたのか。gRPCの設定を渡さないといけないところが面倒そうだけど、これだけ効果があるなら全然ありだなー Fluentdのプラグインを作ってBigQueryにログを挿入するコストを1/3にした話 - pixiv inside inside.pixiv.blog/2024/06/10/180…

Fluentdのプラグインを作ってBigQueryにログを挿入するコストを1/3にした話 - pixiv inside inside.pixiv.blog/2024/06/10/180… #pixiv_inside @pixiv_corpより

BigQueryのStorage Write APIよさそう & fluent-plugin-bigquery がStorage Write API対応できるとより良さそう / Fluentdのプラグインを作ってBigQueryにログを挿入するコストを1/3にした話 - pixiv inside htn.to/2gqZpggA1R

inside.pixiv.blog/2024/06/10/180… 去年作ったFluentdからBigQueryに書き込むプラグインに関する社内ブログを書きました お得です

Fluentdのプラグインを作ってBigQueryにログを挿入するコストを1/3にした話 - pixiv inside IT企業技術ブログ等アンテナより inside.pixiv.blog/2024/06/10/180…

返信先:@tj8000rpmfluentdはいつのまにかCNCFにいて、いつのまにかgraduatedしていました。他のCNCFプロジェクトと思いが少し違いますね。

fluentdって流行ってるしCNCF Graduatedの割に、OSディストリビューションで配ってないのってなんか理由あるのかな。クラウドネイティブなんだからパッケージで生OSに入れるとかけしからんって？

fluentdのout_http，AWSの人が直接対応パッチを投げてくるくらいAWS sig対応の需要があったのか

Fluent Package v5.0.3リリース - Windows版でサービス起動が遅い問題を修正 clear-code.com/blog/2024/4/10… クロスプラットフォームで利用できるオープンソースのデータ収集ソフトウェアFluentdを手軽に利用できるPackageの最新版についての紹介です。

【初心者】Amazon OpenSearch Service を使ってみる #2 (nginx-fluentd-OpenSearch) qiita.com/mksamba/items/… #Qiita

おうちでも AP のログをデバッグにしたら全く追いついてない感じだなぁ。 fluentd の設定をデフォルトにして調整してみるか。 pic.twitter.com/JaAa39MOuQ

ちなみに、Fluentd を経由しない Fortigate ➡ syslog-ng ➡ OpenObserve だとタイムスタンプ欄は、syslog-ng が メッセージから抽出した時間を OpenObserve 、表示時にその時間でソートされます。 #Fluentd でタイムスタンプを無視する設定を入れているため、ログの時刻情報が OpenObserve に渡らない

Fortigate ➡ syslog-ng ➡ Fluentd ➡ OpenObserve で、 タイムスタンプは多分 OpenObserve の受信時間 message の時間は Fortigate で、イベントが起こった時間 (送信前)

fluentd 経由は明らかに駄目だねぇ。 まぁ、そんなに大量でないメッセージを成る可く早く処理して欲しいなと設定したものだから、Fortigate のログはちょっと大量だったと思うけど。 pic.twitter.com/859XZS403i

Windows版Fluentdの起動遅くて困っていましたが、アップデートすると2秒で上がるようになった。感謝 clear-code.com/blog/2024/4/10…

職場の検証環境で Fortigate とか、Aruba-AP、NetAttest EPS とかのログを飛ばしてみた。 default - fluentd 経由 syslog-ng - fluentd を経由させずに OpenObserve に送信 明らかに fluentd を経由した方が詰まってるねぇ。どういうこと？？？ pic.twitter.com/LxZBs7ZIOY

ちょっと調べた > syslog とかログ基盤とか Fluentd / Fluent Bit とか調べる zenn.dev/pyteyon/scraps…

> (2017/04, Qiita) Dockerのlogging driver: それぞれの特徴と使いどころ(json-file, syslog, journald, fluentd) qiita.com/tkit/items/9eb…

fluent-package-5.0.3が内包するfluentdは1.16.5なのかー 1.17かと思ってた fluent-package-5.1.xでfluentdが1.17.xにアップグレードされるようだ