データサイエンス系の処理をワークステーション上でゴリゴリやるときにSQL使いたいところでDuckDB使うのとかがいいのかな。それこそ1000万件以上みたいなサイズ感で。ややニッチだけどSQLiteとかだと重くなるのかも

SQLite/H2/DuckDB等の組み込みのDBは「ファイルよりは便利」みたいなところ、つまりポータビリティ・利便性がいいのであって、個人的には多くのユースケースではバキバキなパフォーマンスは求められないと思うんだけど、DuckDBは「Fast」を謳っているのが興味深い

DuckDB、SQLインジェク視点から関数一覧みたところ、とりあえずsleep系はなさそうかな。Lambdaの機能とかあって、それ誰が欲しいんや…ってなった。実用したら保守性ガタガタになりそうｗ duckdb.org/docs/sql/funct…

PyIcebergが扱うIcebergテーブルは、Apache Arrow, Pandas, DuckDB, Ray, Daftに変換できるようになっている py.iceberg.apache.org/api/#query-the…

TechRAMEN 2024 Conference にプロポーザルが投稿されました！ 「DuckDBでマスターデータ検索システムをつくってみよう」 / nittaさん （@knitta221） fortee.jp/techramen-24-c… #techramen24conf

DuckDB、面白そうなんだけど、ローカルにデータがあることが最近無い。 何か活用方法はあるだろうか…

なんとか duckdb-wasm をビルド出来たっぽい。README に載っていない duckdb にpatchを当てるところとか generate_ を通すとか、docker composeを明示するとか勉強になった。OLAP(オンライン分散処理)に強いらしい。

duckDBは使ってみたい

ｸｯｯｯｯｯｯｯｯｯｯｯｯｯｯｯｯｯｯｯｯｯｯｯｯｯｿ早くていいよ daskとduckdbとgeopandasさえあれば十分って感じ

1.0が出て話題になっているDuckDBくんですが、私はGISデータを高速に触るために前々からずっと使ってました

SQLiteのように使えるOLAP用データベース。DuckDBは結構アツイと思ってるんだが今現場最前線にいるわけではないので触る機会がないな。 / “シングルバイナリでローカル実行可能、高速なOLAP用オープンソースDB「DuckDB 1.0」正式リリース” htn.to/YB2EWpKQZ3

LambdaをTypeScriptで書いているので、Parquet + ZSTDで保存しようとすると既存のParquetライブラリが軒並み対応してないので、せっかくなのでDuckDB経由でやったのだけど、DuckDBはcdkでdeployするときにバンドル問題起こすので、ちょっと多めのYAKの群れと相見まえたのに、結局CSVで良かった仕打ち。

Minio + DuckDB + dbt + Airflowでローカルにデータ基盤を立ててみる｜FKeisuke @FKeisuke2 #note note.com/fkeisuke/n/n85… 要するに「おお、簡単に作れるんだね」を言いたいだけ😀😀😀

zstdなParquetでログ保存していたら、1つ1000B弱程度になっていて、それら30個くらいを全部duckdbで飲み込んで1つのParquetにしたら1000Bになった。 何を言ってるかわからないと思うが…。 ちなみにLIMIT 1して1つのレコードのParquetを保存したら500B弱あった。 ふむぅ。

DuckDBの具体的な使い方として参考になった。 / “DuckDBで「由比ヶ浜結衣」を探す” htn.to/2BhMVa1n63

さぁ、また duckdb wasm 触るでぇ

分散処理なんもわからんから、DuckDBで触りをしてみるのがいいのかもしれない。熱い鉄はそれはそれで大事な気がするし。

publickey1.jp/blog/24/olapdb… シングルバイナリでローカル実行可能、高速なOLAP用オープンソースDB「DuckDB 1.0」正式リリース

これ面白そう。 オープンソースの分析データベースシステム「DuckDB」　バージョン1.0.0公開：前方／後方互換性と安定性が向上 - ＠IT atmarkit.itmedia.co.jp/ait/articles/2…

ほえー、コード書き換えないでもバックエンドをDuckDBに置き換えられるってことか。 #TokyoR

DuckDB SQLiteからそのまま置き換えられるくらい #TokyoR

DuckDBめっちゃ早いらしい #TokyoR

ExcelじゃなくてDuckDB使おう

なんとなくローカル開発で感じていたPandasへの不満をDuckDBが解決してくれるかもしれない。今度使ってみよう。 duckdb.org

タイトルが刺さりました🙏 (雪乃派のワイが通ります) DuckDBで「由比ヶ浜結衣」を探す｜darashi zenn.dev/darashi/articl… #zenn

duckdb wasm 試してみますぅ

duckdb cliでexcel駆逐する

DuckDB！ オープンソースの分析データベースシステム「DuckDB」　バージョン1.0.0公開 atmarkit.itmedia.co.jp/ait/articles/2…

オープンソースの分析データベースシステム「DuckDB」　バージョン1.0.0公開 atmarkit.itmedia.co.jp/ait/articles/2…

tauri×DuckDBちょっと今度試してみるか🤔

DuckDB速すぎてビビる

シングルバイナリでローカル実行可能、高速なOLAP用オープンソースDB「DuckDB 1.0」正式リリース － Publickey publickey1.jp/blog/24/olapdb…

Pythonのノートブックな前提だけど適当なipynbひらいて、import duckdbからの3行でdataフォルダ以下にある全csvを開いてソートかけて上位100件のみ抽出してpandasデータフレームに変換してクリップボードにコピーしてる。エクセルに貼るんだ。

duckdb で、でか xlsx ファイルのインポート速度どれくらいか計測しよう。

たぶん究極にあれなduckdbの使い方は duckdb .read_csv(“./data/*.csv”) duckdb .sql(“select * from ‘./data/*.csv’ order by date desc limit 100).to_df().to_clipboard() とかだと思う。めっちゃ便利。

全部icebergにして分析はduckdbでええやんみたいな気分になってる。

duckdb使ってみたら便利だった件みたいなLTするかー

DuckDB 商用環境利用話聞きたい。

オープンソースの分析データベースシステム「DuckDB」 バージョン1.0.0公開：前方／後方互換性と安定性が向上 atmarkit.itmedia.co.jp/ait/articles/2…