#データエンジニアRadio 後半のグラレコも！ pic.twitter.com/nqhf9snfso

AI を使いたくなった上司が必死こいてましたが、、進まなかった記憶です。 アルゴリズムがあってから、AI ですね。 #データエンジニアRadio

#データエンジニアRadio Apache NiFi ミートアップ！

いや、大変楽しかったです！ ありがとうございます。 #データエンジニアRadio

機器の異常検知は以前の職場でやろうとしていて…データがずーっと平坦で異常をどう判断していくのか。話題でした。 そうか、閾値判断で良かったんですねー #データエンジニアRadio

私も一瞬、、🦌さんが思い浮かびました😂 #データエンジニアRadio

#データエンジニアRadio 前半のグラレコ pic.twitter.com/tzEM0bkUec

#データエンジニアRadio はじめまーす x.com/i/spaces/1zqJV…

明日はGWの真ん中ですが、平日の木曜日ということで #データエンジニアRadio を開催いたします✨ 世間ではまだまだ謎に満ちたと思われている？ でも Cloudera のエンジニアたちは大好きなストリーミング処理について、朝から語ります✨ お楽しみに♪ x.com/i/spaces/1zqJV…

■Apache NiFi ミートアップ！ 5/15(水) 19:00〜 オンライン配信（無料）✨ ・Hadoop と同じ 2006年生まれのデータ収集自動化ソフト ・HDFSやKuduの他、多くのDBとの接続をサポート ・ #データエンジニアRadio のメンバーが、楽しいプレゼン＆デモをお届け🎁 nifi.connpass.com/event/315033/

Zookeeperを使って自前で作ったなんちゃって Streaming は、実は Apache Storm を使えばまるっとできちゃったというおはなし #データエンジニアRadio jp.cloudera.com/products/open-…

#データエンジニアRadio こちらでやっています✨ x.com/i/spaces/1OdKr…

本日の #データエンジニアRadio はこちら！ 7:55頃にオープンします。 twitter.com/i/spaces/1OdKr…

今週の #データエンジニアRadio は、こんなテーマでお届けします✨ 4/25(木) 朝8:00〜、どうぞお楽しみに！ x.com/i/spaces/1OdKr…

@_bou_3 @setadata 4/18(木)の #データエンジニアRadio のツイートをトゥギャりました！ ご参加いただいたみなさま、ありがとうございました。 togetter.com/li/2354445

@IQ_Bocchi @mocca1103 @afooooil 4/18(木)の #データエンジニアRadio のツイートをトゥギャりました！ ご参加いただいたみなさま、ありがとうございました。 togetter.com/li/2354445

ラムだっちゃ！ って事ですね。 #データエンジニアRadio

録音聞き直しているんですが、オープニングのコールがあったんですね Harpy! Data! Engineering! #データエンジニアRadio

#データエンジニアRadio ご参加ありがとうございました✨ 「初心者でもわかる」って名前はなんかタカビーな感じで気に入ってないけど編集できなかったんです＞＜ 初心者の心に寄り添う、楽しいラジオの録音はこちら📻✨✨ ぜひお聞きください🍀✨ twitter.com/i/spaces/1MYxN…

■Kudu が活躍する領域 ・製造業（工場）の時系列データ → 多数のエンドポイントから刻々と生まれるデータを、時系列の整合性とデータの中身を失わずに処理・保管 ・コネクティッドカー、ウェアラブル端末、スマートシティ、スマート家電 #データエンジニアRadio

■Kudu（インメモリDB）がもたらそうとしたもの ★現状 ・基幹業務／分析業務は二つの違う世界 ・基幹業務に影響を与えないよう、分析系は基幹業務のデータを別のストレージにロードして使う ★アフター ・基幹業務と分析業務を同じDBでDBで、垣根なくできる！ #データエンジニアRadio pic.twitter.com/1NlfsHFdX0

kudu知らなかった #データエンジニアRadio

昔のこち亀のPC回とかをみるとメモリの貧弱さに驚く、これがエンタープライズになると... #データエンジニアRadio

■インメモリ戦国時代（2010年代半ば） ・たくさんのインメモリの処理エンジンが登場 ・基本的にメモリで処理し、あふれた分をディスクに書き込む ・↑と似た発想をストレージに持ち込んだのが Kudu！ #データエンジニアRadio pic.twitter.com/f6sOTdxrns

javaを生で書くのが辛い...をhiveが隠蔽する #データエンジニアRadio

■マリーさん登場 ・メモリ　 - 速い・高い ・ディスク - 遅い・安い → コンピューターの性能が安くなったことに伴い、（当初はおそらく非現実的だった）「大量データをメモリで処理」が現実的になってきた #データエンジニアRadio pic.twitter.com/L6PdTv2ano

古い技術が滅びないのには、長い時間を生き延びただけの何らかの理由があるんでしょうね。 立川談志ぎ言ってたみたいに。 #データエンジニアRadio

■初期の Hive の問題 ・SQL を Map Reduce に翻訳してくれる ・Map Reduce は、中間ファイルをすべて ディスクに書き出しながら処理する ・ディスクは遅い → Hive も遅い　という問題が浮上。 #データエンジニアRadio pic.twitter.com/vDCXPWMfQF

■Map Reduce を見て、一般人が思うであろうこと 難しい Map Reduce の処理を、シンプルに SQL で書けたらどんなにいいか…＞＜！ そんな願いを叶えるために、神龍のごとく現れたのが Hive！ #データエンジニアRadio pic.twitter.com/WG7MOdlhKf

■元気玉システムの処理方法（初期） 泣く子も黙る Map Reduce! 「列Aと列Bの値が等しいデータを抽出する」を Map Reduce（Java）で書くとこうなる（一例） #データエンジニアRadio pic.twitter.com/cjWOZXs7Fk

■基本知識のおさらい② Hadoop = 元気玉システムの仕組みと、何が嬉しいのか #データエンジニアRadio pic.twitter.com/cOzm4EM51E

■基本知識のおさらい① Hadoop以前／以後で、「大量データ処理」の常識はどう変わったか？ #データエンジニアRadio pic.twitter.com/8LWK65a1GP

■初心者の視点③ ムーアの法則 -> 半導体の性能は、2年で倍になる souken.shikigaku.jp/19853/ ・CPUは半導体を使っている ＜↑からざっくり導き出せること＞ ・同じ値段で、2年後には倍の性能のCPUが作れる ・同じ性能のCPUが、2年後には半分の値段で作れる #データエンジニアRadio

長く生き残ってるものほど生き残りやすい #データエンジニアRadio

■初心者の視点② 歴史が証明するSQLのすごさ ★リンディの法則 -> すでに長く生き残っているものほど、今後も長く生き延びる可能性が高い -> 生物もテクノロジーも同様 gigazine.net/news/20170731-… ★誕生年 1959 – COBOL 1971 - UNIX 1978 – SQL 1991 – LINUX 1995 – Java #データエンジニアRadio

■初心者の視点① 大前提 コンピューターの世界では、「速さ」と「大きさ」がトレードオフ #データエンジニアRadio pic.twitter.com/jRrB9AVGeb

■前回の疑問 「Kudu はなんで速いのか？」 #データエンジニアRadio

ラムダの改善という意味がこもってそうなのにミューじゃなくてカッパーなのに今気づいた #データエンジニアRadio

■前回の復習② ラムダ／カッパアーキテクチャ ★ラムダ バッチとストリーミング、２系統で処理を行う ★カッパ 全部ストリーミングでいいじゃない #データエンジニアRadio pic.twitter.com/lHvlRPfY4z

■前回の復習　ストリーミングとは？ -> データの処理方式のひとつで、リアルタイムで流れてくるデータを処理すること ★バッチ処理：エレベーター -> 人（データ）をまとめて一気に運ぶ ★ストリーミング：エスカレーター -> 人（データ）をリアルタイムにちょっとずつ運ぶ #データエンジニアRadio