分散技術「Spark 」 RDDを使用してデータをメモリ上で保管する。 毎回ストレージに書き込むMapReduce（Hadoopで使われる分散処理フレームワーク）よりも処理速度が速い。 #DS検定

実際、map して fold ... つまり MapReduce みたいな基本的操作に関してはだいぶ 🧠 の最適化が進んでいて、畳み込めるものをみると瞬時にアキュムレータつき再帰の計算構造が頭に浮かぶようになっている

BigDecimalSummaryStatisticsの実装の先の単位換算のこと考えてたらMapReduceしたくなってしまってぐぬぬってなってる。

PHPをたくさん書いてた当時、元々好きなデータ処理系をやりたくて、Hadoop勉強するのに物理的にPC3台購入してクラスタ構築と破壊を繰り返して運用時以上の無茶をやりつつ、MapReduceはもちろんHDFSとかHBaseとか、めちゃくちゃ時間かけて家で試しまくったおかげで今があるので…

今のデータ分析の発展の基礎の部分を支えたのは、規模データの分散処理を支えるApache Hadoopだと思っている。そのHadoopは、Googleの2つの論文「Google MapReduce」と「Google File System」に触発されて開発されたそうな。最近だと、こういう流れはどこにあるかなぁ？ Bitcoinのナカモト論文とか？