MapReduce

Jeffrey Dean, Sanjay Ghemawat. MapReduce: Simplified Data Processing on Large Clusters. In OSDI'04, 6th Symposium on Operating Systems Design and Implementation, pages 137-150, 2004.

関数型プログラミングを会得しない限り， Google に強大なスケーラビリティをもたらしたアルゴリズム ― MapReduce を発明することはできないだろう。 -- Joel Spolsky [Joel]

たしかに MapReduce は面白い。これほどまでに単純なプログラミングモデルによって，あの巨大なクラスターが駆動しているというのだから，面白くないはずは無い。ただ，その面白さに目を奪われてしまうと，それが分散処理における無数のソリューションのうちのひとつに過ぎないという事実をも忘れてしまいかねない。 Joel Spolsky が MapReduce 云々から Java 批判を展開したとしても，それを気に病む必要は無い。氏はケレンでやっているのであって， Java にクロージャを付け足したところで収まるような話ではないのだから [LtU] 。

私は関数型プログラミングの思考は身につけていませんが、この先、必要な概念のような気がしています。

追記

『気がしています』とか、全然論理的な答えじゃないな。