spark

最近在至少两个场合听到这个玩意儿

其实以前也听说过,但是没机会用到,也就没关心

其实现在也没机会用到,因为g有自己的一套。但是现在很好奇。

http://spark.apache.org/

第一感觉是个map reduce引擎或者类库

不过紧接着看到在基本spark之上还有SQL, Streaming, ML, Graph类库。这下可用性可就不是简单的map reduce可比了。这就有些像database之于文件系统,os之于硬件的区别了。

怪不得上次有个老乡说参加spark大会有好几千人。这可不是小打小闹啊。

open source运动真是所有软件公司和开发者的福利啊。

而且感觉上g的很多技术优势基本上被open source赶上甚至超越了。

这年头即使不在g或者facebook这样的公司也能用上如此好的工具可真是开发者的幸福啊。

不过现在的问题是小开发者恐怕仍然负担不起大数据运算所需要的硬件资源。必须得在有钱并且愿意花钱的公司才能玩这些东西。

Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s