big data == big waste?

一个简单的query,不小心就可能处理了几百G的数据,这得花多少CPU?

快速处理大数据是好,但是很容易带来错觉,以为也很廉价

从前的模式都是单机模式,不用就是浪费,用的话处理量太大就会慢,因为运算能力是有限制的

现在倒好,运算全部在云上,资源相当于无限,单位时间运算能力无限

一个超大查询,几秒出结果

既然快,那也就弄得多。一个小时可以弄成百上千的查询。

不知不觉,你可能已经用了几千台服务器x1小时的资源。这是什么概念?相当于你用一台电脑,运行了一年。一个小时花掉上百刀。比你的小时工资还贵。个体开发者和小公司怎么负担得起?

所以,这玩意搞到最后竟然成了资本的竞赛。这太悲哀了。

bigquery run之前就不能提醒一下你会用多少资源?不能自动优化一下?

而且很多东西从开始的数据结构就是非常浪费的。比如github那个payload。就不能先parse好,分别存到column里?

Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s