此“圈”太亂 我們理解錯了大數(shù)據(jù)！

　　先從概念上來說，大數(shù)據(jù)是什么?其實數(shù)據(jù)處理從人類誕生時期就有了，古人結(jié)繩記事就是基本的統(tǒng)計，統(tǒng)計自己吃了幾頓飯打了幾次獵等等;再往近說，皇帝每晚翻嬪妃的牌子也是數(shù)據(jù)處理，在翻牌子之前，要從一大堆牌子里分析“方便”、“熱度高”、“新鮮度”等指標(biāo);更近的說，數(shù)據(jù)倉庫早在大數(shù)據(jù)這個詞出現(xiàn)前就已經(jīng)成熟發(fā)展了好幾十年了。所以說，大數(shù)據(jù)并不新鮮，只是某些技術(shù)如Hadoop、MR、Storm、Spark發(fā)展到一定階段，順應(yīng)這些技術(shù)炒出來的概念，但是這些概念都基于一個基本的理念“開源”，這個理念是之前任何階段都沒有過，可以節(jié)省費用提高效率，所以大家才都往這個行業(yè)里扔火柴(話說現(xiàn)在很多人跟風(fēng)亂吵，個人認(rèn)為也不是壞事)。

　　誤區(qū)一：只有搞大數(shù)據(jù)技術(shù)開發(fā)的，才是真正“圈內(nèi)人”。

　　筆者曾經(jīng)參加過若干會議，70%是偏技術(shù)的，在場的都是國內(nèi)各個數(shù)據(jù)相關(guān)項目經(jīng)理和技術(shù)帶頭人，大家討論的話題都是在升級CDH版本的時候有什么問題，在處理Hive作業(yè)的時候哪種方式更好，在Storm、Kafka匹配時如何效率更高，在Spark應(yīng)用時內(nèi)存如何釋放這些問題。參會者都一個態(tài)度：不懂大數(shù)據(jù)技術(shù)的人沒資格評論大數(shù)據(jù)，您要不懂Hadoop 2.0中的資源配置，不懂Spark在內(nèi)存的駐留時間調(diào)優(yōu)，不懂Kafka采集就別參加這個會!對了，最近Google完全拋棄MR只用Dataflow了，您懂嗎?

　　在這里我想說，技術(shù)的進(jìn)步都是由業(yè)務(wù)驅(qū)動的，某寶去了IOE才能叫大數(shù)據(jù)嗎，我作為一個聾啞人按摩師用結(jié)繩記事完成了對于不同體型的人，用什么按摩手法進(jìn)行全流程治療，就不叫大數(shù)據(jù)分析了嗎?技術(shù)發(fā)展到什么程度，只有一小部分是由科學(xué)家追求極致的精神驅(qū)動，大部分原因是因為業(yè)務(wù)發(fā)展到一定程度，要求技術(shù)必須做出進(jìn)步才能達(dá)成目標(biāo)的。