隨著大數(shù)據(jù)工具和服務(wù)的發(fā)展,2015年,IT行業(yè)將逐漸緩解發(fā)展瓶頸的局面,許多商業(yè)用戶和數(shù)據(jù)科學(xué)家將會(huì)借助相關(guān)工具和服務(wù)訪問(wèn)大量數(shù)據(jù)。自助服務(wù)大數(shù)據(jù)將成為IT行業(yè)的一種趨勢(shì),它允許商業(yè)用戶可以通過(guò)自助服務(wù)接觸大數(shù)據(jù)。自助服務(wù)還可以幫助開(kāi)發(fā)者、數(shù)據(jù)科學(xué)家和數(shù)據(jù)分析師直接進(jìn)行數(shù)據(jù)探索和處理工作。當(dāng)我們了解大數(shù)據(jù)的時(shí)候,業(yè)務(wù)的價(jià)值和IT的成本是我們主要衡量未來(lái)IT的標(biāo)準(zhǔn),業(yè)務(wù)價(jià)值驅(qū)動(dòng)大數(shù)據(jù)創(chuàng)新。Hadoop 不再成為我們討論的大數(shù)據(jù)主題。我們需要了解更多的是業(yè)務(wù)創(chuàng)新,數(shù)據(jù)變現(xiàn)和業(yè)務(wù)場(chǎng)景的探索。
下一代的大數(shù)據(jù)體系——數(shù)據(jù)湖:
每個(gè)數(shù)據(jù)項(xiàng)都應(yīng)有清楚的追蹤,可追溯其源系統(tǒng)以及該數(shù)據(jù)項(xiàng)產(chǎn)生的時(shí)間等信息。2010年 JamesDixon以此理念,創(chuàng)造了數(shù)據(jù)湖(data Lake)這個(gè)術(shù)語(yǔ),當(dāng)時(shí)他打算將數(shù)據(jù)湖泊作為單一數(shù)據(jù)源來(lái)使用,而多數(shù)據(jù)源將形成“水景園”。盡管還是最初的構(gòu)想,如今最普遍的應(yīng)用是將數(shù)據(jù)湖泊當(dāng)做許多數(shù)據(jù)源的結(jié)合?,F(xiàn)有數(shù)據(jù)倉(cāng)庫(kù)在分析能力的缺失,業(yè)務(wù)對(duì)數(shù)據(jù)獲取能力的提升,高級(jí)分析方法的創(chuàng)新是一種必然。
數(shù)據(jù)湖泊是近十年出現(xiàn)的術(shù)語(yǔ),用來(lái)描述數(shù)據(jù)世界中,數(shù)據(jù)分析管道的重要組成部分。作為一個(gè)信息系統(tǒng),數(shù)據(jù)湖泊是大型的基于對(duì)象的存儲(chǔ)庫(kù),數(shù)據(jù)以其原始格式存儲(chǔ)。通過(guò)全面的監(jiān)控和分析,通過(guò)數(shù)據(jù)的分析模型的建立,學(xué)習(xí),模擬,行動(dòng),最終實(shí)現(xiàn)內(nèi)容認(rèn)知的智能。 有并行體系以及無(wú)需移動(dòng)數(shù)據(jù)即可對(duì)數(shù)據(jù)進(jìn)行計(jì)算操作的明顯特點(diǎn)。
特點(diǎn) 1 :數(shù)據(jù)湖泊是一個(gè)并行體系,能夠存儲(chǔ)大數(shù)據(jù)
數(shù)據(jù)湖泊的每個(gè)數(shù)據(jù)元素都有獨(dú)特的標(biāo)識(shí)符,并有一組擴(kuò)展的元數(shù)據(jù)標(biāo)簽。
數(shù)據(jù)湖泊以數(shù)據(jù)源提供數(shù)據(jù)時(shí)的原格式(不論原格式是什么)存儲(chǔ)原始數(shù)據(jù)。沒(méi)有預(yù)設(shè)的數(shù)據(jù)模式,每個(gè)數(shù)據(jù)源都可以使用任何模式。由消費(fèi)者根據(jù)自己的目的來(lái)理解數(shù)據(jù)。
特點(diǎn) 2:數(shù)據(jù)湖體系無(wú)需移動(dòng)數(shù)據(jù)即可對(duì)數(shù)據(jù)進(jìn)行計(jì)算操作
總結(jié):
大數(shù)據(jù)技術(shù)自身在快速的發(fā)展,從1.0到大數(shù)據(jù)3.0的數(shù)據(jù)湖時(shí)代,我們要理性的看待大數(shù)據(jù),在關(guān)注數(shù)據(jù)量的同時(shí),應(yīng)該更加重視數(shù)據(jù)分析的能力和方法。實(shí)用分析工具與先進(jìn)分析理念,真正釋放數(shù)字化分析的力量,由人類(lèi)軌跡產(chǎn)生的數(shù)據(jù),與機(jī)器自動(dòng)產(chǎn)生的數(shù)據(jù)得出洞見(jiàn),從管理決策推導(dǎo)運(yùn)營(yíng)方案,最終實(shí)現(xiàn)數(shù)據(jù)價(jià)值提升。