在(zai)過去(qu)的幾(ji)年里，人們從知道大數(shu)據(ju)的概念，發展到一些組(zu)織(zhi)能夠真正(zheng)實(shi)施一些大數(shu)據(ju)項目。然而，在(zai)一些組(zu)織(zhi)的數(shu)據(ju)中心(xin)團隊負責(ze)實(shi)施這些業務驅動的舉措之后，現在(zai)才開始(shi)認識(shi)到實(shi)現真正(zheng)大數(shu)據(ju)集(ji)成的復雜(za)性和深度。
大數據(ju)通過(guo)人(ren)們(men)生活，工作平臺，應用(yong)程(cheng)序，以及設備提供了多種格式的(de)大量的(de)數據(ju)。大量的(de)結構(gou)化(hua)和非結構(gou)化(hua)的(de)內(nei)容往往使用(yong)戶非常難以訪問(wen)和分析(xi)所需的(de)信息。
現代(dai)數(shu)(shu)據中(zhong)心往往是一個復雜的(de)(de)系統(tong)，相互連接的(de)(de)服務器和設備存儲，處理和分(fen)發各(ge)種(zhong)來源的(de)(de)大量信息。但智(zhi)能大數(shu)(shu)據整合，在改(gai)造傳統(tong)的(de)(de)信息系統(tong)，可(ke)以緩解從(cong)地理位(wei)置分(fen)散的(de)(de)網(wang)站(zhan)，甚至其他數(shu)(shu)據中(zhong)心的(de)(de)聚集和分(fen)析信息的(de)(de)斗爭(zheng)。
如果一個(ge)數(shu)(shu)據(ju)中心(xin)是(shi)一個(ge)組(zu)織(zhi)的(de)(de)(de)大(da)腦，那(nei)么可以認為其(qi)數(shu)(shu)據(ju)源就是(shi)反饋給神(shen)經和(he)細胞的(de)(de)(de)信息(xi)。智能(neng)大(da)數(shu)(shu)據(ju)集(ji)成意味(wei)著(zhu)(zhu)該組(zu)織(zhi)的(de)(de)(de)“神(shen)經系統”，為整個(ge)企業快速傳達信息(xi)，為現(xian)代商業生態系統起著(zhu)(zhu)至關重要的(de)(de)(de)作用。但這(zhe)也意味(wei)著(zhu)(zhu)數(shu)(shu)據(ju)中心(xin)的(de)(de)(de)管理人員將獲得(de)他們尋求的(de)(de)(de)準確和(he)高效的(de)(de)(de)數(shu)(shu)據(ju)處理的(de)(de)(de)安全性(xing)，質量，控制(zhi)和(he)管理。
從哪里(li)開始(shi)
任(ren)何(he)大(da)數據項目(mu)的(de)目(mu)的(de)是為了獲得更好的(de)結果，其(qi)中包括直(zhi)接(jie)進(jin)行實時洞察(cha)和基于循環模式的(de)長(chang)期觀點，但首先你必須(xu)克服早期的(de)集成挑(tiao)戰。所以要問你自己：
· 你所(suo)有的關鍵數據來自哪(na)里？
· 你的組織(zhi)如何聚(ju)合(he)并快速移動(dong)所有的數據？
· 如何(he)分(fen)析可用的(de)數據(ju)是否有價值？
· 通(tong)過在技(ji)術和(he)基(ji)礎設施方面的投資，你的企業如何才(cai)能最大(da)限度地(di)發(fa)揮價值？
最終，大數(shu)(shu)據(ju)整合攝入，準備和提供(gong)的(de)數(shu)(shu)據(ju)，不管是(shi)什(shen)么來源(yuan)。這包(bao)括利(li)用在(zai)企業(ye)每一類型(xing)的(de)數(shu)(shu)據(ju)，包(bao)括復雜的(de)，往往是(shi)非結構化的(de)機器產生的(de)數(shu)(shu)據(ju)，這通常需(xu)要一個(ge)更加融合的(de)數(shu)(shu)據(ju)中心的(de)基礎設施。
因(yin)此，第一(yi)步(bu)驟，可以說是最重要的一(yi)步(bu)，是整合所有(you)可用(yong)的數據。以下是確(que)定你的大數據集成(cheng)項目有(you)效實施的三(san)個關(guan)鍵(jian)領(ling)域。
（1）可靠的數據流(liu)
攝(she)入大(da)數據到(dao)一(yi)(yi)個(ge)平臺(tai)(tai)，像ApacheHadoop這樣的(de)平臺(tai)(tai)是不(bu)(bu)夠(gou)智能的(de)，不(bu)(bu)足以(yi)啟動一(yi)(yi)個(ge)Hadoop集群，輸(shu)入所有類(lei)型的(de)數據，并得出具(ju)有突破性的(de)新見解(jie)，展現自己。大(da)數據行業廠商似(si)乎每一(yi)(yi)個(ge)星期都在發布新的(de)工(gong)具(ju)和升級版本，甚至將某(mou)一(yi)(yi)技術引入到(dao)你的(de)堆(dui)棧，雖然功能并不(bu)(bu)強大(da)，但卻可以(yi)使你的(de)整個(ge)平臺(tai)(tai)過時(shi)。
這(zhe)是(shi)常見的企業應用程序和集群(qun)之間的經驗數據(ju)流和數據(ju)退化(hua)問題。因(yin)此，大(da)多數反應涉及(ji)手(shou)工編碼正在嘗試努力工作，并拋棄(qi)一些其他類型的技術。通常情況下(xia)，這(zhe)是(shi)一個解決方案。但這(zhe)不是(shi)最終的解決辦法。
采用一個安(an)全的(de)(de)，敏(min)捷(jie)的(de)(de)集成平臺，專注于調動(dong)實際的(de)(de)數(shu)據(ju)流進(jin)出(chu)數(shu)據(ju)中心的(de)(de)管道，確保在越來(lai)越復雜的(de)(de)工作場所的(de)(de)生態系統進(jin)行可靠(kao)的(de)(de)信息交(jiao)換。
（2）可擴展性
目前存(cun)在(zai)一些(xie)主要的(de)整合(he)，治理和安全問題，需(xu)要針(zhen)對不(bu)(bu)同層(ceng)次(ci)的(de)大(da)(da)(da)數(shu)(shu)據采取不(bu)(bu)同的(de)舉措，特別是在(zai)數(shu)(shu)據中心(xin)。我們今天正(zheng)在(zai)經(jing)營業務在(zai)其規模和信息方(fang)面(mian)日益龐大(da)(da)(da)，這使(shi)得數(shu)(shu)據成為“大(da)(da)(da)數(shu)(shu)據”。而(er)人(ren)們需(xu)要跨越地域和傳統的(de)數(shu)(shu)據中心(xin)來管理大(da)(da)(da)數(shu)(shu)據，那(nei)些(xie)過時陳舊的(de)工具已經(jing)嚴重低估了現代需(xu)求。
隨著企(qi)業的發(fa)展(zhan)和新的數據源(yuan)開始(shi)發(fa)揮作用，需要(yao)增加(jia)不(bu)(bu)同(tong)的技(ji)術，你的系統將(jiang)無一例(li)外(wai)地必須適應。如果你將(jiang)現在的問(wen)題通過手工(gong)編碼解(jie)決，當你試(shi)圖擴展(zhan)之后(hou)，會(hui)不(bu)(bu)會(hui)在擁有(you)它以后(hou)拋棄它？
簡單(dan)地增(zeng)加更(geng)多(duo)(duo)的(de)(de)工(gong)作人員或代碼(ma)的(de)(de)問題(ti)(ti)并(bing)不(bu)是(shi)一(yi)(yi)個可擴(kuo)展的(de)(de)策略，也不(bu)會解決復雜的(de)(de)大數據傳輸問題(ti)(ti)。需要有一(yi)(yi)個堅實的(de)(de)數據集(ji)成和(he)管(guan)理(li)平臺下的(de)(de)商業(ye)智能(neng)工(gong)具(ju)，可以(yi)輕(qing)松(song)地擴(kuo)展，采用眾(zhong)多(duo)(duo)的(de)(de)大數據工(gong)具(ju)，并(bing)且(qie)其來源而(er)不(bu)中斷(duan)。
（3）數據質量，分類，治理
而從結(jie)構(gou)化數(shu)據出來(lai)的(de)CRM和ERP應用(yong)程序通常(chang)很好地進行企(qi)業的(de)分析，但它是(shi)非結(jie)構(gou)化的(de)數(shu)據，更(geng)加難以管(guan)理。企(qi)業必須以某(mou)種方式治(zhi)理信息混亂，因為即使是(shi)最(zui)小的(de)數(shu)據質量的(de)問題也會產生(sheng)巨大的(de)錯誤(wu)。成功的(de)公司在(zai)元(yuan)數(shu)據級(ji)別(bie)上做到這(zhe)一點。
通過元數據定義信息(xi)是至關重要的，因為(wei)它(ta)提供了(le)來自大數據的結構，幫(bang)助進行(xing)分(fen)類和整理這些信息(xi)以后可以輕松找到。當信息(xi)流(liu)動到你的數據湖(hu)，必須(xu)進行(xing)某種分(fen)類，因此你正在做分(fen)析的數據實際上是準確的。
企業在(zai)錯(cuo)誤的數(shu)據方面浪費了一些技術(shu)周期，特別是昂(ang)貴的今天。所有(you)這些質量(liang)和分(fen)(fen)類(lei)必須在(zai)某(mou)一點(dian)上進行，但它應該(gai)在(zai)早(zao)期的水平，即使在(zai)集成周期。企業認為(wei)在(zai)數(shu)據質量(liang)的早(zao)期可(ke)以得到更(geng)(geng)好的，更(geng)(geng)有(you)價(jia)值的分(fen)(fen)析。
總結：
每一(yi)個(ge)組織都會成(cheng)為(wei)一(yi)個(ge)數(shu)(shu)據(ju)組織，或是(shi)被甩在(zai)后面。是(shi)什么使一(yi)個(ge)公司可以獨有他們的數(shu)(shu)據(ju)，并更好地使用數(shu)(shu)據(ju)。因(yin)此，一(yi)個(ge)成(cheng)功的大(da)數(shu)(shu)據(ju)項目最(zui)終(zhong)取決于一(yi)個(ge)組織的捉捕其數(shu)(shu)據(ju)的能力。
快速攝入(ru)和處理的(de)(de)大數(shu)(shu)(shu)據，需要一個(ge)可(ke)靠的(de)(de)集成基礎設(she)施，可(ke)以很(hen)容(rong)易地(di)擴展以容(rong)納大量的(de)(de)數(shu)(shu)(shu)據量，驅動實(shi)時訪問，并支(zhi)持每一個(ge)請求分析。利用信息(xi)，以獲得(de)競爭優勢，這聽起來很(hen)偉(wei)大，但只有可(ke)靠準確地(di)集成了(le)所有的(de)(de)數(shu)(shu)(shu)據源之后(hou)，才能建立一個(ge)可(ke)用的(de)(de)數(shu)(shu)(shu)據湖。
當正確的(de)信息傳遞給正確的(de)人，所以(yi)可(ke)以(yi)理解并采取行動最大(da)限度地提高大(da)數據整合的(de)價值(zhi)。但是，只(zhi)有當企業支持(chi)提供了大(da)數據下的(de)投資和可(ke)靠的(de)集成平臺，他們將獲得每個企業都在尋求大(da)數據的(de)最佳回(hui)報。
