在過去的幾年里，人們從知道大數(shù)據(jù)的概念，發(fā)展到一些組織能夠真正實施一些大數(shù)據(jù)項目。然而，在一些組織的數(shù)據(jù)中心團隊負責實施這些業(yè)務(wù)驅(qū)動的舉措之后，現(xiàn)在才開始認識到實現(xiàn)真正大數(shù)據(jù)集成的復雜性和深度。

大數(shù)據(jù)通過人們生活，工作平臺，應(yīng)用程序，以及設(shè)備提供了多種格式的大量的數(shù)據(jù)。大量的結(jié)構(gòu)化和非結(jié)構(gòu)化的內(nèi)容往往使用戶非常難以訪問和分析所需的信息。

現(xiàn)代數(shù)據(jù)中心往往是一個復雜的系統(tǒng)，相互連接的服務(wù)器和設(shè)備存儲，處理和分發(fā)各種來源的大量信息。但智能大數(shù)據(jù)整合，在改造傳統(tǒng)的信息系統(tǒng)，可以緩解從地理位置分散的網(wǎng)站，甚至其他數(shù)據(jù)中心的聚集和分析信息的斗爭。

如果一個數(shù)據(jù)中心是一個組織的大腦，那么可以認為其數(shù)據(jù)源就是反饋給神經(jīng)和細胞的信息。智能大數(shù)據(jù)集成意味著該組織的“神經(jīng)系統(tǒng)”，為整個企業(yè)快速傳達信息，為現(xiàn)代商業(yè)生態(tài)系統(tǒng)起著至關(guān)重要的作用。但這也意味著數(shù)據(jù)中心的管理人員將獲得他們尋求的準確和高效的數(shù)據(jù)處理的安全性，質(zhì)量，控制和管理。

從哪里開始

任何大數(shù)據(jù)項目的目的是為了獲得更好的結(jié)果，其中包括直接進行實時洞察和基于循環(huán)模式的長期觀點，但首先你必須克服早期的集成挑戰(zhàn)。所以要問你自己：

· 你所有的關(guān)鍵數(shù)據(jù)來自哪里？

· 你的組織如何聚合并快速移動所有的數(shù)據(jù)？

· 如何分析可用的數(shù)據(jù)是否有價值？

· 通過在技術(shù)和基礎(chǔ)設(shè)施方面的投資，你的企業(yè)如何才能最大限度地發(fā)揮價值？

最終，大數(shù)據(jù)整合攝入，準備和提供的數(shù)據(jù)，不管是什么來源。這包括利用在企業(yè)每一類型的數(shù)據(jù)，包括復雜的，往往是非結(jié)構(gòu)化的機器產(chǎn)生的數(shù)據(jù)，這通常需要一個更加融合的數(shù)據(jù)中心的基礎(chǔ)設(shè)施。

因此，第一步驟，可以說是最重要的一步，是整合所有可用的數(shù)據(jù)。以下是確定你的大數(shù)據(jù)集成項目有效實施的三個關(guān)鍵領(lǐng)域。

（1）可靠的數(shù)據(jù)流

攝入大數(shù)據(jù)到一個平臺，像ApacheHadoop這樣的平臺是不夠智能的，不足以啟動一個Hadoop集群，輸入所有類型的數(shù)據(jù)，并得出具有突破性的新見解，展現(xiàn)自己。大數(shù)據(jù)行業(yè)廠商似乎每一個星期都在發(fā)布新的工具和升級版本，甚至將某一技術(shù)引入到你的堆棧，雖然功能并不強大，但卻可以使你的整個平臺過時。

這是常見的企業(yè)應(yīng)用程序和集群之間的經(jīng)驗數(shù)據(jù)流和數(shù)據(jù)退化問題。因此，大多數(shù)反應(yīng)涉及手工編碼正在嘗試努力工作，并拋棄一些其他類型的技術(shù)。通常情況下，這是一個解決方案。但這不是最終的解決辦法。

采用一個安全的，敏捷的集成平臺，專注于調(diào)動實際的數(shù)據(jù)流進出數(shù)據(jù)中心的管道，確保在越來越復雜的工作場所的生態(tài)系統(tǒng)進行可靠的信息交換。

（2）可擴展性

目前存在一些主要的整合，治理和安全問題，需要針對不同層次的大數(shù)據(jù)采取不同的舉措，特別是在數(shù)據(jù)中心。我們今天正在經(jīng)營業(yè)務(wù)在其規(guī)模和信息方面日益龐大，這使得數(shù)據(jù)成為“大數(shù)據(jù)”。而人們需要跨越地域和傳統(tǒng)的數(shù)據(jù)中心來管理大數(shù)據(jù)，那些過時陳舊的工具已經(jīng)嚴重低估了現(xiàn)代需求。

隨著企業(yè)的發(fā)展和新的數(shù)據(jù)源開始發(fā)揮作用，需要增加不同的技術(shù)，你的系統(tǒng)將無一例外地必須適應(yīng)。如果你將現(xiàn)在的問題通過手工編碼解決，當你試圖擴展之后，會不會在擁有它以后拋棄它？

簡單地增加更多的工作人員或代碼的問題并不是一個可擴展的策略，也不會解決復雜的大數(shù)據(jù)傳輸問題。需要有一個堅實的數(shù)據(jù)集成和管理平臺下的商業(yè)智能工具，可以輕松地擴展，采用眾多的大數(shù)據(jù)工具，并且其來源而不中斷。

（3）數(shù)據(jù)質(zhì)量，分類，治理

而從結(jié)構(gòu)化數(shù)據(jù)出來的CRM和ERP應(yīng)用程序通常很好地進行企業(yè)的分析，但它是非結(jié)構(gòu)化的數(shù)據(jù)，更加難以管理。企業(yè)必須以某種方式治理信息混亂，因為即使是最小的數(shù)據(jù)質(zhì)量的問題也會產(chǎn)生巨大的錯誤。成功的公司在元數(shù)據(jù)級別上做到這一點。

通過元數(shù)據(jù)定義信息是至關(guān)重要的，因為它提供了來自大數(shù)據(jù)的結(jié)構(gòu)，幫助進行分類和整理這些信息以后可以輕松找到。當信息流動到你的數(shù)據(jù)湖，必須進行某種分類，因此你正在做分析的數(shù)據(jù)實際上是準確的。

企業(yè)在錯誤的數(shù)據(jù)方面浪費了一些技術(shù)周期，特別是昂貴的今天。所有這些質(zhì)量和分類必須在某一點上進行，但它應(yīng)該在早期的水平，即使在集成周期。企業(yè)認為在數(shù)據(jù)質(zhì)量的早期可以得到更好的，更有價值的分析。

總結(jié)：

每一個組織都會成為一個數(shù)據(jù)組織，或是被甩在后面。是什么使一個公司可以獨有他們的數(shù)據(jù)，并更好地使用數(shù)據(jù)。因此，一個成功的大數(shù)據(jù)項目最終取決于一個組織的捉捕其數(shù)據(jù)的能力。

快速攝入和處理的大數(shù)據(jù)，需要一個可靠的集成基礎(chǔ)設(shè)施，可以很容易地擴展以容納大量的數(shù)據(jù)量，驅(qū)動實時訪問，并支持每一個請求分析。利用信息，以獲得競爭優(yōu)勢，這聽起來很偉大，但只有可靠準確地集成了所有的數(shù)據(jù)源之后，才能建立一個可用的數(shù)據(jù)湖。

當正確的信息傳遞給正確的人，所以可以理解并采取行動最大限度地提高大數(shù)據(jù)整合的價值。但是，只有當企業(yè)支持提供了大數(shù)據(jù)下的投資和可靠的集成平臺，他們將獲得每個企業(yè)都在尋求大數(shù)據(jù)的最佳回報。