引言

在大數據時代，組織面臨著管理和分析海量數據的巨大挑戰。數據參量化是一種強大的技術，可以幫助組織克服這些挑戰，從其數據資產中獲得有價值的見解。

駕馭大數據包含哪些難題

駕馭大數據時，組織面臨著以下主要難題：

• 數據量大：大數據數據集通常非常龐大，可能達到數TB或PB。

• 數據類型多樣：大數據數據集包含各種各樣的數據類型，包括結構化、非結構化和半結構化數據。
• 數據處理復雜：分析大維護：更容易添加新數據或更新現有數據。
• 支持復雜的分析：參量化數據允許組織執行復雜的數據分析，例如建模和預測。

數據參量化在數據湖中的應用

數據湖是存儲原始數據的大型數據集，包括結構化和非結構化數據。數據參量化在數據湖中也有著重要作用，因為它可以：

• 提高數據質量：通過刪除無效數據和標準化數據值，可以提高數據湖中數據的質量。
• 支持探索性分析：參量化數據使組織能夠執行探索性分析，發現數據中的模式和趨勢。
• 簡化數據遷移：當組織需要將數據從數據湖遷移到其他系統時，參量化數據可以簡化此過程。

數據參量化工具和技術

有各種工具和技術可以用來進行數據參量化，包括：

質量規則：實施數據質量規則以確保數據準確和一致。

定期監視和維護：定期監視您的數據參量化流程并進行必要的調整以保持其最佳性能。

結論

數據參量化是駕馭大數據浪潮并釋放其價值的強大工具。通過將原始數據轉換為標準化格式，組織可以提高查詢性能、簡化數據維護并支持復雜的分析。通過采用數據參量化，組織可以提高其數據管理實踐，并從其數據資產中獲得更深入的見解。

---

數據中臺、數據平臺、數據湖、數據倉庫傻傻分不清楚？帶你一文理清

在數字化轉型的浪潮中，數據管理工具經歷了從數據庫到數據倉庫、數據集市、數據湖，再到大數據平臺和數據中臺的演進。 這些階段并非簡單的替代關系，而是各自具有獨特的功能和應用場景。 驅動這一轉變的因素包括業務模式的快速迭代、數據量的膨脹以及新興技術的發展。 數據和大數據的區別在于規模、處理速度、類型和價值密度。 大數據的出現是為了處理海量、快速流轉、多樣且價值密度較低的數據，以挖掘有價值的信息。 數據分析與數據挖掘是處理數據的不同方法，前者是提取信息，后者是深入挖掘數據中的隱藏模式。 數據庫是數據存儲的核心，分為關系型和非關系型，如關系數據庫（如Oracle, MySQL）和NoSQL數據庫（如HBase, Redis）。 數據倉庫則是為滿足決策分析而專門設計的，存儲歷史數據，支持多維度查詢和分析，如Oracle Data Warehouse。 數據集市是為特定部門或用戶提供定制化的數據分析，既有獨立型（靈活但可能造成數據孤島）和從屬型（穩定但開發周期長）之分。 數據湖則是一個存儲原始數據的倉庫，支持不同類型的分析，具有高度的靈活性和可擴展性，如Amazon S3和Azure Data Lake。 數據中臺作為最新階段，更注重快速響應業務需求，將數據轉化為直接服務于業務的應用能力。 它與數據平臺、倉庫和湖的區別在于服務方式和業務價值的直接性。 總結來說，這些數據管理工具各有側重點，理解它們的特性有助于在實際應用中做出合適的選擇。 如果您在架構選擇上有疑問，專業的咨詢團隊如我們公司（聯系信息省略）可提供幫助，我們專注于提供優質服務和優惠的上云方案。

復雜與失控的現實 大數據平臺的思考

復雜與失控的現實：大數據平臺的思考“在大數據行業干了這么些年，我相信大家都有一種在泥潭中掙扎的感覺。 要搞清楚到底有哪些數據、數據的結構、數據的來源、數據的意義、數據的上下文、數據的質量、數據可能有哪些局限性等等，都是非常麻煩的事情。 在大多數情況下我們會發現數據的元數據缺失，數據的說明文檔不存在或者文檔有用的內容很少。 為了某一個新任務要把數據搞清楚，我們可能需要咨詢很多不同的人，每個人對數據的說法都不完全一致，當所有相關方都溝通了幾次后，我們才大致把數據的概貌搞清楚。 而這僅僅是完成了第一步，后面的數據處理、數據探索、特征工程、分析建模、生產應用還有無數的迷宮的需要探索。 自然，面對這些問題，我們會想能不能有一個平臺把數據以及數據利用的各個環節都有效管起來，讓我們可以很輕松的把數據的來龍去脈搞清楚，借助各種強大的功能非常方便的讓我們把數據處理、數據探索、特征工程、分析建模乃至生產應用都輕松的解決。 總之，我們希望這個平臺能把一切都管起來，把一切關于數據、項目和工程的信息都管起來。 使用者只需要在這個平臺上就能獲得關于數據的一切信息，并能夠獲得各種運用數據的能力。 這可以說是數據平臺的終極理想。 但是最近半年來，我對這個終極理想產生了比較大的疑惑，感覺追求這一目標可能是“理性的自負”。 復雜與失控的現實復雜的大數據：“首先，大數據本身就是極其復雜的，不僅在于規模、維度、類型，也在于其各種變化和各種不完美。 而且大數據還在日復一日的變得更大、更復雜、更快，要把所有數據以及所有數據的所有方面全部都搞清楚，恐怕是非常困難的，很可能已經是人力不可及的事情。 可能必須得承認，我們對大數據的控制能力是有限的，大數據很大程度上對于人類來說就是失控的。 很直接的一個例子就是“數據湖”，顯然“數據湖”失去了傳統數據庫和數據倉庫那種井井有條的規范美。 “數據湖”基本上就是把所有可以收集到的數據堆放在一起，并沒有非常規范的管理。 并不是人們不想管理，而是事實上是做不到的，只能向現實妥協。 當然，這種妥協很大程度上是可能是自發的而不是自覺的。 可能很多人也認為“數據湖”只是一種過渡，我們還在等待更強大的數據管理和數據治理的技術、工具、平臺和方法論的出現。 但是，人的智力和精力終歸是有限的，如果我們期望能為所有數據都建立非常良好的文檔和譜系來進行管理，并且能夠得到及時的維護更新，需要投入的人力可能是無法承受的。 而且如何保證這些管理的質量?只做形式審查是比較容易的，但是無法正真保證管理文檔的內容質量，但是實質審查實際上又是不可能做到的。 因此，很可能我們根本沒有辦法對大數據建立起傳統意義中的管理體系。 ”復雜的技術：“其次，技術上的問題也是非常復雜的。 技術問題的復雜性主要來自于各種技術本身的不完備性，任何技術都只能解決某一類型的問題。 但是一個通用的數據平臺，至少需要考慮能解決大部分的常見需求，這就意味著必須要將不同的技術整合到一起。 多種技術的整合是非?？简炏到y工程能力的，這是要過的第一關。 但更大困難在于技術的快速發展，新技術、新開源項目不斷涌現，既有技術和項目有些持續發展、不斷更新，有的逐步衰退。 這種情況下，如何能夠保證平臺本身在技術上能跟上時代是個非常困難的問題。 一個系統的結構一旦確定，就會形成路徑依賴，隨著時間的推移，會變得越來越難以變動，越來越難以將新技術整合進來。 另外，即使技術本身不變化、功能不變化，但是處理的數據規模不同、質量不同、具體的資源規模和配置都會有很大的不同。 處理大數據難點在于如何用有限的資源和能力來處理規模巨大的問題。 同樣的處理邏輯，但是數據規模的不同，有效的處理方法可能就有很不同。 而這是預設功能難以全面考慮清楚的。 綜上，大數據平臺面對的技術問題也是開放性的，或者說也是失控的，我們執著于技術和功能層面的大一統也很可能是“理性的自負”。 大數據平臺設計哲學的重構面對大數據，在數據和技術都失控的情況下，考慮如何強加對數據的控制和提高駕馭數據的能力都很可能是徒勞的。 我們需要重新思考大數據平臺的設計哲學，而不是在傳統大型軟件設計的哲學下做加強和修補。 對于此，TalkingData首席數據科學家 張夏天 有一些思考。 擁抱不完美：“首先，我們必須承認我們的無知和無能，放棄去構建一個全知全能的平臺的理想。 我們需要思考大數據平臺要管什么，更重要的是不管什么。 我們需要在該放手的地方就放手，我們需要接受甚至是擁抱某種程度的失控。 我們很可能就沒有辦法把所有數據都非常好的管起來，只需要通過平臺，新手就很容易把數據情況搞清楚。 我們很可能也無法提供完全統一設計風格、交互邏輯的功能界面。 我們必須容忍一定的混亂，從而擁抱無限的可能和變化。 ”經驗與價值的沉淀：“還是先從數據來看，了解數據最便捷的途徑就是找到最了解這個數據的人進行直接溝通。 最了解數據的人可能是數據的生產者，也可能是數據的處理者，甚至是消費者。 很多情況下完全搞清楚，可能需要與所有相關方都進行溝通后才比較清楚。 平臺的設計到底是要消除這種直接溝通，還是讓這種溝通更有效率呢?因為全面文檔化是不現實的，那么我們能夠考慮的是讓目前的方式效率更高。 數據平臺能夠承擔的一個功能是更有效的把數據的需求方和了解數據的人連接起來。 原來我想找一個了解某個數據的人，都可能需要問好幾個人，而要了解清楚一個數據又可能需要找到好幾個人，這就需要不斷在線下反復的溝通。 如果平臺能夠告訴我哪些人對這些數據最了解，這就可以提升相當多的效率。 當一個人一位對某個數據最了解，而被人問了很多次問到很煩的時候，他可以把自己對這個數據的總結的文檔和FQA放到平臺上。 對這個數據關心的人也可以寫評論談自己對數據的理解和遇到的坑。 當一個數據被使用的越多，那么平臺上就可以沉淀出越多關于這個數據的信息，包括最熟悉的人和各種對數據的描述和解讀，后來的使用者就越容易掌握這個數據。 我們可以想象，一個數據平臺，經過一段時間的沉淀，有些數據的相關文檔會變得十分豐富，而有些數據根本無人問津。 當我們不追求全面的控制后，最有價值的信息可能就自動涌現了。 當然，當我們要使用一些鮮有人問津的數據時，就需要經歷一個比較痛苦的過程。 但是只要平臺能把這個過程積累到的經驗沉淀下來，就是有價值的。 ”從標準化到社區化：“利用大數據是需要探索精神的，大數據平臺不應該是一條機械的流水線，把使用者變成一個個沒有聯系的隨時可以替換掉的零部件。 因為我們不可能做成真正構建這樣有效率的流水線。 同時，我們幾乎無法用一套客觀的量化指標來衡量對數據的利用效率，我們必須寄希望于人的主動精神。 大數據平臺的設計哲學應該以人為中心，尊重人的價值，激勵人的探索和創新精神，讓對數據有激情的人能夠涌現出來，產生更大的聲音，同時鼓勵和便利人與人之間的溝通，從而提高總體的效率。 總之，平臺設計思想應該從標準化轉為社區化。 ”彈性與開放：“從技術上來看，我們需要盡可能的適應各種不同的功能和性能需求以及未來可能出現的技術演進。 為了解決這個問題，我們需要的不是一個結構復雜包羅萬象的技術架構，因為越復雜的系統就越脆弱，就越難以進化。 我們也不能綁定核心計算引擎就是Spark或者某幾種特定技術，否則這就不是一個能力全面的數據平臺。 很多為自有業務設計的數據平臺是可以考慮業務特性來進行特化的。 但是我們作為企業服務的提供商，需要考慮的是足夠的通用性和靈活性。 我們在技術架構的設計哲學上，不應該執著于提供多少強大的功能，而是應該專注于能夠提供多少可能性和可擴展性。 我們永遠無法知道明天客戶會有什么新需求，也無法知道會有什么新技術出現。 因此在技術架構上，應該以容器技術為基礎，實現彈性的資源管理，和對技術和功能的開放支持能力。 在容器技術的支持下，可以做到不同計算資源的即開即用即回收，可以支持資源的動態智能調整。 當一個任務需要Spark時就創建Spark集群，需要TensorFlow就創建TensorFlow集群，任務完成就可以把資源及時回收，任務過程中根據資源使用情況和任務完成要求，動態的增加或者減少資源。 這種架構下，我們不是將各種技術能力整合封裝成各種固定功能提供給使用者將他們的工作傻瓜化，而是向使用者賦能為其開放各種技術能力以及資源能力去創造無限的可能性。 這種架構下很難提供統一的界面設計風格、交互邏輯，很多工作也需要使用者開發完成。 因為我們無法做到對所有的技術進行統一風格的封裝，而是把所有的技術直接暴露給了使用者，使用者必須自己使用這些技術來解決問題。 當然這并不是說我們不需要做產品設計，只是產品設計的出發點不是創造一套獨立完美的體系，而是應該著力于讓使用者更容易的將不同的技術方便的組織起來，同時減少在不同技術之間切換的麻煩。 同時，技術架構也需要考慮不同模塊之間如何組織的問題，這個問題遵循服務化的思路應該是已經形成共識，這里就不再過多展開。 只是個人覺得在推行服務化之前，我們需要把服務接口的標準、服務總線的技術定下來。 有好的服務基礎架構，新增、替換、升級不同的模塊就變得相對容易。 從需求角度確定的功能和模塊不可能是百分之百正確的，后續一定會面臨著重構和調整的問題。 只有做好面對一切變化的準備，才能更好的面對各種不確定性。 ”適應而不是約束：“最后，我想談談關于方法論的問題。 產品設計方法論先行是對的，但是我們要深入思考什么才是有效的方法論。 關于數據挖掘的方法論已經存在十幾年了(CRISP-DM)，老實說我們在思考的數據科學的方法論并不會有本質性的改變。 但我對這些方法論的感覺就是“如何把大象放進冰箱”，或者5步畫馬法。 原則上都對，但是對實際工作的指導意義非常有限，因為魔鬼都在細節中。 其實面對大數據，不僅我們對數據和技術是失控的，實際上我們如何處理、應用數據的過程在很大程度上也是失控的。 整個過程就像在走迷宮，工作步驟分形似的不斷展開。 任何大的指導原則對于具體工作的指導意義就變得極為有限。 正因為如此，產品設計應該考慮的是如何適應這種Ad-hoc的工作狀態，而不是用一套流程把使用者束縛起來。 我們可以提供一些機制便于使用者來梳理手頭的工作，但是盡可能不要去強制使用者遵守某種約束性很強的標準或者規范。 為什么像NoteBook這樣設計如此簡單的工具能夠流行起來，很重要的一點就是給使用者足夠自由的工作界面來做任何想做的事情，而且即寫即得，便于隨時修改策略，同時文檔可以根據需要隨時插在代碼之中。 正是這種無結構的扁平性，使得用戶可以按照最合適的路徑去完成自己的工作，而不是在被設計好的過程中掙扎。 ”總結“寫了這么多，其實核心想說的就是我們必須警惕“理性的自負”。 我們首先必須承認理性的力量是有限的，我們不是無所不能的。 面對著數據失控、技術失控和需求失控的問題，我們到底是要想盡一切辦法去控制，還是順應、包容甚至是欣賞這些失控。 這是在我們智能數據平臺研發道路的起點上需要思考的問題。 ”

大數據管理與應用專業適合女生嗎

大數據管理與應用專業適合女生。

性別不應該成為選擇專業的限制因素，女性在科學技術領域同樣可以取得出色的成就。 性別與從事某個專業或職業是否合適并無直接關聯。 大數據管理與應用專業涉及的工作主要涉及數據分析、數據挖掘、數據管理和數據應用等方面的技能和知識。 性別并不影響女性在這些領域中發展的能力和潛力。

大數據管理與應用專業具有廣闊的職業前景和就業機會，這是一個快速發展的領域，需要大量具備數據分析和管理能力的人才。 無論是男性還是女性，只要對數據分析和管理感興趣，并且具備相應的學習能力和技術背景，都可以在這個專業中取得優秀的成績并獲得就業機會。

在大數據領域，越來越多的女性在取得優秀的成果和貢獻。 女性在數據分析、機器學習和數據科學等領域中展現出的才華和創新力也得到了廣泛認可。 女生在大數據管理與應用專業中有以下優勢：與男性不同的思維方式、細致入微的觀察力、良好的溝通能力以及對可視化設計和用戶體驗的關注等。 這些優勢可以為女生在數據分析和應用項目中提供獨特的視角和思考方式。

性別平等和多樣性對于團隊合作的成功至關重要。 女生在與男生一起學習和工作時，可以更好地發揮團隊的多元化和協同效應。 大數據管理與應用專業是一個男女生都能夠選擇和發展的領域。 性別不應該成為女生選擇專業的限制因素，重要的是對該專業的興趣和學習能力。 性別平等和多樣性對于推動科學技術的發展和創新有著積極的影響。

大數據管理與應用專業簡介

課程設置，大數據管理與應用專業的課程設置較為綜合，包括數據庫管理、數據挖掘、機器學習、數據可視化、大數據平臺與技術、云計算等。 學生將學習數據采集、存儲、處理、分析和應用等方面的知識和技能。

數據管理，該專業強調數據的管理和整合，學生將學習數據架構設計、數據倉庫和數據湖的建設與管理、數據質量控制、數據安全與隱私保護等內容。 這有助于培養學生在大數據環境中有效管理和運用數據。

技術與實踐，大數據管理與應用專業也注重技術和實踐的培養。 學生將學習大數據平臺和技術工具的使用，進行實踐項目，如數據分析任務、大數據系統搭建等，以提升對大數據技術的實際應用能力。

為何有人說數據將成為無價之寶？

首先要知道數據從何而來，才能知道數據如何產生價值。 現在的數據是指所能收集到的所有信息統稱為數據，數據的生成包含方方面面，比如人類活動可以產生數據，大自然春夏秋冬變化也能產生數據，甚至一顆樹木的生長過程也能產生數據。 數據本身如果不能應用，就沒有價值，如果吧數據應用起來，就能產生無限的價值。 同類數據量越大，通過數據分析也就能產生更大的價值。 這些價值也可以應用于各種領域，涵蓋我們的衣食住行。 數據能創造無限可能那就是當之無愧的無價之寶。

大家好，我是 科技 1加1！感覺這個問題很有意思！是啊，當前什么最值錢，要我說就是數據！

這個問題分兩方面來回答

1.什么是數據定義:

數據是指對客觀事件進行記錄并可以鑒別的符號，是對客觀事物的性質、狀態以及相互關系等進行記載的物理符號或這些物理符號的組合。 它是可識別的、抽象的符號。

它不僅指狹義上的數字，還可以是具有一定意義的文字、字母、數字符號的組合、圖形、圖像、視頻、音頻等，也是客觀事物的屬性、數量、位置及其相互關系的抽象表示。 例如，“0、1、2...`”、“陰、雨、下降、氣溫”“學生的檔案記錄、貨物的運輸情況”等都是數據。 數據經過加工后就成為信息。

在計算機科學中，數據是指所有能輸入到計算機并被計算機程序處理的符號的介質的總稱，是用于輸入電子計算機進行處理，具有一定意義的數字、字母、符號和模擬量等的通稱。 現在計算機存儲和處理的對象十分廣泛，表示這些對象的數據也隨之變得越來越復雜。

信息

信息與數據既有聯系，又有區別。 數據是信息的表現形式和載體，可以是符號、文字、數字、語音、圖像、視頻等。 而信息是數據的內涵，信息是加載于數據之上，對數據作具有含義的解釋。 數據和信息是不可分離的，信息依賴數據來表達，數據則生動具體表達出信息。 數據是符號，是物理性的，信息是對數據進行加工處理之后所得到的并對決策產生影響的數據，是邏輯性和觀念性的；數據是信息的表現形式，信息是數據有意義的表示。 數據是信息的表達、載體，信息是數據的內涵，是形與質的關系。 數據本身沒有意義，數據只有對實體行為產生影響時才成為信息。

數據的語義

數據的表現形式還不能完全表達其內容，需要經過解釋，數據和關于數據的解釋是不可分的。 例如，93是一個數據，可以是一個同學某門課的成績，也可以使某個人的體重，還可以是計算機系2013級的學生人數。 數據的解釋是指對數據含義的說明，數據的含義稱為數據的語義，數據與其語義是不可分的。

分類

按性質分為

①定位的，如各種坐標數據；

②定性的，如表示事物屬性的數據（居民地、河流、道路等）；

③定量的，反映事物數量特征的數據，如長度、面積、體積等幾何量或重量、速度等物理量；

④定時的，反映事物時間特性的數據，如年、月、日、時、分、秒等。

按表現形式分為

①數字數據，如各種統計或量測數據。數字數據在某個區間內是離散的值[3] ；

②模擬數據，由連續函數組成，是指在某個區間連續變化的物理量，又可以分為圖形數據（如點、線、面）、符號數據、文字數據和圖像數據等，如聲音的大小和溫度的變化等。

2.數據的重要性

如今，大數據早已經不是一個陌生的名詞，很多的行業在使用大數據之后都得到了非常好的效果，大數據與互聯網相輔相承，互聯依賴，并且不斷的在快速發展。

互聯網上的數據每年增長40%，每兩年便將翻一番左右，而目前世界上90%以上的數據是最近幾年才產生的。 據IDC預測，到明年全球將總共擁有35ZB的數據量，互聯網是大數據發展的前哨陣地，隨著互聯網時代的發展，人們似乎都習慣了將自己的生活通過網絡進行數據化，方便分享以及記錄并回憶。

大數據圍繞在我們生活的很多方面

大數據圍繞在我們生活的方方面面，最直觀的反映在我們每天都會使用的社交工具上面。 例如騰訊擁有用戶關系數據和基于此產生的社交數據，這些數據能夠分析人們的生活和行為，從里面挖掘出政治、 社會 、文化、商業、 健康 等領域的信息，甚至預測未來。 說簡單一點，就是我們每天都在通過自己的QQ、微信、微博更新自己的動態、朋友圈等，這些都將構成一種數據，大數據就是可以通過你更新的這些大量的信息，推測出你的愛好，你的工作，你的住址，你的收入情況等等這些信息。

互聯網時代大數據有多厲害

互聯網時代大數據到底有多厲害？大數據就像蘊藏能量的煤礦，煤炭按照性質有焦煤、無煙煤、肥煤、貧煤等分類，而露天煤礦、深山煤礦的挖掘成本又不一樣，和這個相像，大數據并不在于“大”，而在于“有用”，價值含量、挖掘成本比數量更為重要。 大數據應用工程師專業主要學習WEB技術、JAVA、JSP、大型數據庫Oracle、LINUX集群、非關系數據庫NoSql、Hadoop等技術，通過這些課程的學習，讓學生具有JAVAEE開發能力的同時能夠進行大數據的分析和挖掘能，學生在就業的過程中即可以進入傳統的軟件公司，進行OA和ERP等傳統軟件項目開發，同時也能進行大數據的分析和大數據深度挖掘以及對服務器集群的組建等。

大數據時代，我們要合理利用大數據，才可以創造更高的工作效率，才可以創造更多的財富。

所以說數據就是金錢！掌握了大數據就是掌握了財富！

感謝大家的閱讀！

數據自身是沒有價值或者說微乎其微的，價值是被賦予的，就像黃金一樣，黃金的價值是他的應用前景或場景。

數據的價值就是數據能力體現出的收益，或者說投資回報率。

今天我們就來聊聊數據能力和價值。 說到大數據就不得不提數據倉庫，企業數據倉庫演化至最終階段或許會變為大腦中樞神經，如果要支撐起整個復雜的大腦和神經系統，需要一系列的復雜機制配合。

一、抽象的數據能力架構

我把數據能力抽象概括為四個方向：傳輸能力、計算能力、算法能力和數據資產量級，后面會講述在這四個能力之上泛化出的數據應用和價值。

1. 數據傳輸能力

數據大部分的使用場景必然會涉及到數據傳輸，數據傳輸性能決定了部分應用場景的實現，數據實時的調用、加工、算法推薦和預測等；而傳輸抽象出來的支撐體系是底層的數據存儲架構（當然非同機房的傳輸還要考慮到網絡環境等。 單純的小數據量調用等一般不會涉及到這些，但數據量級大、高并發且對SLA要求非常嚴格的時候，就是對數據傳輸能力的考驗）。

從產品的角度我把數據傳輸能力分解為： 底層數據傳輸效率 和 應用層數據傳輸效率 。

底層的數據傳輸效率是指數據源進入后的預處理階段的傳輸效率，即加工為產品所需的數據交付物之前階段。

Ps:數據在可為產品所用之前需要很長的一段加工過程，應用層數據產品基本不涵蓋底層數據加工環節，而數據產品會用到規定好的數據交付物（即已約定好的結構化或標準化的數據），而利用此數據交付物再經過產品對實際應用場景的匹配和加工來提供數據服務。 即使涉及底層數據管理的相關產品也是對Meta元數據、使用日志或寫好的shell等的調用。

底層數據加工計算所涉及到的傳輸效率，直接決定了支撐數據產品高性能、高可靠的自身需求；而應用層的傳輸影響了用戶體驗和場景實現。 傳輸機制和體系就像毛細血管一樣遍布全身錯綜復雜，但是流通速率直接決定了大腦供氧是否充足。 2. 數據計算能力

數據計算能力就像造血系統一樣，根據多種來源的養分原料進行生產加工最終產出血液。 而源數據通過高性能的底層多存儲的分布式技術架構進行ETL(抽取、轉換、裝載)清洗后產出的是數據中間層通用化的結構化數據交付物。 計算速度就像造血速度一樣，決定了供應量。 而計算速度直接決定了數據應用的時效性和應用場景。

目前最多最普遍的就是離線數倉，離線數倉大部分擔任著事后諸葛亮的角色，即沒辦法保證數據的及時性而延后了數據分析及應用的產出，導致更多的是沉淀經驗而難以做到實時決策。 而實時數倉，甚至說對Data Lake（數據湖）的實時處理已經逐步開放應用多種場景。 我們先不考慮越來越強烈的實時性要求帶來的巨大成本是否真的可以創造等值的收益。

強實時可以更接近一個“未來”的狀態，即此時此刻。 這遠比算法對未來的預測更有價值，因為把握眼前比構造多變的未來對一個企業更有價值。 甚至說當數據過程快過神經元的傳遞，那么從獲取到你腦電波的那一刻起，數據處理的驅動結果遠比神經元傳遞至驅動四肢要快。

是不是與兵馬未動，糧草先行的場景相似？當然這是以數據計算能力的角度來看待這個問題。 跳出來以我個人的觀點來說，整體數據能力強大到一定階段后，會從主觀改變個人的意愿，即通過引導你的大腦從而來控制或決定個人行為且不會讓你感知，所以可以理解為從主觀改變個人意愿。 從人的角度來說，你并不知道或者直觀意愿去憑空決定下一步要做什么，因為大腦是邏輯處理器，當然這又涉及到心理學，這些觀點就不在此贅述了，等往后另起一個篇幅來說數據應用未來前景和假想。

3. 數據資產能力

都在說“大”數據，那么數據量級越大越好嗎？并不是，從某種角度來說大量無價值或者未 探索 出價值的數據是個負擔，巨大的資源損耗還不敢輕易抹滅。

隨著數據量級的急劇放大，帶來的是數據孤島：數據的不可知、不可聯、不可控、不可??；那么散亂的數據只有轉換成資產才可以更好的發揮價值。

什么是數據資產，我覺得可以廣泛的定義為可直接使用的交付數據即可劃為資產，當然可直接使用的數據有很多種形式，比如meta元數據、特征、指標、標簽和ETL的結構化或非結構化數據等。

目前也在拓展Data Lake的使用場景，直接實時的使用和處理Data Lake數據的趨勢是一種擴大企業自身數據資產范圍和資產使用率的方式。 這有利于突破數倉模型對數據的框架限定，改變數據使用方式會有更大的想象空間。

數據資產的價值可以分兩部分來考慮：一部分是數據資產直接變現的價值；另一部分是通過數據資產作為資源加工后提供數據服務的業務價值。

第一部分比較好理解，就是數據集的輸出變現值，如標簽、樣本和訓練集等的直接輸出按數據量來評估價值；第二部分價值比如通過自身數據訓練優化后的算法應用而提升業務收益的價值或依于數據的廣告投放的營銷變現等，甚至說沉淀出的數據資產管理能力作為知識的無形資產對外服務的價值。 這些間接的數據應用和服務的變現方式也是數據資產價值的體現并可以精細的量化。

4. 數據算法能力

其實無論是傳輸能力還是計算能力，都是相對偏數據底層的實現，而離業務場景最近的就是算法能力所提供的算法服務，這是最直接應用于業務場景且更容易被用戶感知的數據能力，因為對于傳輸和計算來說用戶感知的是速度快慢，從用戶視角快是應該的，因此用戶并不知道何時何地計算或傳輸。

而算法對業務應用場景是一個從0到1，從無到有的過程。 并且算法是基于數據傳輸、計算和資產能力之上泛化出的應用能力，或者換句話說是三個基礎能力的封裝進化。

而算法能力是把多元的數據集或者說獲取到盡可能多的數據轉化為一個決策判斷結果來應用于業務場景。 算法能力的強弱反映了三個數據能力是否高效配合，是否存在木桶效應，更甚者木桶也沒有。 當然單純的算法也可以單獨作為無形資產的知識沉淀來提供服務。

對于數據能力架構中的四大能力，傳輸、計算和資產是基礎能力，而算法是高級的泛化能力。 而能力的輸出和應用才能體現數據價值，數據能力的最大化輸出考驗著整個數據產品架構體系的通用性和靈活性。 因為需要面對的是各種業務演化出的多種多樣場景，對數據能力的需求參差不齊：可能是片面化的，也可能是多種能力匹配協調的。 這對產品的通用性就是一個巨大的挑戰，想更好的應對這個問題，可能就需要整個數據平臺的產品矩陣來支撐和賦能。

二、數據能力對應數據價值的呈現

從數據應用的角度，每個能力都可以獨立開放也可以組合疊加。 如果把能力具象出來就會衍生到產品形態的問題，產品形態是對能力適配后發揮作用的交付物。 說到產品形態我們可以想象一下應用場景。

首先最基礎的應用場景就是數據直接調用，數據資產的使用基本會基于特征、指標、標簽或者知識等交付形態。 而對于使用方來說這些數據會作為半成品原料或依據來進行二次加工應用于業務場景中，如數據分析、數據挖掘、算法的訓練與驗證、知識圖譜、個性推薦、精準投放（觸達）和風控等。 數據資產可以統歸為在數據市場中通過構建的一些OpenAPI進行賦能。

而對于一個工廠來說，僅僅進行原材料的加工（ETL）輸出即除了自身原材料（數據資產）的壁壘外核心競爭力很小，需要包裝一些上層的基礎服務來提升競爭力，那么數據計算的能力融合進來對原材料進行二次加工（聚合統計）。

計算的聚合統計能力加入進來后可以滿足大部分的數據分析場景的支持，就不單單是原材料毫無技術含量的輸出，并可以以半成品的形態規避數據敏感。 因為對于統計值來說，這是一個分析結果或結論，并不會涉及到自身敏感數據的輸出，因此你的核心資產不會泄露，而輸出的僅僅是資產的附加值。 換句話說知識產權專利依然在你手中，通過控制專利泛化出的能力進行投資回報。

融入計算能力后的一些分析場景如：人群的畫像分析、多維度的交叉分析、業務的策略分析和監控分析等多種場景。

隨著時代的發展和業務場景的增多，這時工廠繼續需要產業變革，要深耕服務業逐步拋棄制造業形態，全面提升更高級的數據服務。 這時算法能力的加入來更好的完善服務矩陣。

算法通過封裝了傳輸、計算和資產能力而進行統一的更好理解的業務場景目標預測和識別等。 這樣對于企業來說可以更容易接受和低成本使用數據服務而不需要再涉及到數據加工鏈路中，而僅僅需要一個目標結果，通過算法的決策作為參考來指導業務方向。 像算法對一些業務場景的預測分析，甚至說一些人工智能場景的識別或學習思考，都可以通過算法賦能來實現。 對于企業來說就是從無到有的突破，企業發展進程甚至可能提升好幾年。

而貫穿以上能力應用場景都是對數據傳輸能力的考驗。

“數據”的重要性可以有以下幾點。

1、數據能夠為企業高層提供決策支持。 將企業海量數據進行統計分析挖掘后，能夠讓高層制定合理的措施。

2、數據能整合企業龐雜業務。 每個企事業都有很復雜的業務系統，借助數據及對應平臺可以將其龐雜的業務進行整合。

3、數據能反應事件本質與趨勢。 真實數據能夠更好地去了解事件的本質問題，預判事態發展。

4、數據能夠讓人們更加了解自己。 未來你可能真的不是最了解你自己的人？但是可以使用個人的數據進行畫像，充分了解個人。

5、數據能反應 歷史 ，展望未來。 通過 歷史 數據查詢過往，也能夠使用以往的數據進行感知未來。

總之，在大數據和5G技術逐漸成為趨勢的時代背景下，“ 數據 ”是越來越常見，如社交網絡、消費信息、 旅游 記錄……企業層面的銷售數據、運營數據、產品數據、活動數據……

離線實時一體化數倉與湖倉一體—云原生大數據平臺的持續演進

簡介

阿里云智能研究員 林偉 ：阿里巴巴從湖到倉的演進給我們帶來了湖倉一體的思考，使得湖的靈活性、數據種類豐富與倉的可成長性和企業級管理得到有機融合，這是阿里巴巴最佳實踐的寶貴資產，是大數據的新一代架構。

林偉，阿里云智能研究員、阿里云智能通用計算平臺MaxCompute、機器學習PAI平臺技術負責人

本篇內容將從三個部分為讀者講述離線實時一體化數倉與湖倉一體—云原生大數據平臺的持續演進。 通過從數據湖到數倉的歷史，反思為什么要做湖倉一體，以及湖倉一體在今天這個階段為什么開始做離線和實時湖倉一體化的數倉。

湖倉一體

離線在線數倉一體化

智能數倉

希望這次的分享讓大家進一步理解我們為什么做湖倉一體。

一、湖倉一體

(1) 阿里巴巴從數據湖到數倉歷程

2007年的寧波戰略會議確定建立一個開發、協同、繁榮的電子商務生態系統，其中生態系統的核心是數據。 但這個時候各個業務部門都在垂直式發展數據能力，用數據支撐商業的決策服務。 這些數據中臺支撐了業務部門的發展。 但我們發展到一個階段的時候，希望進一步挖掘出各個業務部門數據之間的關聯性，從而利用這些高階數據分析挖掘更高商業價值，我們遇到了很多的困難，因為數據來自不同的部門，不同的人會提供你不同的數據集，沒有清晰數據質量監控，你也不知道這些數據是不是完整的，你就需要花費很多時間不停的去校準數據。 這個過程耗時太長且多數情況會做了非常多的無用功，這樣其實整體下降了公司的效率。

所以到了2012年，我們決定將所有的業務部門的數據都關聯起來，決心做『One>

(3) 數據倉庫和數據湖系統的增長曲線

上圖的增長曲線，基本上也是阿里發展的曲線，最開始也是數據湖狀態，各個業務部門獨立發展，起步快、靈活性強。 但當達到特定規模時，數據無人管理、每個業務部門的數據的邏輯語言不一致，很難對齊。 所以當時花了50%、80%的無效時間在校驗數據，隨著規模的不斷擴大，這樣的損耗越來越大，迫使我們推動公司統一數據倉庫的建立。

(4) 湖倉一體

正是因為我們經歷過堪比“登月”的痛苦，所以我們不希望MaxCompute未來的企業客戶也經歷這么痛苦過程，所以我們構建湖倉一體的開發平臺。 當公司規模較小的時候，可以運用數據湖能力更快定制自己的分析。 公司成長到一定的階段，需要更好的數據管理和治理方式的時候，湖倉一體平臺可以無縫把數據以及數據分析進行有效的升級管理，使得公司對于數據管理更加規范。 這就是湖倉一體整體設計背后的核心思想。

我們把湖的系統和倉的系統有機結合在一起，一開始是沒有元數據，你想要建立數倉的時候，我們有可以在湖上面來抽取這個元數據，這個元數據是和倉的元數據放在一個一體化的元數據的分析平臺上面。 在這個元數據之上可以建立很多數據倉庫的數據管理平臺。

同時，在數據倉庫湖倉一體的平臺上面，我們有效支持很多分析引擎，有任務型的計算引擎，包括像MaxCompute是批處理、Flink是流式處理、機器學習等，還有開源的組件可以分析我們的數據；也有服務性質數據引擎可以支持交互式查詢服務，能夠去更加實時性很好的展示我們的數據，從而使得用戶可以在這個服務性引擎上去構建自己數據服務應用。

在引擎之上我們構建豐富數據管理工具從而能夠讓業務部門能夠進行高效整體的數據治理。 而這都得益于我們把湖和倉的數據打通，這也是整體湖倉一體設計的核心。

二、離線在線數倉一體化

現今社會越來越便捷，客戶需要更快的做出商業決策。 在雙十一GMV實時大屏、春晚直播實時大屏等數據分析，以及機器學習從離線模型走向在線模型的趨勢中我們都可以看到。 這些需求推動了實時數倉的發展。

其實實時數倉和離線數倉有著相似的發展過程。 當時實時系統發展的早期，我們首先考慮的是引擎，因為只有先有引擎了你才可以進行實時數據分析，所以阿里巴巴把研發精力放在Flink這樣的流計算引擎上。 但是只有流計算引擎，類似數據湖的階段，我們缺乏將分析出來的結果數據進行管理，所以到了第二階段，我們利用我們離線數倉產品來管理這些分析結果，從而把分析結果納管到我們整體數據倉庫和數據管理中。 但是把實時分析之后的結果放在離線數倉里面，顯然這樣是對于實時商業決策是不夠的及時。 所以我們現在發展第三個階段：實時數倉。

我們會把流式引擎的分析結果結果實時的寫到實時數倉Hologres里面，從而能夠讓分析的結果更實時的進行BI的分析，從而有效的支持客戶實時商業決策。

這就是離線和在線數倉一體化的設計。

總結一下，原有的分析在離線和在線的數倉一體化之前是一個很紛繁的過程，有離線、有在線的、有很多不同的引擎，現在把它總結到或者簡化成上圖的架構。 我們會用實時的引擎做預處理，做完預處理后，我們把這些數據寫入到MaxCompute離線的數倉，也可以同時寫入到Hologres實時數倉中里面，從而可以做更加實時的服務化的BI分析。 而MaxCompute離線的數倉存儲的成本更低，吞吐的性能更好，可以做大量的離線數據分析，這就是離在線數倉一體化的設計。

有了一體化的設計，就可以給客戶帶來一個非常平衡的系統。 根據數據的場景或者是業務的場景，你可以用批處理。 并且通過數據的壓縮、冷存，數據根據熱和冷的方式做不同梯度的存儲，就可以得到更低成本的離線分析。

當對于數據的實時性的價值更加重視，可以用流計算的引擎去做。 同時又希望有很快的交互式，希望快速通過各種方式的、各種維度、角度去觀察已生成好的報表。 這時候可以利用交互式引擎，在高度提純過數據后的進行各個維度的洞察。

希望用湖倉一體化平臺就能夠達到一個好的平衡，根據實際的業務體量、要求、規模成本達到更好點。

總的來說，希望湖倉一體系統上，不管是離線還是在線。 通過不同的分析引擎，支持各類分析，同時通過在線服務型引擎能夠實時進行BI，能夠達到低成本、自定義能力，以及實時和在線服務的各種平衡。 讓客戶能夠根據實際業務場景選擇。

三、智能數倉

有了統一的數倉平臺，我們就可以在此之上建立強大的數據治理或者是分析平臺，這個就是我們的DataWorks。 在這個平臺上面有很多數據建模工具，提供數據的質量和標準、提供血緣的分析、提供編程助理等等。 正是因為湖倉一體在線和離線的一體化的底座能力，才賦予了我們有這樣的可能性去做到大數據開發和治理平臺更加智能化的方式。 從而將更多經過驗證過有效數據治理經驗分享到我們企業客戶上。

---

---

相關標簽： 駕馭大數據浪潮、 數據參量化在數據倉庫和數據湖中的應用、 駕馭大數據包含哪些難題、

上一篇：AI和機器學習中的數據參量化增強模型性能和

下一篇：優化數據分析數據參量化及其在決策中的關鍵