本篇文章1454字，讀完約4分鐘

9月18日，在云棲大會上，AlibabaCloud正式發(fā)布大數(shù)據(jù)平臺新一代框架“湖倉一體”，通過數(shù)據(jù)倉庫和數(shù)據(jù)湖兩個體系，使數(shù)據(jù)和計(jì)算在湖與倉之間自由移動， 為公司提供兼具數(shù)據(jù)湖靈活性和數(shù)據(jù)倉庫成長性的新一代大數(shù)據(jù)平臺，降低公司構(gòu)建大數(shù)據(jù)平臺的整體價格。

大數(shù)據(jù)技術(shù)從本世紀(jì)初的快速發(fā)展到現(xiàn)在發(fā)展了數(shù)據(jù)倉庫和數(shù)據(jù)湖兩大趨勢。 前者一般是基于云廠商提供的大數(shù)據(jù)技術(shù)的一體化服務(wù)，后者一般是由一系列云產(chǎn)品或開源組件構(gòu)成的大數(shù)據(jù)處理方案。

公司處于最初階段時，靈活性很重要，數(shù)據(jù)湖的結(jié)構(gòu)更合適。 一旦公司成熟，成長性成為最重要的因素，數(shù)據(jù)倉庫的體系結(jié)構(gòu)就不是最佳的。 那么，數(shù)據(jù)倉庫和數(shù)據(jù)湖只是一個選擇題嗎？ 有兼顧數(shù)據(jù)湖靈活性和云數(shù)據(jù)倉庫成長性的方案嗎？

阿里巴巴集團(tuán)副總裁、阿里巴巴云計(jì)算平臺負(fù)責(zé)人賈揚(yáng)清指出，maxcompute湖倉一體化方案打破了數(shù)據(jù)湖與數(shù)據(jù)倉庫的分割體系，提高了數(shù)據(jù)湖的靈活性、生態(tài)系統(tǒng)的豐富性和數(shù)據(jù)倉庫 maxcompute湖倉一體方案不僅支持超大規(guī)模的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)，還有助于公司有效提高自身的大數(shù)據(jù)能力，實(shí)現(xiàn)敏捷運(yùn)營，降低本插件。

maxcompute將存儲計(jì)算一體化的數(shù)據(jù)倉庫和云中的存儲計(jì)算分離的數(shù)據(jù)湖結(jié)合到傳統(tǒng)的數(shù)據(jù)倉庫體系結(jié)構(gòu)中，最終實(shí)現(xiàn)湖倉一體化的整體體系結(jié)構(gòu) 該體系結(jié)構(gòu)中共存著多個底層存儲系統(tǒng)，但通過統(tǒng)一的存儲訪問層和統(tǒng)一的元數(shù)據(jù)管理提供與高級引擎集成的封裝接口。 客戶可以聯(lián)合數(shù)據(jù)倉庫和數(shù)據(jù)倉庫兩個表，并在整個體系結(jié)構(gòu)中提供統(tǒng)一的數(shù)據(jù)安全、管理和治理等中端功能。

在技術(shù)融合過程中，maxcompute不僅實(shí)現(xiàn)了高速訪問、統(tǒng)一數(shù)據(jù)/元數(shù)據(jù)管理、統(tǒng)一開發(fā)體驗(yàn)、自動數(shù)倉4個關(guān)鍵技術(shù)點(diǎn)，還持續(xù)提高了核心性能。 在tpcx-bigbench上，如果maxcompute基于英特爾至強(qiáng)可擴(kuò)展解決方案以100tb的規(guī)模維持性能，則在30tb的規(guī)模上，性能比去年下降了40%，則性能提高了50%以上，價格提高了30%

微博是享受“湖倉一體”味道的人。 迄今為止，微博擁有hadoop數(shù)據(jù)湖、阿里云大數(shù)據(jù)和ai兩個異構(gòu)大數(shù)據(jù)平臺，而且兩個平臺在集群層面完全分割，數(shù)據(jù)和計(jì)算無法自由移動。 為了應(yīng)對這些難題，微博基于AlibabaCloud (阿里巴巴云)構(gòu)建了湖倉一體化的ai計(jì)算中心，擺脫了大量的數(shù)據(jù)傳輸。 這樣，微博的數(shù)據(jù)工程師和算法工程師就可以簡單、無縫地利用阿里巴巴成熟的超大規(guī)模計(jì)算力和算法力來提高業(yè)務(wù)效率。 然后，通過將maxcompute云數(shù)據(jù)倉庫(結(jié)構(gòu)化數(shù)據(jù))和數(shù)據(jù)湖)非結(jié)構(gòu)化數(shù)據(jù))設(shè)為閉環(huán)，大大提高了ai類的工作效率，產(chǎn)生了巨大的商業(yè)價值。

AlibabaCloud (阿里巴巴云)自研云數(shù)據(jù)倉庫maxcompute經(jīng)過近十年的技術(shù)沉淀，不僅穩(wěn)定支持阿里巴巴集團(tuán)的數(shù)據(jù)存儲和數(shù)據(jù)計(jì)算業(yè)務(wù)，也是云上的客戶大數(shù)據(jù)平臺。 此次湖倉一體發(fā)布為公司提供了更靈活、高效、經(jīng)濟(jì)的數(shù)據(jù)平臺處理方案，對新構(gòu)建大數(shù)據(jù)平臺的公司和現(xiàn)有大數(shù)據(jù)平臺的公司進(jìn)行了架構(gòu)升級，并以技術(shù)實(shí)現(xiàn)了公司數(shù)字化

在此次云棲大會上，賈揚(yáng)清首次發(fā)布阿里云原生數(shù)據(jù)湖系統(tǒng)，基于目標(biāo)存儲oss、數(shù)據(jù)湖，打造了data lake formation和云原生開源大數(shù)據(jù)產(chǎn)品e-mapreduce的強(qiáng)大組合。 發(fā)現(xiàn)提供了涵蓋湖泊存儲、湖泊加速、湖泊管理和湖泊計(jì)算的公司級數(shù)據(jù)湖泊處理方案。 然后推出maxcompute和hologres產(chǎn)品的融合升級，提供離線、實(shí)時、分解、服務(wù)一體化的數(shù)據(jù)倉庫。