從人工智能到大數(shù)據(jù)、云計(jì)算，新技術(shù)的革命無(wú)處不在，不僅深刻地改變著我們的日常生活，也成為了產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型的必由之路。 目前，中國(guó)人工智能核心產(chǎn)業(yè)規(guī)模超過(guò)千億元，全國(guó)使用的數(shù)據(jù)中心機(jī)架總數(shù)近400萬(wàn)架，大型以上數(shù)據(jù)中心超過(guò)250個(gè)。

在數(shù)字浪潮洶涌而來(lái)的情況下，轉(zhuǎn)型中的公司如何識(shí)別方向，找到最適合自己的線(xiàn)索和方案？

5月28日，“2021阿里巴巴云峰會(huì)”在北京開(kāi)幕。 此次峰會(huì)以“云上創(chuàng)新”為主題，Alibaba云與眾多嘉賓、合作伙伴共同探討公司數(shù)字創(chuàng)新的新思路、新戰(zhàn)略、新產(chǎn)品、新方案，實(shí)現(xiàn)“云上創(chuàng)新”的全景

在28日下午舉行的“全鏈接數(shù)據(jù)服務(wù)-大數(shù)據(jù)與ai論壇”分科會(huì)上，mobvista )高級(jí)算法設(shè)計(jì)師engineplus產(chǎn)品負(fù)責(zé)人陳緒應(yīng)邀演講，邀請(qǐng)嘉賓與云原生數(shù)據(jù)湖的 介紹了匯量自研開(kāi)源數(shù)據(jù)湖框架starlake和新一代“一站式云原生大數(shù)據(jù)ai平臺(tái)”

從數(shù)據(jù)倉(cāng)庫(kù)到湖倉(cāng)一體:數(shù)據(jù)觀察架構(gòu)的發(fā)展

隨著公司業(yè)務(wù)的迅速擴(kuò)張，派生數(shù)據(jù)量面臨爆炸式增長(zhǎng)，公司對(duì)數(shù)據(jù)解決解體的訴求越來(lái)越迫切。 在這種背景下，企業(yè)需要?jiǎng)?chuàng)新技術(shù)和計(jì)劃來(lái)應(yīng)對(duì)數(shù)據(jù)智能解決的挑戰(zhàn)。

陳緒說(shuō)，云母語(yǔ)數(shù)據(jù)觀察架構(gòu)從以前開(kāi)始就經(jīng)歷了數(shù)倉(cāng)、數(shù)據(jù)湖、以及湖倉(cāng)一體的演化。

匯量科技高級(jí)算法架構(gòu)師、engineplus產(chǎn)品負(fù)責(zé)人陳緒發(fā)表了演講

以前流傳下來(lái)的數(shù)據(jù)倉(cāng)庫(kù)強(qiáng)調(diào)結(jié)構(gòu)化數(shù)據(jù)，在現(xiàn)在的互聯(lián)網(wǎng)APP通信中，會(huì)引起建模復(fù)雜、流批結(jié)構(gòu)多、結(jié)構(gòu)復(fù)雜等一系列問(wèn)題，以前流傳下來(lái)的hive等方案也是云固有的 在這樣的背景下，數(shù)據(jù)湖應(yīng)運(yùn)而生。

數(shù)據(jù)湖處理了數(shù)倉(cāng)的部分問(wèn)題，如非結(jié)構(gòu)化數(shù)據(jù)的解決、流批處理一體化等，并且云上的元數(shù)據(jù)和對(duì)象存儲(chǔ)能力也在不斷地演化和優(yōu)化。 在oss的支持下，更好地實(shí)現(xiàn)了計(jì)算和存儲(chǔ)的分離，擴(kuò)展了數(shù)據(jù)湖的能力。

因此，數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)的功能進(jìn)一步整合，成為當(dāng)前的趨勢(shì)。

陳緒表示，從業(yè)務(wù)角度看，理想的湖倉(cāng)一體以數(shù)據(jù)湖為“基礎(chǔ)”，具備元數(shù)據(jù)管理的可擴(kuò)展性，并優(yōu)化了目標(biāo)存儲(chǔ)的訪問(wèn)性能，進(jìn)而優(yōu)化了寬表的實(shí)時(shí)多流能力，最終實(shí)現(xiàn)了分解

starlake :匯量科技自研開(kāi)源數(shù)據(jù)湖框架

為了在互聯(lián)網(wǎng)業(yè)務(wù)中實(shí)踐數(shù)據(jù)湖和湖倉(cāng)一體化，研究開(kāi)發(fā)和開(kāi)源數(shù)據(jù)湖框架starlake，實(shí)現(xiàn)大數(shù)據(jù)的實(shí)時(shí)采集和更新，有效構(gòu)建湖倉(cāng)一體化拆解平臺(tái)，解決開(kāi)發(fā)者的云和數(shù)據(jù)解決問(wèn)題。

據(jù)介紹，與開(kāi)源同類(lèi)數(shù)據(jù)湖框架相比，starlake具有以下優(yōu)勢(shì)。

1、支持多級(jí)分區(qū)和range、hash兩種分區(qū)模式，在upsert場(chǎng)景中有明顯的性能提升，能夠支持實(shí)時(shí)的寬表能力；

2、使用分布式數(shù)據(jù)庫(kù)實(shí)現(xiàn)元數(shù)據(jù)管理，在擴(kuò)展能力方面進(jìn)一步提高；

3、比較存儲(chǔ)的專(zhuān)業(yè)優(yōu)化:通過(guò)改寫(xiě)文件分析層與存儲(chǔ)層融合，實(shí)現(xiàn)計(jì)算和io的并行化

4、并支持寫(xiě)入時(shí)復(fù)制和讀取合并模式，支持高并發(fā)寫(xiě)入能力；

5、將元數(shù)據(jù)、分區(qū)規(guī)則等進(jìn)一步降低到計(jì)算引擎層，優(yōu)化連接算子，提高查詢(xún)的分解性能。

陳緒認(rèn)為，在匯率技術(shù)上，starlake數(shù)據(jù)湖框架不是“單兵作戰(zhàn)”，而是作為新一代一站式云原生大數(shù)據(jù)ai平臺(tái)engineplus的一部分，在云原生框架下，為公司服務(wù)。

引擎加:新一代一站式云本機(jī)大數(shù)據(jù)ai平臺(tái)

在engineplus平臺(tái)上，starlake數(shù)據(jù)湖提供了高效的數(shù)據(jù)采集、分解和計(jì)算的“基礎(chǔ)”，并且無(wú)縫對(duì)接了自我研究匯款技術(shù)的開(kāi)源機(jī)器學(xué)習(xí)框架mindalpha

engineplus融合創(chuàng)新了大數(shù)據(jù)、云計(jì)算、人工智能等新聞技術(shù)，實(shí)現(xiàn)了數(shù)據(jù)采集、數(shù)據(jù)計(jì)算、模型訓(xùn)練、在線(xiàn)預(yù)測(cè)的一站式閉環(huán)，提高了客戶(hù)解決數(shù)據(jù)的效率和精度 在大規(guī)模業(yè)務(wù)的生產(chǎn)驗(yàn)證下，engineplus兼具高速訪問(wèn)、簡(jiǎn)單易用、高性能、高穩(wěn)定性等優(yōu)勢(shì)。

陳緒表示，典型的個(gè)性化算法業(yè)務(wù)場(chǎng)景中存在多個(gè)實(shí)時(shí)流，包括客戶(hù)數(shù)據(jù)流、item數(shù)據(jù)流、交互數(shù)據(jù)流、離線(xiàn)數(shù)據(jù)流等，并稱(chēng)為starlake數(shù)據(jù)流

通過(guò)與oss提供給數(shù)據(jù)湖的存儲(chǔ)能力相結(jié)合，可以構(gòu)建實(shí)時(shí)化的寬表。 在這個(gè)過(guò)程中，基本上消除了以前流傳的數(shù)倉(cāng)建模和etl過(guò)程，然后可以分解，對(duì)接bi和ai的計(jì)算。

這使業(yè)務(wù)流程更加敏捷，大大簡(jiǎn)化了數(shù)據(jù)體系結(jié)構(gòu)。 據(jù)悉，該框架已在廣告、電子商務(wù)、風(fēng)力發(fā)電等場(chǎng)合采用。

在數(shù)據(jù)湖的場(chǎng)景中，云商產(chǎn)品會(huì)去哪里？

作為云的原生數(shù)據(jù)湖的深顧客，集中技術(shù)業(yè)務(wù)的觀點(diǎn)，共享了starlake數(shù)據(jù)湖框架的架構(gòu)實(shí)踐。 從架構(gòu)的角度，對(duì)比數(shù)據(jù)湖的場(chǎng)景，匯率技術(shù)希望未來(lái)的云廠商在產(chǎn)品功能方面有怎樣的快速發(fā)展？

在演講后的圓桌討論環(huán)節(jié)中，陳緒提出，從網(wǎng)絡(luò)業(yè)務(wù)和云原生架構(gòu)的角度來(lái)看“湖倉(cāng)一體”的發(fā)展，未來(lái)將成為應(yīng)用場(chǎng)景和基礎(chǔ)架構(gòu)融合的“co-design”趨勢(shì)。

陳緒認(rèn)為，engineplus的數(shù)據(jù)湖組件starlake需要根據(jù)業(yè)務(wù)場(chǎng)景和云中面向?qū)ο蟮拇鎯?chǔ)的需求進(jìn)行新的融合設(shè)計(jì)，這也是新的“合作設(shè)計(jì)”； 在湖倉(cāng)一體化的趨勢(shì)中，還可以看到對(duì)象存儲(chǔ)和APP層的融合。 例如，最近oss推出的加速器功能很好。 未來(lái)，云廠商可以在目標(biāo)存儲(chǔ)上進(jìn)一步提高元數(shù)據(jù)管理、一致性、并發(fā)吞吐量等能力，更好地支持各類(lèi)實(shí)時(shí)數(shù)據(jù)觀察場(chǎng)景，在湖上進(jìn)一步統(tǒng)一數(shù)據(jù)觀察體系，將是一個(gè)非常有意義的趨勢(shì)。

陳緒是圓桌會(huì)議的一環(huán)

隨著新領(lǐng)域的快速發(fā)展趨勢(shì)，公司期望實(shí)現(xiàn)新一代數(shù)據(jù)智能開(kāi)發(fā)、解放業(yè)務(wù)生產(chǎn)力，構(gòu)成更加美麗的“云上創(chuàng)新”全景圖。