對(duì)話楊傳輝:國(guó)產(chǎn)數(shù)據(jù)庫(kù)新戰(zhàn)績(jī)背面,OceanBase堅(jiān)持自研的初心與決心 |
發(fā)布時(shí)間:2022-08-12 文章來(lái)源:本站 瀏覽次數(shù):2322 |
國(guó)產(chǎn)數(shù)據(jù)庫(kù)正在蓬勃開(kāi)展,假勢(shì)分布式技能優(yōu)勢(shì),沖進(jìn)了世界巨子的地盤(pán)。 作為管理數(shù)據(jù)的根底軟件,數(shù)據(jù)庫(kù)掌握著企業(yè)的命脈,牽一發(fā)而動(dòng)全身,尤其是在中心事務(wù)中,稍有差錯(cuò)便可能造成無(wú)可挽回的丟失。跟著國(guó)產(chǎn)化呼聲漸漲,這門(mén)長(zhǎng)期被海外巨子壟斷的要害生意,已成為本土企業(yè)必然收復(fù)的“失地”。 就在近來(lái),全球威望IT咨詢機(jī)構(gòu)Forrester發(fā)布的2022年度Translytical方向的數(shù)據(jù)渠道廠商選型陳述,國(guó)產(chǎn)自研原生分布式數(shù)據(jù)庫(kù)OceanBase赫然在列。它也是全球唯三具有完成Forrester定義的分布式數(shù)據(jù)庫(kù)細(xì)分功用(單云、混合云、多云)全掩蓋才干的廠商。 OceanBase鉆研了長(zhǎng)達(dá)12年的混合事務(wù)和剖析處理領(lǐng)域,如今正在數(shù)據(jù)庫(kù)職業(yè)熱度高漲。 憑仗能承載高并發(fā)事務(wù)實(shí)時(shí)處理與大規(guī)模數(shù)據(jù)實(shí)時(shí)事務(wù)決議計(jì)劃的才干,HTAP有望為企業(yè)更高效地發(fā)掘數(shù)據(jù)價(jià)值,大幅下降總本錢(qián)。跟著國(guó)內(nèi)相應(yīng)需求蓬勃而生,投入HTAP方向的數(shù)據(jù)庫(kù)從星星之火漸成燎原之勢(shì)。 作為創(chuàng)始成員之一,OceanBase CTO楊傳輝主導(dǎo)了歷代數(shù)據(jù)庫(kù)架構(gòu)設(shè)計(jì)和技能研制,使其挺過(guò)支付寶買(mǎi)賣(mài)體系、“雙11”等極致并發(fā)量場(chǎng)景的檢測(cè),服務(wù)超越400家金融、能源、交通等職業(yè)客戶,并主導(dǎo)OceanBase成為僅有一家在世界數(shù)據(jù)庫(kù)基準(zhǔn)測(cè)驗(yàn)TPC-C和TPC-H上都打破世界記錄的國(guó)產(chǎn)原生分布式數(shù)據(jù)庫(kù)。 在與咱們交流的進(jìn)程中,楊傳輝對(duì)HTAP數(shù)據(jù)庫(kù)如數(shù)家珍,深化解讀了HTAP的中心技能、研制難點(diǎn)、落地應(yīng)戰(zhàn),并為企業(yè)怎樣做出適合事務(wù)的數(shù)據(jù)庫(kù)架構(gòu)挑選提供了一些參閱建議。除此之外,作為深耕數(shù)據(jù)庫(kù)逾十年的專(zhuān)家,他也共享了對(duì)國(guó)產(chǎn)數(shù)據(jù)庫(kù)開(kāi)展機(jī)會(huì)和中心瓶頸的觀察。 一、什么是真實(shí)的HTAP?HTAP≠OLTP+OLAP 全國(guó)大勢(shì),合久必分,分久必合,數(shù)據(jù)庫(kù)的開(kāi)展亦是如此。 早期數(shù)據(jù)庫(kù)大包大攬,到上世紀(jì)末,因使用場(chǎng)景日趨豐富,逐步分化成OLTP和OLAP兩大類(lèi)型,前者主管買(mǎi)賣(mài),后者專(zhuān)攻剖析。如今,這兩大功用又走向交融。 跟著大數(shù)據(jù)浪潮奔涌而至,數(shù)據(jù)量急劇脹大,許多事務(wù)場(chǎng)景需應(yīng)對(duì)不斷增長(zhǎng)的實(shí)時(shí)事務(wù)處理和剖析需求。一致支撐兩類(lèi)功用的HTAP數(shù)據(jù)庫(kù)橫空出世,在企業(yè)級(jí)商場(chǎng)風(fēng)頭漸盛。 HTAP有兩大顯著的優(yōu)勢(shì):低本錢(qián)、低延時(shí)。這不難理解,一套一起能做兩件事的體系,比較兩套體系具有更高的性價(jià)比;并且省去了繁瑣費(fèi)時(shí)的ETL進(jìn)程,下降延時(shí),更好支撐實(shí)時(shí)剖析。 一時(shí)間,各路數(shù)據(jù)庫(kù)都開(kāi)端貼上“HTAP”的標(biāo)簽,云核算大廠也紛紛躍躍欲試。 但關(guān)于企業(yè)來(lái)說(shuō),給數(shù)據(jù)庫(kù)上新,不免要支付試錯(cuò)本錢(qián),因而弄清楚HTAP究竟怎樣用、怎樣選型、重點(diǎn)考量哪些要素至為要害。這就觸及一個(gè)數(shù)據(jù)庫(kù)熱門(mén)話題——什么是真實(shí)的HTAP? 楊傳輝的答案是:在高功能OLTP數(shù)據(jù)庫(kù)的根底上擴(kuò)展OLAP的才干,能很好支撐實(shí)時(shí)剖析。 世界數(shù)據(jù)庫(kù)巨子Oracle、微軟SQL Server以及國(guó)產(chǎn)分布式數(shù)據(jù)庫(kù)龍頭OceanBase都選用這種做法,與前兩者不同的是,OceanBase底層是原生分布式架構(gòu),可擴(kuò)展性強(qiáng),因而能處理更大的數(shù)據(jù)量。 也有不少創(chuàng)企走的道路是在OLAP根底上引進(jìn)實(shí)時(shí)寫(xiě)入,形成一個(gè)實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)。走這種道路,假如不具有OLTP中心事務(wù)閱歷,可能很難做到支撐完整的事物處理才干。楊傳輝解說(shuō)說(shuō),業(yè)界有些“HTAP產(chǎn)品”的事務(wù)處理功能較差,不是HTAP的問(wèn)題,而是其產(chǎn)品設(shè)計(jì)完成的問(wèn)題。 無(wú)論走哪種HTAP道路,都應(yīng)保證一個(gè)前提——一套體系,一份數(shù)據(jù)。 首先,將兩套體系簡(jiǎn)略疊加、縫合的計(jì)劃,不只會(huì)導(dǎo)致本錢(qián)上升、存在固有延時(shí),并且兩套體系語(yǔ)法會(huì)有差別,很難精密操控?cái)?shù)據(jù)流通和數(shù)據(jù)一致性問(wèn)題,到后續(xù)升級(jí)更會(huì)暴露出各種問(wèn)題,約束企業(yè)級(jí)使用的開(kāi)展。 其次,一些選用兩份數(shù)據(jù)的計(jì)劃,通過(guò)ETL機(jī)制將OLTP的數(shù)據(jù)拉到OLAP體系中。這會(huì)存在天然的設(shè)計(jì)缺陷,由于避不開(kāi)數(shù)據(jù)轉(zhuǎn)移,無(wú)論是性價(jià)比還是延遲都無(wú)法做到優(yōu)。 這也是為什么從一開(kāi)端,OceanBase團(tuán)隊(duì)就決定做根據(jù)“一個(gè)體系,一份數(shù)據(jù)”的HTAP數(shù)據(jù)庫(kù),以將性價(jià)比做到極致。 楊傳輝說(shuō),“一份數(shù)據(jù)”是從用戶角度看的,實(shí)際履行中,只需能在滿足HTAP處理需求數(shù)據(jù)的前提下大程度下降冗余,多個(gè)副本或許多種形狀都可以被認(rèn)為是“一份數(shù)據(jù)”。 為了讓OLTP具有大數(shù)據(jù)量OLAP的才干,HTAP需引進(jìn)原生分布式架構(gòu)和低本錢(qián)存儲(chǔ)引擎,支撐 OLTP與OLAP間的資源隔離、復(fù)雜查詢和大數(shù)據(jù)量查詢,以及OLAP的數(shù)據(jù)開(kāi)發(fā)和建模才干。 須注意的是,魚(yú)和熊掌不可兼得,真實(shí)的HTAP體系也不是全能的。 理論上,它不會(huì)獻(xiàn)身剖析才干。但由于工程復(fù)雜度和產(chǎn)品老練度問(wèn)題,根據(jù)OLTP研制的HTAP數(shù)據(jù)庫(kù),其OLAP才干會(huì)弱于專(zhuān)門(mén)的OLAP體系,因而更適合OLTP、OLTP與實(shí)時(shí)OLAP混合負(fù)載處理場(chǎng)景,不適合離線數(shù)據(jù)倉(cāng)庫(kù)或大數(shù)據(jù)無(wú)結(jié)構(gòu)化數(shù)據(jù)處理場(chǎng)景。 楊傳輝建議,企業(yè)開(kāi)端做新事務(wù),或是已有事務(wù)遇到一些傳統(tǒng)數(shù)據(jù)庫(kù)計(jì)劃難以處理的痛點(diǎn)時(shí),或許正是切入HTAP的好時(shí)機(jī)。 那么企業(yè)挑選HTAP時(shí),怎樣判別這個(gè)數(shù)據(jù)庫(kù)計(jì)劃,值不值得投入試錯(cuò)本錢(qián),能不能未來(lái)長(zhǎng)期用下去,為事務(wù)帶來(lái)價(jià)值? 他給出了一些參閱維度:首先是看落地閱歷,在標(biāo)桿客戶中心事務(wù)場(chǎng)景中完成規(guī)模使用的HTAP計(jì)劃,闡明滿足老練安穩(wěn);還要關(guān)注中心才干,比方在公開(kāi)基準(zhǔn)測(cè)驗(yàn)benchmark中的功能體現(xiàn)怎樣,生態(tài)東西是否齊備好用。假如未來(lái)事務(wù)將開(kāi)展至較大規(guī)模,那么企業(yè)還需考慮HTAP選用的技能架構(gòu)是否存在缺陷、安穩(wěn)性和容災(zāi)才干怎樣樣、能否完成事務(wù)的佳性價(jià)比等。 從這兩個(gè)角度來(lái)看,OceanBase儼然是不可多得的挑選。一方面,它是金融場(chǎng)景中受歡迎的國(guó)產(chǎn)分布式數(shù)據(jù)庫(kù),如今已堆集涵蓋銀行、能源、電力、社保等職業(yè)的400多個(gè)外部企業(yè)客戶,其金融級(jí)容災(zāi)、老練安穩(wěn)性現(xiàn)已得到充沛驗(yàn)證;另一方面,它在曩昔三年接連打破世界在線事務(wù)處理基準(zhǔn)測(cè)驗(yàn)TPC-C和數(shù)據(jù)剖析型基準(zhǔn)測(cè)驗(yàn)TPC-H的世界紀(jì)錄,證明了本身的技能領(lǐng)先性。 獲得這些成就的背面,作為分布式HTAP數(shù)據(jù)庫(kù)的先行者,自2010年誕生以來(lái),OceanBase一直在摸著石頭過(guò)河。 二、12年磨一劍,明年煉出HTAP老練體 在HTAP這條路上,國(guó)產(chǎn)自研原生分布式數(shù)據(jù)庫(kù)OceanBase現(xiàn)已努力了12年。 楊傳輝認(rèn)為,堅(jiān)持自研與落地中心事務(wù)場(chǎng)景,是OceanBase能將同行甩在身后的“殺手锏”。 只有自主研制,才干徹底掌握數(shù)據(jù)庫(kù)的內(nèi)核,真實(shí)做出“一套體系,一份數(shù)據(jù)”的計(jì)劃。因而OceanBase的每一行代碼都由其團(tuán)隊(duì)自主編寫(xiě)。其經(jīng)年累月在各種中心事務(wù)場(chǎng)景中持續(xù)沉積的know-how才干,也為OceanBase構(gòu)筑了益發(fā)鞏固的技能及商場(chǎng)競(jìng)爭(zhēng)壁壘。 在楊傳輝看來(lái),其他企業(yè)要想仿照OceanBase的道路并追平其才干,會(huì)存在一個(gè)時(shí)間差。 但關(guān)于許多國(guó)產(chǎn)數(shù)據(jù)庫(kù)來(lái)說(shuō),它們乃至連“仿照”的條件都不具有——有多少像支付寶買(mǎi)賣(mài)、雙11這樣要害又具有超高并發(fā)應(yīng)戰(zhàn)的事務(wù),敢讓初出茅廬、未經(jīng)很多實(shí)踐檢驗(yàn)的新式數(shù)據(jù)庫(kù)試練? 回想OceanBase曩昔12年的歷練,用楊傳輝的話來(lái)說(shuō),簡(jiǎn)直是“步步難關(guān)”。 OceanBase研制分布式HTAP數(shù)據(jù)庫(kù),是一個(gè)從0到1的進(jìn)程,一開(kāi)端底子沒(méi)有事務(wù)。就在團(tuán)隊(duì)焦思苦慮之際,2011年,淘寶收藏夾首先建議落地邀請(qǐng)——數(shù)百萬(wàn)、數(shù)千萬(wàn)用戶一起讀取商品信息,導(dǎo)致原有數(shù)據(jù)庫(kù)動(dòng)不動(dòng)就崩盤(pán),他們需求新的數(shù)據(jù)庫(kù)取而代之。所以,OceanBase團(tuán)隊(duì)立即為其量身定制了一個(gè)特殊架構(gòu),第一次證明了其數(shù)據(jù)庫(kù)的落地價(jià)值。 此刻O(píng)ceanBase團(tuán)隊(duì)仍頂著巨大的壓力。淘寶收藏夾畢竟不算中心事務(wù),對(duì)數(shù)據(jù)庫(kù)的要求沒(méi)那么高,要想長(zhǎng)遠(yuǎn)走下去,OceanBase必須進(jìn)入中心事務(wù)場(chǎng)景,并飽嘗住嚴(yán)苛的檢測(cè)。 直到2012年11月,OceanBase獲得了一個(gè)新的機(jī)會(huì)——具有巨大事務(wù)數(shù)據(jù)量、高并發(fā)量并對(duì)毛病簡(jiǎn)直零忍受的支付寶打算“去O”(替換Oracle數(shù)據(jù)庫(kù))了。只需OceanBase能接過(guò)這個(gè)重?fù)?dān),爾后它的金融事務(wù)之路,將是可預(yù)見(jiàn)的暢通。 通過(guò)兩年的歷練,OceanBase在2014年終于迎來(lái)中心事務(wù)場(chǎng)景的大考——替換支付寶買(mǎi)賣(mài)體系,扛住全國(guó)大規(guī)模流量洪峰“雙11”的壓力,做到整個(gè)體系的“絲般順滑”。 成果,OceanBase一戰(zhàn)成名。 爾后就是坦途一片:從螞蟻集團(tuán)內(nèi)部中心事務(wù)全面使用,到第一次被外部客戶選用,從支撐銀行、保險(xiǎn)、證券等金融事務(wù),到進(jìn)入政府、公共事業(yè)、國(guó)家電網(wǎng)等更多非金融事務(wù)的中心偏買(mǎi)賣(mài)事務(wù)場(chǎng)景,OceanBase的落地之路越走越寬。 “做數(shù)據(jù)庫(kù)是要靠堆集的。”楊傳輝說(shuō),“這是一切其他國(guó)產(chǎn)數(shù)據(jù)庫(kù)都拿不到的、無(wú)價(jià)的閱歷,對(duì)OceanBase今天可以成為分布式數(shù)據(jù)庫(kù)領(lǐng)域的引領(lǐng)者,起到了重要的效果! 從0起步到服務(wù)400多個(gè)外部客戶,這些閱歷起到了滾雪球般的正向循環(huán),有了越來(lái)越多的客戶背書(shū)后,OceanBase獲得了更多實(shí)戰(zhàn)歷練的土壤,其閱歷融入到數(shù)據(jù)庫(kù)產(chǎn)品的迭代中,使其進(jìn)一步拉大與同行在功能、安穩(wěn)性方面的距離。 楊傳輝告訴智東西,曩昔半年,OceanBase又獲得一些新的發(fā)展,在研制新版本方面進(jìn)一步優(yōu)化了剖析、資源隔離等才干,在落地方面也收獲更多新的職業(yè)要害客戶!到明年年底,差不多咱們就能有HTAP的老練體了。” 三、國(guó)產(chǎn)數(shù)據(jù)庫(kù)當(dāng)打之年,奔赴“分布式”星斗大海 作為“卡脖子”的要害根底軟件賽道,國(guó)產(chǎn)數(shù)據(jù)庫(kù)的興起已是必然。在楊傳輝看來(lái),分布式數(shù)據(jù)庫(kù)正承載著其中大的“彎道超車(chē)”機(jī)會(huì)。 在集中式數(shù)據(jù)庫(kù)賽道,微軟、Oracle等數(shù)據(jù)庫(kù)巨子寶刀未老,開(kāi)源數(shù)據(jù)庫(kù)亦氣勢(shì)如虹,留給國(guó)產(chǎn)數(shù)據(jù)庫(kù)玩家的商場(chǎng)空間所剩無(wú)幾。但在分布式數(shù)據(jù)庫(kù)賽道,國(guó)內(nèi)外企業(yè)起點(diǎn)距離附近,乃至國(guó)內(nèi)面臨的事務(wù)場(chǎng)景要求比海外更為嚴(yán)苛,而越是具有應(yīng)戰(zhàn)的事,也往往能帶來(lái)倍速的成長(zhǎng)。 “曾經(jīng)集中式做得很好,老練安穩(wěn),但這有時(shí)候也會(huì)成為他們做下一代技能的包袱。”楊傳輝說(shuō),當(dāng)分布式成為下一代數(shù)據(jù)庫(kù)的干流方向,那么國(guó)產(chǎn)數(shù)據(jù)庫(kù)廠商的優(yōu)勢(shì)就會(huì)體現(xiàn)出來(lái)。 他談道,包含OceanBase在內(nèi),國(guó)產(chǎn)分布式數(shù)據(jù)庫(kù)現(xiàn)已由外圍場(chǎng)地邁入中心事務(wù)場(chǎng)景,其中OceanBase是在中心買(mǎi)賣(mài)場(chǎng)景使用多的。在處理一些小數(shù)據(jù)量問(wèn)題中,OceanBase也現(xiàn)已能做到跟MySQL、Oracle差不多的性價(jià)比。 曾經(jīng)企業(yè)可能更多將分布式數(shù)據(jù)庫(kù)用在邊際場(chǎng)景作為彌補(bǔ),但近年來(lái),OceanBase現(xiàn)已做到將分布式HTAP用在不同職業(yè)的要害客戶中心事務(wù)場(chǎng)景中,并安穩(wěn)上線、持續(xù)運(yùn)行。楊傳輝信任:“分布式數(shù)據(jù)庫(kù)未來(lái)商場(chǎng)會(huì)特別大,簡(jiǎn)直一切的客戶都會(huì)優(yōu)先挑選分布式! 跟著更多企業(yè)走向數(shù)字化轉(zhuǎn)型、對(duì)實(shí)時(shí)性發(fā)生更高要求,在云原生與分布式疊加趨勢(shì)的推動(dòng)下,楊傳輝對(duì)分布式HTAP的未來(lái)預(yù)期非常樂(lè)觀。 他觀察到這兩年分布式數(shù)據(jù)庫(kù)的用戶認(rèn)可度越來(lái)越高,但與Oracle、MySQL顯然還有很大距離!氨确組ySQL Oracle的用戶數(shù)可能是百萬(wàn)級(jí)、千萬(wàn)級(jí),分布式可能是幾百級(jí)、幾千級(jí),這不是一個(gè)量級(jí)的! 因而,當(dāng)時(shí)分布式數(shù)據(jù)庫(kù)的受認(rèn)可程度還有待提升,HTAP仍處于開(kāi)展初期,中心應(yīng)戰(zhàn)就是生態(tài)問(wèn)題。這畢竟是個(gè)新式技能道路,很多企業(yè)或開(kāi)發(fā)者可能對(duì)此感到生疏,需求通過(guò)開(kāi)源、社區(qū)運(yùn)營(yíng)、高校協(xié)作等方式來(lái)持續(xù)培養(yǎng)更多的用戶習(xí)慣。國(guó)產(chǎn)分布式數(shù)據(jù)庫(kù)產(chǎn)品,還需處理言語(yǔ)、文檔等問(wèn)題。 也正因而,OceanBase在上一年6月宣告開(kāi)源,一次性將包含300萬(wàn)行代碼的全部中心才干開(kāi)放出來(lái),讓更多人成為分布式HTAP數(shù)據(jù)庫(kù)的開(kāi)發(fā)者。他們還將持續(xù)在公眾號(hào)上宣布解讀HTAP技能的系列文章,共享其現(xiàn)已完成的HTAP技能計(jì)劃和場(chǎng)景價(jià)值!霸蹅冇凶孕臤ceanBase在分布式職業(yè)里的技能遙遙領(lǐng)先,咱們需求的是這個(gè)職業(yè)變得更好。”楊傳輝說(shuō)。 他信任,跟著分布式數(shù)據(jù)庫(kù)被越來(lái)越多的人選用,它又能處理單機(jī)問(wèn)題,未來(lái)分布式數(shù)據(jù)庫(kù)會(huì)在絕大部分場(chǎng)景中取代集中式數(shù)據(jù)庫(kù),他期望未來(lái)企業(yè)“選數(shù)據(jù)庫(kù)就選分布式數(shù)據(jù)庫(kù),選分布式數(shù)據(jù)庫(kù)就優(yōu)先選OceanBase”。 結(jié)語(yǔ):路雖遠(yuǎn),行則將至 做國(guó)產(chǎn)數(shù)據(jù)庫(kù),是一件需求情懷,也需求敬畏之心的事。OceanBase能揮灑自如地支撐更多職業(yè)客戶的中心買(mǎi)賣(mài)事務(wù),絕不是僅靠技能優(yōu)勢(shì)拉開(kāi)距離,錨定分布式HTAP賽道、假勢(shì)移動(dòng)互聯(lián)網(wǎng)年代浪潮、持續(xù)堆集職業(yè)know-how等多重要素疊加,才造就了它今天的階段性成功。 現(xiàn)階段,國(guó)產(chǎn)數(shù)據(jù)庫(kù)正步入快車(chē)道,在大數(shù)據(jù)及人工智能年代大展拳腳。據(jù)中國(guó)信通院測(cè)算,2020年中國(guó)數(shù)據(jù)庫(kù)商場(chǎng)規(guī)模約為241億元,到2025年估計(jì)將增至688億元,商場(chǎng)空間巨大。 但風(fēng)口之中,不免泥沙俱下,這既需求真實(shí)有中心技能的企業(yè)在混戰(zhàn)中保持定力、堅(jiān)持自主研制與創(chuàng)新,也需求業(yè)界擬定更嚴(yán)格的把關(guān)標(biāo)準(zhǔn),為真實(shí)有實(shí)力的國(guó)產(chǎn)數(shù)據(jù)庫(kù)廠商保駕護(hù)航。 “我覺(jué)得一切國(guó)產(chǎn)數(shù)據(jù)庫(kù)廠商應(yīng)追求的,是去做一些代替中心體系的工作,”在楊傳輝眼中,這可能是難的、有社會(huì)含義的事,但其商業(yè)價(jià)值不一定高,由于代替中心技能的投入特別大,與代替一個(gè)外圍體系不是一個(gè)量級(jí)。 ”但是這件工作不能說(shuō)等老練了再去做,永久都不會(huì)有老練的那天,”楊傳輝的語(yǔ)調(diào)驟然舉高,“就應(yīng)該跟一些有情懷的企業(yè)合在一起,趕忙把這個(gè)工作給干出來(lái)! |
|