站長(zhǎng)資訊網(wǎng)
少有賽道像當(dāng)前中國(guó)數(shù)據(jù)庫(kù)那樣“糾結(jié)”：
一方面，迎著時(shí)代的風(fēng)，數(shù)據(jù)庫(kù)的發(fā)展如火如荼。2020年4月，數(shù)據(jù)被正式列為與土地、勞動(dòng)力、資本和技術(shù)并列的“第五要素”，盡顯重要性的同時(shí)，也成功帶動(dòng)數(shù)據(jù)庫(kù)產(chǎn)業(yè)水漲船高，迎來(lái)鼎盛繁榮。據(jù)艾瑞數(shù)據(jù)統(tǒng)計(jì)，2020年中國(guó)數(shù)據(jù)庫(kù)市場(chǎng)總規(guī)模達(dá)247.1億元，同比增長(zhǎng)16.2%。未來(lái)三年預(yù)計(jì)將繼續(xù)保持高增長(zhǎng)，并且多類(lèi)型數(shù)據(jù)庫(kù)將百花齊放。
另一方面，數(shù)據(jù)庫(kù)的火熱發(fā)展沒(méi)能點(diǎn)燃資本的熱情。幾乎所有投資人和工程師都表態(tài)“愿意等鐵杵磨針”，因?yàn)樗麄冃闹敲鳎瑪?shù)據(jù)庫(kù)與操作系統(tǒng)、中間件是計(jì)算機(jī)的三大基礎(chǔ)軟件，從研發(fā)難度來(lái)講，如果說(shuō)操作系統(tǒng)是冰山上露出來(lái)的95%，那么數(shù)據(jù)庫(kù)就是隱藏在水下冰山的5%，看似相對(duì)容易，但沒(méi)有足夠的實(shí)力，根本觸不到隱藏的冰山一角，也就生產(chǎn)不出好的產(chǎn)品。
1989年，在“老大哥”Oracle帶著數(shù)據(jù)庫(kù)產(chǎn)品第一次出現(xiàn)在中國(guó)市場(chǎng)時(shí)，國(guó)外數(shù)據(jù)庫(kù)已經(jīng)迭代了超過(guò)7個(gè)版本。與國(guó)外數(shù)據(jù)庫(kù)廠商誕生時(shí)間和發(fā)展速度相比，國(guó)產(chǎn)數(shù)據(jù)庫(kù)尷尬地輸在了“起跑線上”。
那么起跑線落后的數(shù)據(jù)庫(kù)還能彎道超車(chē)嗎?沒(méi)有下一步海闊天空，只有下一步比這一步更難的國(guó)產(chǎn)數(shù)據(jù)庫(kù)真的迎來(lái)轉(zhuǎn)折點(diǎn)了嗎?現(xiàn)在又有怎樣的企業(yè)在國(guó)產(chǎn)數(shù)據(jù)庫(kù)的深水區(qū)里開(kāi)荒呢?
對(duì)于這些疑問(wèn)，數(shù)據(jù)庫(kù)領(lǐng)域新秀StarRocks也許有獨(dú)到的見(jiàn)解和發(fā)言權(quán)。
談風(fēng)雨，StarRocks追求“極速統(tǒng)一分析”之路
數(shù)據(jù)庫(kù)，即數(shù)據(jù)管理系統(tǒng)，誕生于20世紀(jì)60年代中期的美國(guó)，是按數(shù)據(jù)結(jié)構(gòu)來(lái)存儲(chǔ)和管理數(shù)據(jù)的計(jì)算機(jī)軟件系統(tǒng)。
20世紀(jì)80年代后中國(guó)數(shù)據(jù)庫(kù)市場(chǎng)由“外來(lái)和尚”Oracle、Sybase、DB2、Informix等產(chǎn)品占據(jù)。在之后長(zhǎng)達(dá)十幾年的時(shí)間里，國(guó)內(nèi)數(shù)據(jù)庫(kù)市場(chǎng)格局也鮮有國(guó)產(chǎn)品牌的影子，金融行業(yè)以DB2、Sybase為心腹，而電信、電力行業(yè)中則基本由Oracle一統(tǒng)江湖。
“但是，很快隨著我國(guó)國(guó)產(chǎn)化戰(zhàn)略的實(shí)施和更多的資金投入，國(guó)產(chǎn)數(shù)據(jù)庫(kù)在中國(guó)的占比從2017年的16.5%上升到了2020年的近50%。根據(jù)信通院測(cè)算，2020年國(guó)產(chǎn)數(shù)據(jù)庫(kù)規(guī)模約241億，年復(fù)合增長(zhǎng)率23.4%。傳統(tǒng)國(guó)產(chǎn)數(shù)據(jù)庫(kù)、云數(shù)據(jù)庫(kù)和新型數(shù)據(jù)庫(kù)創(chuàng)業(yè)企業(yè)在受到資本方的關(guān)注下，加之開(kāi)源生態(tài)助力后迅速提升了技術(shù)水平和商業(yè)化能力。所以，現(xiàn)在中國(guó)的數(shù)據(jù)庫(kù)發(fā)展之路也并沒(méi)有想象中那么難。”StarRocks COO葉謙告訴數(shù)據(jù)猿。
葉謙所任職的北京鼎石縱橫科技有限公司(簡(jiǎn)稱(chēng)：鼎石科技)成立于2020年5月，是一家專(zhuān)注于大數(shù)據(jù)核心技術(shù)的高科技公司。其麾下成員均來(lái)自于百度、阿里、微軟，美團(tuán)、京東、小米、字節(jié)跳動(dòng)等互聯(lián)網(wǎng)頭部企業(yè)的基礎(chǔ)架構(gòu)和大數(shù)據(jù)團(tuán)隊(duì)。公司核心產(chǎn)品——新一代極速全場(chǎng)景MPP分析型數(shù)據(jù)庫(kù)系統(tǒng)StarRocks正是今天故事的主角。
“Star是天上的一顆星，Rock是地上的一塊石!作為鼎石科技苦心研發(fā)的新一代極速全場(chǎng)景MPP數(shù)據(jù)庫(kù)，這個(gè)名字就代表我們希望StarRocks仰望星空的同時(shí)，更能腳踏實(shí)地。”葉謙說(shuō)罷，便細(xì)數(shù)起StarRocks的腳踏實(shí)地之舉：
第一，StarRocks具備極速的任意維度OLAP分析和Adhoc查詢(xún)能力，能賦予業(yè)務(wù)全新的洞察靈活性和速度;
第二，StarRocks可以支持?jǐn)?shù)據(jù)秒級(jí)實(shí)時(shí)更新，寫(xiě)入數(shù)據(jù)立即可見(jiàn)，幫助用戶(hù)顯著提升業(yè)務(wù)洞察的實(shí)時(shí)性;
第三，StarRocks支持?jǐn)?shù)千用戶(hù)同時(shí)進(jìn)行分析，可以賦能更多用戶(hù)進(jìn)行業(yè)務(wù)洞察;
第四，StarRocks還支持基于多種數(shù)據(jù)模型的極速分析，可賦予業(yè)務(wù)全新的構(gòu)建靈活性和速度，能幫助用戶(hù)快速響應(yīng)業(yè)務(wù)變化。
在變幻莫測(cè)的數(shù)據(jù)庫(kù)行業(yè)中，這是StarRocks追求“極速統(tǒng)一分析”之路，也基于業(yè)務(wù)數(shù)據(jù)、數(shù)據(jù)報(bào)表、數(shù)據(jù)指標(biāo)越來(lái)越多的企業(yè)應(yīng)對(duì)之法。
論創(chuàng)新，StarRocks有效利用數(shù)據(jù)為業(yè)務(wù)創(chuàng)造價(jià)值
在追求“極速統(tǒng)一分析”的同時(shí)，StarRocks也一直在解決一個(gè)難題——到底怎樣的技術(shù)創(chuàng)新才能有效地分析海量數(shù)據(jù)，真正有效地利用數(shù)據(jù)為業(yè)務(wù)創(chuàng)造價(jià)值呢?
從0到1的進(jìn)化，總伴隨著破殼而出的喜悅。談及技術(shù)創(chuàng)新點(diǎn)，葉謙自豪地講到：“全面向量化技術(shù)是第一個(gè)創(chuàng)新，StarRocks的整個(gè)執(zhí)行引擎都是按照向量化的方式全部重寫(xiě)的。從磁盤(pán)數(shù)據(jù)格式，到內(nèi)存數(shù)據(jù)格式，再到網(wǎng)絡(luò)數(shù)據(jù)傳輸格式都按列的方式進(jìn)行處理。而且我們執(zhí)行引擎里的每一個(gè)算子，包括表達(dá)式計(jì)算、執(zhí)行節(jié)點(diǎn)、數(shù)據(jù)Shuffle都是用向量化的方式實(shí)現(xiàn)并優(yōu)化。”
至于全面向量化的重要性有幾何?StarRocks的全面向量化和其他產(chǎn)品的向量化有何區(qū)別，葉謙進(jìn)一步解釋到：“很多產(chǎn)品的向量化基本都只是局部的，并沒(méi)有用向量化技術(shù)實(shí)現(xiàn)所有的算子。還有的產(chǎn)品雖然使用列式存儲(chǔ)，但在計(jì)算時(shí)‘換湯不換藥’還是按行來(lái)。而StarRocks不同，它是完全的按列存儲(chǔ)，按列計(jì)算，按列傳輸。并且應(yīng)用全面向量化引擎的執(zhí)行，StarRocks相比原來(lái)的執(zhí)行引擎，性能提升了幾倍到十幾倍。”
不僅如此，StarRocks還有第二大技術(shù)創(chuàng)新點(diǎn)，即從零開(kāi)始實(shí)現(xiàn)了一個(gè)全新的CBO優(yōu)化器。“一個(gè)好的優(yōu)化器要能夠給出執(zhí)行代價(jià)最低，并能充分利用自身執(zhí)行引擎能力的執(zhí)行計(jì)劃，StarRocks自研的全新CBO優(yōu)化器讓我們?cè)赟SB標(biāo)準(zhǔn)測(cè)試上的性能表現(xiàn)提升了3—5倍。在TPC-H測(cè)試集上，同樣是以外表的方式查詢(xún)Hive數(shù)據(jù)，性能比Presto快5倍以上。當(dāng)然除了這兩大創(chuàng)新點(diǎn)，我們還通過(guò)Colocate Join，現(xiàn)代化物化視圖等優(yōu)化手段，這些優(yōu)化手段在特定的場(chǎng)景下都能大幅提升數(shù)據(jù)分析的性能。”葉謙補(bǔ)充到。
為什么StarRocks能如此迅速地成為“前排選手”?也許靠的正是面對(duì)數(shù)據(jù)庫(kù)深水區(qū)時(shí)的產(chǎn)品創(chuàng)新和技術(shù)創(chuàng)新，以及幫助客戶(hù)實(shí)現(xiàn)重大成就和打造世界級(jí)的分析型數(shù)據(jù)庫(kù)產(chǎn)品的決心。
品當(dāng)下，滿(mǎn)足客戶(hù)的需求是StarRocks存在的唯一意義
杠桿只有在對(duì)的支點(diǎn)，才有撬動(dòng)地球的能力。葉謙覺(jué)得這句話最適合互聯(lián)網(wǎng)公司貝殼。
“OLAP平臺(tái)是貝殼的數(shù)字化運(yùn)營(yíng)基石，在數(shù)據(jù)平臺(tái)中占據(jù)著非常重要的位置。首先OLAP平臺(tái)需要支撐集團(tuán)的經(jīng)營(yíng)管理決策，需要將各種業(yè)務(wù)流程中的關(guān)鍵指標(biāo)抽象出來(lái)，在OLAP平臺(tái)上進(jìn)行實(shí)現(xiàn);其次是探索性分析，OLAP平臺(tái)需要支持前線業(yè)務(wù)員的探索性分析;最后是可視化報(bào)表，即常規(guī)的固定報(bào)表業(yè)務(wù)，需要OLAP引擎有支持大規(guī)模并發(fā)請(qǐng)求的能力。”葉謙介紹起貝殼情況。
在沒(méi)有上線StarRocks之前，為了滿(mǎn)足不同數(shù)據(jù)分析場(chǎng)景的需求，貝殼上線了包括Impala、Presto、Kylin、Druid、ClickHouse、Hive等多套數(shù)據(jù)分析系統(tǒng)，做到不同系統(tǒng)對(duì)應(yīng)不同的數(shù)據(jù)分析需求。但貝殼在數(shù)據(jù)分析方面依然存在不少問(wèn)題，比如歷史數(shù)據(jù)Update支持差、多表Join功能的支持能力差、運(yùn)維復(fù)雜，用戶(hù)學(xué)習(xí)成本較高等等。
“由于使用了多套不同的系統(tǒng)，整體的運(yùn)維復(fù)雜度很高。貝殼大數(shù)據(jù)團(tuán)隊(duì)只有十幾個(gè)人，導(dǎo)致對(duì)于每套系統(tǒng)的研究理解都不深入，出了問(wèn)題很容易Hold不住，運(yùn)維壓力很大。就在使用了StarRocks后，貝殼可以支持高并發(fā)數(shù)據(jù)分析，能很好地支持貝殼的各級(jí)人員同時(shí)訪問(wèn)和使用;也支持?jǐn)?shù)據(jù)的實(shí)時(shí)更新、實(shí)時(shí)生效，更有力地支持了需要更新的實(shí)時(shí)數(shù)據(jù)分析場(chǎng)景;不僅如此，Join的查詢(xún)性能、能有效地支持星型模型查詢(xún)場(chǎng)景。并且，StarRocks的現(xiàn)代化物化視圖技術(shù)，可以很容易實(shí)現(xiàn)同時(shí)高效查詢(xún)明細(xì)數(shù)據(jù)和聚合數(shù)據(jù)的能力。”葉謙告訴數(shù)據(jù)猿。
目前，貝殼正在逐步將OLAP數(shù)據(jù)分析場(chǎng)景全部統(tǒng)一到StarRocks上，現(xiàn)在其不僅各個(gè)場(chǎng)景需求的滿(mǎn)足度更高，而且同時(shí)維護(hù)的系統(tǒng)數(shù)量減少后，整體運(yùn)維復(fù)雜度和壓力都下降了很多。
嘆未來(lái)，StarRocks選擇開(kāi)放源代碼，魚(yú)和熊掌或許可以兼得
2021年，對(duì)整個(gè)開(kāi)源世界來(lái)說(shuō)是特殊的一年，從誕生年齡來(lái)看，它已進(jìn)入“而立”。
30年前，來(lái)自芬蘭的大學(xué)生Linus Torvalds創(chuàng)造了Linux操作系統(tǒng)內(nèi)核。經(jīng)過(guò)三十載發(fā)展，這個(gè)當(dāng)年因個(gè)人興趣而誕生的開(kāi)源項(xiàng)目，如今已經(jīng)發(fā)展成全球最大、參與開(kāi)發(fā)人數(shù)最多的超級(jí)項(xiàng)目。
盡管開(kāi)放源代碼可以共建生態(tài)、推動(dòng)技術(shù)創(chuàng)新，但是對(duì)于追求商業(yè)成功的初創(chuàng)企業(yè)來(lái)說(shuō)，開(kāi)放源代碼后如何“活下來(lái)”呢?尤其在各方勢(shì)力都虎視眈眈的中國(guó)數(shù)據(jù)庫(kù)產(chǎn)業(yè)，魚(yú)和熊掌可以兼得嗎?
“StarRocks作為一家商業(yè)化的公司，我們肯定是要追求商業(yè)上的成功。在StarRocks之前，已經(jīng)有很多前輩在這方面進(jìn)行了很多探索和嘗試。”
比如說(shuō)Databricks的完全開(kāi)源產(chǎn)品Apache Spark，既使用Apache協(xié)議，又有閉源的商業(yè)化產(chǎn)品Photon，Databricks的商業(yè)化成功靠的是Photon的性能大幅領(lǐng)先Apache Spark。這種開(kāi)放模式可以稱(chēng)為‘弱內(nèi)核+寬松協(xié)議’。
還有一種開(kāi)源類(lèi)型是MongoDB，普通用戶(hù)是可以免費(fèi)使用，但為了防止云廠商對(duì)其直接商業(yè)化，MongoDB使用了SSPL這樣比較嚴(yán)格的協(xié)議，即采用一種“強(qiáng)內(nèi)核+嚴(yán)格協(xié)議”的開(kāi)放模式。
“面對(duì)未來(lái)，鼎石科技會(huì)有兩條商業(yè)化路徑，一是提供具備更多企業(yè)級(jí)功能的企業(yè)版，包括更多的企業(yè)級(jí)運(yùn)維工具，具有安全性和權(quán)限控制，資源隔離等功能;二是會(huì)推出一個(gè)純?cè)圃姹镜漠a(chǎn)品，直接和公有云廠商合作，為客戶(hù)提供全托管的彈性服務(wù)。我們?cè)诳紤]開(kāi)放源代碼和商業(yè)化這兩件事情的時(shí)候，想得更多的是如何讓普通用戶(hù)更易具備最強(qiáng)的數(shù)據(jù)分析能力。”這是葉謙對(duì)魚(yú)和熊掌是否可以兼得最坦承回應(yīng)。
科幻作家威廉·吉布森曾說(shuō)：“未來(lái)已經(jīng)到來(lái)，只是尚未流行。”也許科幻作家活在百年后，科技投資者和媒體人活在幾十年后，但深耕在產(chǎn)業(yè)之中的實(shí)干者，以及產(chǎn)業(yè)變革所影響的人都活在當(dāng)下，所以仰望星空，腳踏實(shí)地的鼎石科技格外讓人期待。(文：達(dá)尼亞/數(shù)據(jù)猿)
特別提醒：本網(wǎng)信息來(lái)自于互聯(lián)網(wǎng)，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí)，對(duì)本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。本站不承擔(dān)此類(lèi)作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益，請(qǐng)及時(shí)聯(lián)系我們，本站將會(huì)在24小時(shí)內(nèi)處理完畢。
