您的位置：首頁 >綜合 > 滾動 >
《2022開源大數(shù)據(jù)熱力報告》解讀：StarRocks摘得數(shù)據(jù)查詢與分析方向熱力值增速第一
近日，由開放原子開源基金會、X-lab 開放實驗室和阿里巴巴開源委員會聯(lián)合出品的《2022 開源大數(shù)據(jù)熱力報告》（以下簡稱“報告”）在云棲大會公布。新一代極速全場景 MPP 數(shù)據(jù)庫 StarRocks 榮登報告Top 30，并作為數(shù)據(jù)查詢與分析方向增速第一的項目出席了 11 月 17 日的報告圓桌討論會。
報告研究了“后 Hadoop 時代”最活躍的 102 個開源大數(shù)據(jù)項目，基于 2015 年至今的相關(guān)公開數(shù)據(jù)進行關(guān)聯(lián)分析，主要考察項目關(guān)注度、貢獻活躍度、協(xié)作關(guān)聯(lián)度和可持續(xù)發(fā)展的健康度，得出每個項目的熱力值。熱力值主要基于開源項目的每年新增 Star 數(shù)量、新增 Issue 數(shù)量、OpenRank值 等 3 個關(guān)鍵指標加權(quán)計算而來。在解決用戶痛點、持續(xù)關(guān)注開發(fā)者體驗等核心競爭力上的卓越表現(xiàn)，是促使 StarRocks 以僅一歲多的社區(qū)年齡就火速上榜的主要原因。
報告調(diào)研的開源大數(shù)據(jù)項目覆蓋 8 個類別，其中數(shù)據(jù)查詢與分析連續(xù) 8 年位于熱力值榜首。這一領(lǐng)域是大數(shù)據(jù)兵家多爭之地，競爭帶來的生態(tài)繁榮也促使 StarRocks等項目獲得了更多的技術(shù)熱度。
（數(shù)據(jù)查詢與分析領(lǐng)域的熱力增速排行）
解決用戶痛點、持續(xù)關(guān)注開發(fā)者體驗是熱力核心
把解決用戶痛點作為核心競爭力、持續(xù)關(guān)注開發(fā)者體驗，是 StarRocks 等上榜 TOP30 開源項目的共同特征，這些特征保證它們與時俱進，成為熱力趨勢中的 “常青樹”或“黑馬”。
過去的一年多時間里，StarRocks 共發(fā)布了超過 50 個大小版本，維持著兩個月一大版本，每周一小版本的速度快速迭代。每一次的產(chǎn)品更新與迭代，均來自用戶、社區(qū)開發(fā)者和 PMC 們共同的打磨和助力。
以存算分離這一痛點為例，StarRocks PMC 趙恒談到，在與行業(yè)用戶的深度交互中發(fā)現(xiàn)，當前的云原生數(shù)據(jù)倉庫大多沒有很好處理實時的問題，StarRocks 的云原生架構(gòu)在傳統(tǒng)的設(shè)計基礎(chǔ)上結(jié)合自身高性能的實時更新存儲引擎，實現(xiàn)了實時數(shù)據(jù)分析和 Lakehouse 的統(tǒng)一 。
（熱力值 TOP30 開源項目）
在圓桌中，趙恒從社區(qū)治理和社區(qū)運營的兩個維度分享了 StarRocks “極速”提升熱力值的心得方法。
從社區(qū)治理的角度：
一是治理模型和規(guī)則應(yīng)該簡單，簡單才能持久地推動，StarRocks 只專注在幾個大方向。一般貢獻者參與社區(qū)會關(guān)注兩個核心問題：一是他們能為社區(qū)做什么，再來是他們怎么才能做到想做的事。因此清楚定義社區(qū)中的角色，像是 Contributor、Committer、PMC 等角色和晉升規(guī)則，讓開發(fā)者知道通過哪些努力能獲得更大的社區(qū)影響力很重要。
二是降級參與門檻：維護良好的文檔、創(chuàng)建新人輔導(dǎo)機制等都是讓新手能快速加入社區(qū)的關(guān)鍵。StarRocks 社區(qū)之前也舉辦過好幾期面向新手的 StarRocks 極客營活動，活動中會有負責導(dǎo)師帶著入門，很多開發(fā)者都是借由這系列的活動第一次接觸到數(shù)據(jù)庫的開發(fā)工作。
三是吸引更多的高手：社區(qū)里有形形色色的開發(fā)者，為了讓開發(fā)者能在自己感興趣的領(lǐng)域貢獻價值和提升自身的技術(shù)能力，StarRocks 創(chuàng)建了 DLA （數(shù)據(jù)湖分析）、Cloud Native、MV 等興趣小組，吸引領(lǐng)域高手和對此領(lǐng)域有特殊興趣的人來加入貢獻。
四是多樣的貢獻方式：社區(qū)不止于代碼，一個社區(qū)健康成長需要多樣的共建伙伴，因此 StarRocks 也鼓勵成員積極參與討論、幫助新用戶更好地使用 StarRocks 或是參與對外宣講等，并會對作出積極貢獻的成員授予社區(qū)大使頭銜。
從社區(qū)運營的角度：
雖然治理模型和規(guī)則應(yīng)該簡單，但是社區(qū)運營推廣應(yīng)該越豐富越好。針對用戶進行不同維度的賦能，包括產(chǎn)品、案例、技術(shù)、最佳技術(shù)實踐的分享；與上下游合作伙伴做兼容適配，聯(lián)合推廣實踐，引發(fā)越來越多的關(guān)注和使用；而后越來越多的用戶自發(fā)提 Issue，自發(fā)推薦給其他用戶。目前 StarRocks 上千個用戶里，有很多都是口口相傳吸引而來。
基于自身的深度社區(qū)經(jīng)驗，StarRocks Active Contributor、Apache Hudi Contributor、華米科技高級大數(shù)據(jù)工程師徐昱分享了對活躍度的看法：“技術(shù)本身是為業(yè)務(wù)服務(wù)的。在沒有破壞整體項目設(shè)計原則的基礎(chǔ)上，活躍度偏低的社區(qū)可以更積極地反饋用戶 Issue、投入一些合理的PR等，這都能有效提高社區(qū)開發(fā)者的貢獻熱情。”
開源大數(shù)據(jù)的“摩爾定律”，極速統(tǒng)一3.0時代來臨
報告發(fā)現(xiàn)，每隔 40 個月，熱力值會提升 1 倍，開源大數(shù)據(jù)完成一輪技術(shù)迭代升級，而且技術(shù)周期在加速縮短。在 8 年時間內(nèi)，發(fā)生了多輪熱力變遷，反映出各項技術(shù)的更新?lián)Q代趨勢。
“增速代表的是趨勢，說明它是在演繹未來。比如數(shù)據(jù)湖熱力值增速高，背后的趨勢是存儲一體化；云原生數(shù)據(jù)集成逐年翻倍，背后是云原生正在大規(guī)模重構(gòu)開源技術(shù)棧。” 趙恒表示，就像 StarRocks 所處的數(shù)據(jù)查詢與分析板塊，過去是流批一體，如今是湖倉一體，技術(shù)和產(chǎn)業(yè)的共同演進下，StarRocks 極速統(tǒng)一 3.0 的重點就是完善湖倉融合。
“極速統(tǒng)一”是 StarRocks 于 2020 年基于企業(yè)級數(shù)據(jù)分析市場需求提出的范式。StarRocks 認為，構(gòu)建新一代企業(yè)數(shù)據(jù)驅(qū)動體系的核心是：用一套統(tǒng)一的體系來滿足企業(yè)多種數(shù)據(jù)分析場景的需求，讓更多的企業(yè)成員能夠同時更快、更靈活、更實時地分析數(shù)據(jù)。
權(quán)威機構(gòu)的研究也印證了 StarRocks 的現(xiàn)實判斷。IDC 預(yù)測， 2024 年全球數(shù)倉的市場規(guī)模將達到 297 億美元，2019-2024 年的年復(fù)合增長率將達到12%； 2024 年，中國數(shù)倉市場的規(guī)模是 168.5 億元，中國大數(shù)據(jù)平臺軟件市場規(guī)?？傮w為 352.9 億元，中國分析型數(shù)據(jù)庫的整體市場將達到 521.4 億元，復(fù)合增長率為 27.7%。
面對技術(shù)周期和市場規(guī)模的雙重增速，為了給用戶提供更快、更靈活、更實時的分析體驗，StarRocks 在今年 9 月的年度社區(qū)峰會上發(fā)布極速統(tǒng)一 3.0，以使得用戶能夠在 StarRocks 上同時進行極速分析與極速數(shù)據(jù)湖分析。StarRocks 認為，極速數(shù)據(jù)湖分析就是為用戶提供性能堪比數(shù)據(jù)倉庫的數(shù)據(jù)湖分析。
“我們針對外表查詢性能做了優(yōu)化，支持查詢 Parquet 格式文件時延遲物化，提升小范圍過濾場景下的數(shù)據(jù)湖查詢性能。查詢數(shù)據(jù)湖時，支持通過合并小型 I/O 以降低存儲系統(tǒng)的訪問延遲，進而提升外表查詢性能。這些都是和社區(qū)用戶共同開發(fā)打磨出來的。”趙恒分享道。
關(guān)于 StarRocks
自 2020 年面世以來，專注于打造世界頂級的新一代極速全場景 MPP 數(shù)據(jù)庫 StarRocks，幫助企業(yè)建立“極速統(tǒng)一”的數(shù)據(jù)分析新范式，助力企業(yè)全面數(shù)字化經(jīng)營。當前已經(jīng)幫助騰訊、攜程、順豐、Airbnb 、滴滴、京東、眾安保險等超過 170 家大型用戶構(gòu)建了全新的數(shù)據(jù)分析能力，生產(chǎn)環(huán)境中穩(wěn)定運行的 StarRocks 服務(wù)器數(shù)目達數(shù)千臺。
2021 年 9 月，StarRocks 源代碼開放。從那時起，StarRocks 的全球社區(qū)飛速成長，截止2022年11月，StarRocks項目在GitHub已經(jīng)超過3600顆星，活躍項目貢獻者超過百位，社群用戶突破7000人，吸引幾十家國內(nèi)外行業(yè)頭部企業(yè)參與共建。
免責聲明：市場有風(fēng)險，選擇需謹慎！此文僅供參考，不作買賣依據(jù)。
