1、Apache ShardingSphere 論文被 ICED 收錄
近日，由 Apache ShardingSphere 社區(qū)、SphereEx 以及重慶大學(xué)計(jì)算機(jī)系團(tuán)隊(duì)共同撰寫的關(guān)于《Apache ShardingSphere：A Holistic and Pluggable Platform for Data Sharding》論文，被數(shù)據(jù)管理與數(shù)據(jù)庫(kù)國(guó)際頂級(jí)會(huì)議 ICDE 長(zhǎng)文錄用，成為業(yè)界首篇關(guān)于數(shù)據(jù)分片的頂級(jí)會(huì)議論文。
ICDE（The International Conference on Data Engineering）是中國(guó)計(jì)算機(jī)協(xié)會(huì)（CCF）推薦的 A 類國(guó)際學(xué)術(shù)會(huì)議，是數(shù)據(jù)庫(kù)和數(shù)據(jù)挖掘領(lǐng)域頂級(jí)學(xué)術(shù)會(huì)議之一，是電氣與電子工程師協(xié)會(huì)（IEEE）的旗艦會(huì)議，和 SIGMOD、VLDB 并稱數(shù)據(jù)管理與數(shù)據(jù)庫(kù)領(lǐng)域的三大國(guó)際頂尖學(xué)術(shù)會(huì)議。
此次被收錄，代表 Apache ShardingSphere 所倡導(dǎo) Database Plus 理念的工程化實(shí)踐，經(jīng)過(guò) 5 年多的研發(fā)及生產(chǎn)驗(yàn)證外，已經(jīng)得到理論層面的驗(yàn)證。其提出的基于數(shù)據(jù)庫(kù)之上的增強(qiáng)計(jì)算引擎，及內(nèi)置的多層可插拔架構(gòu)得到很好的印證。其研究成果獲全球頂會(huì)認(rèn)可，也代表著 Apache ShardingSphere 在數(shù)據(jù)庫(kù)底層核心基礎(chǔ)性技術(shù)研究方面持續(xù)獲得了創(chuàng)新性突破。該論文印證了在關(guān)系型數(shù)據(jù)庫(kù)仍然是在線事務(wù)處理的主力，但缺乏可擴(kuò)展性以及無(wú)法高效解決高并發(fā)問(wèn)題，以及 NewSQL 數(shù)據(jù)庫(kù)會(huì)帶來(lái)額外學(xué)習(xí)成本的背景下，Apache ShardingSphere 作為一款數(shù)據(jù)庫(kù)中間件來(lái)連接和管理眾多已有的數(shù)據(jù)庫(kù)，已經(jīng)成為一種十分友好且高效的方式。
2、驗(yàn)證 Apache ShardingSphere 的科學(xué)發(fā)展路徑
Apache ShardingSphere 從誕生至今，已經(jīng)走過(guò)了 6 年多時(shí)間。在旁觀者的視角看來(lái)，不論是項(xiàng)目本身或是開源社區(qū)，Apache ShardingSphere 都已經(jīng)相當(dāng)成功。
（1）我們?yōu)槭裁匆晟片F(xiàn)有的數(shù)據(jù)庫(kù)生態(tài)，而并非新建一款數(shù)據(jù)庫(kù)？
Apache ShardingSphere 旨在充分合理地在分布式的場(chǎng)景下利用關(guān)系型數(shù)據(jù)庫(kù)的計(jì)算和存儲(chǔ)能力，而并非實(shí)現(xiàn)一個(gè)全新的關(guān)系型數(shù)據(jù)庫(kù)。
時(shí)至今日，關(guān)系型數(shù)據(jù)庫(kù)作為支持完整事務(wù)的最優(yōu)選擇，其仍然是在線事務(wù)處理的主力。但由于關(guān)系型數(shù)據(jù)庫(kù)在設(shè)計(jì)初期是針對(duì)單臺(tái)機(jī)器的，并沒(méi)有考慮到流量、數(shù)據(jù)過(guò)大時(shí)的場(chǎng)景，因此可擴(kuò)展性欠佳并且無(wú)法高效解決高并發(fā)問(wèn)題。在此背景下 NewSQL 應(yīng)運(yùn)而生，New 就意味著是從零開始開發(fā)的數(shù)據(jù)庫(kù)。雖然適合現(xiàn)在的應(yīng)用場(chǎng)景，但其還沒(méi)有大量接受過(guò)真實(shí)生產(chǎn)環(huán)境的檢驗(yàn)，并且還會(huì)為企業(yè)的維護(hù)人員帶來(lái)額外學(xué)習(xí)成本。
在此背景下，Apache ShardingSphere 也一步步從工具發(fā)展到生態(tài)，立足點(diǎn)越來(lái)越高，影響范圍越來(lái)越廣，這樣的系統(tǒng)打破了關(guān)系型數(shù)據(jù)庫(kù)架構(gòu)的限制。目前，Apache ShardingSphere 已更新 5.1.0 正式版。伴隨著此次更新，Apache ShardingSphere 也正式將產(chǎn)品定位轉(zhuǎn)向以 Database Plus 為核心的全新領(lǐng)域，旨在構(gòu)建多模數(shù)據(jù)庫(kù)上層的標(biāo)準(zhǔn)和生態(tài)。除在數(shù)據(jù)庫(kù)上層提供強(qiáng)大的增量能力之外，Database Plus 架構(gòu)也為開發(fā)者和用戶開放了高度可擴(kuò)展的數(shù)據(jù)庫(kù)生態(tài)，幫助用戶站在數(shù)據(jù)庫(kù)的上層視角，更多關(guān)注數(shù)據(jù)庫(kù)之間的協(xié)作。
（2）Apache ShardingSphere 的多重特性
可插拔
Apache ShardingSphere 項(xiàng)目采用微內(nèi)核 + 三層可插拔模型，使內(nèi)核、功能組件以及生態(tài)對(duì)接完全能夠靈活的方式進(jìn)行插拔式擴(kuò)展， 開發(fā)者能夠像使用積木一樣定制屬于自己的獨(dú)特系統(tǒng)。在 Apache ShardingSphere 的框架下，所有功能均可通過(guò)積木化的形式組裝到 Apache ShardingSphere 體系中，且可以疊加使用。而在開發(fā)者面向標(biāo)準(zhǔn)的 SPI 編程中，內(nèi)核對(duì)增量功能是無(wú)感知的，所以 Apache ShardingSphere 在實(shí)際的應(yīng)用場(chǎng)景中可以靈活組合多個(gè)功能模塊，為用戶提供無(wú)限的想象空間。
此外，Apache ShardingSphere 是基于 SPI（Service Provider Interface, 一種 Java 語(yǔ)言中的服務(wù)發(fā)現(xiàn)機(jī)制）和多種設(shè)計(jì)模式設(shè)計(jì)的。因此，更多類型的數(shù)據(jù)庫(kù)、功能、分片算法都能夠非常方便地加入、移除以及自由組合。
其中，作為研發(fā)ShardingSphere的起源訴求，數(shù)據(jù)分片一直以來(lái)都是ShardingSphere的重要特性之一。對(duì)于許多用戶來(lái)說(shuō)，分片功能也是其使用ShardingSphere的初期原因之一。綜合來(lái)看，對(duì)關(guān)系型數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)分片操作，以水平數(shù)據(jù)分片的方式突破單臺(tái)機(jī)器存儲(chǔ)量的限制，是基于現(xiàn)有情況下更適合于企業(yè)的解決方案。
高性能
論文中提到，重慶大學(xué)與 SphereEx 在 Sysbench 和 TPCC 這兩個(gè)測(cè)試環(huán)境下進(jìn)行了多輪實(shí)驗(yàn)，驗(yàn)證了在相同的配置下 Apache ShardingSphere 的性能都優(yōu)于大多數(shù)分片系統(tǒng)和新架構(gòu)數(shù)據(jù)庫(kù)。詳細(xì)數(shù)據(jù)可參照下圖：
（Sysbench 測(cè)試結(jié)果）
（使用 TPCC 對(duì)不同分布式系統(tǒng)的比較)
結(jié) 語(yǔ)
Apache ShardingSphere 目前已經(jīng)在數(shù)百家海內(nèi)外企業(yè)的生產(chǎn)環(huán)境中得到應(yīng)用，涉及互聯(lián)網(wǎng)、游戲、銀行、保險(xiǎn)、證券、制造業(yè)、電信、新零售、政府等多個(gè)行業(yè)，已得到多個(gè)真實(shí)生產(chǎn)場(chǎng)景的驗(yàn)證。
隨著本篇論文被 ICDE 收錄，也標(biāo)志著學(xué)術(shù)界對(duì) Apache ShardingSphere 理念的的認(rèn)可，將會(huì)為數(shù)據(jù)庫(kù)行業(yè)發(fā)展、提升數(shù)據(jù)處理效能等方面提供了新的解決思路，也為關(guān)系型數(shù)據(jù)庫(kù)應(yīng)用分布式能力、可插拔架構(gòu)的普及、數(shù)據(jù)庫(kù)上層生態(tài)的建設(shè)奠定了堅(jiān)實(shí)的理論基礎(chǔ)。
通過(guò)本篇論文，希望 Apache ShardingSphere 在該領(lǐng)域下的探索可以啟發(fā)到其他數(shù)據(jù)庫(kù)領(lǐng)域的開發(fā)者與學(xué)者，共同繁榮數(shù)據(jù)庫(kù)生態(tài)，將數(shù)據(jù)庫(kù)打造為更加貼合業(yè)務(wù)場(chǎng)景的數(shù)據(jù)服務(wù)平臺(tái)而努力。
