數據庫和操作系統、芯片一樣,長期以來都被海外卡脖子。
如今,經過一批人和一批企業的努力,國產數據庫已開始了全面替代。但需要正視的現實是,甲骨文、IBM這些巨頭依然在金融等行業擁有著絕對的統治力。
文|芙蓉王
俄羅斯烏克蘭激戰正酣,國內網友的情緒撕裂得厲害。支持俄羅斯的和支持烏克蘭的,都互相覺得對方不可理喻。立場不同,不相為謀。
但當美國甲骨文等一批科技巨頭制裁了俄羅斯之后,讓不少人意識到,自主可控在21世紀對一個國家是多么重要。而甲骨文作為數據庫的標桿企業,它的動作看似與中國毫無關聯,卻也牽出人們對國產數據庫的擔憂。
2018年,中興通訊被美國列入實體清單后,《科技日報》總結出了中國35項被外國“卡脖子”的關鍵技術,數據庫位列其中。它和操作系統、中間件被稱為基礎軟件三大件。
數據庫通俗講就是放數據的房子,是IT系統必備的要素,里面可以想象成一張張的表,但難度在于海量的數據下如何快速存儲和檢索。
以前,數據庫行業有甲骨文、IBM和微軟三座大山。如今,盡管國內數據庫市場依然是歐美企業占有絕對優勢,但相比于操作系統和芯片,數據庫已經取得了不錯進展。
而每一項卡脖子的關鍵技術的突破,都有一批人和一批企業在不懈努力。按照時間線索,大體可分為四個階段:
1978-2000年海外壟斷:
美國三巨頭在全球攻城略地,90年代席卷中國;
2000-2009年國產萌芽:
第一批國產數據庫成立和艱難生長;
2009-2014年星星之火:
國內互聯網和IT巨頭涌入,“去IOE”浪潮興起,國產替代開啟;
2014至今百花齊放:
國產數據庫進入更大的政策和市場紅利期,百花齊放,集中效應初顯。
1
2008年,中國聯通被甲骨文(Oracle)懲罰了。作為數據庫龍頭,甲骨文要求聯通繳納6000萬元的罰款,才給它供應最新版的數據庫產品,理由是聯通多年來不交服務費。
數據庫行業的商業模式比較獨特,客戶不僅要付費買產品,每年還要交大概20%的服務費,以此獲得廠家的軟件系統維護和升級服務。當時,中國聯通幾乎所有與業務相關的系統都是架構在甲骨文數據庫上。
但那些年,聯通嫌貴,覺得沒有服務的時間甲骨文還要收費,太不合理。另外聯通也覺得自己的IT技術還可以,容災備份投入也很大,就沒支付服務費。兩家公司也因此一直在拉鋸式談判。
這件事有點像后來高通與魅族的糾紛。當年,魅族就覺得高通不應該收這么高的專利授權費,但高通不愿意自己的商業規則被打破,要么交錢,要么斷供。所以,那些年魅族一直用的是三星和聯發科的芯片。
但當時聯通在數據庫上幾乎沒得選。國內數據庫市場長期被甲骨文、IBM和微軟三巨頭壟斷。聯通不是沒有考慮換一個數據庫平臺,但如果遷移,帶來更多不可控的風險,誰都不敢這么干。
這么多年來,金融業和電信業都被拿捏得死死的。
聯通這事只是冰山一角。此前還有客戶就反饋,甲骨文的議價策略不透明,有錢的大企業就多要點,比如同樣一套產品,運營商買就要40萬元,小企業買可能十幾萬元就行,這些都是在他們的合理收費范圍內,還拿它沒辦法。
IBM也差不多。大型銀行大多依賴IBM,這也讓一向氣場強大的銀行在IBM面前也變得唯唯諾諾,任人宰割。賽迪顧問數據表明,2011年,中國關鍵應用大型機系統平均售價已經達到了美國的2.4倍。
甲骨文是第一家進入中國的世界軟件巨頭,上世紀80年代就把數據庫產品賣到了大陸,因為高薪高福利,人稱“西二旗養老院”。用微博CEO王高飛的話說,他畢業那些年,甲骨文是最好的去處,起薪比互聯網高一倍,而且每年還漲。
能讓人養老的企業,都有個特點:賺錢太容易。
軟件這種東西,幾乎沒有什么復制成本,利潤又高。20多年前,甲骨文老板埃里森一年就給自己發7億美元的工資和獎金,放到現在都足以冠絕全球,更別提還是購買力超強的20年前。這就是知識的力量,而知識需要在市場變現。
甲骨文在中國也趕上了好時代。當時中國電信系統正在推進“九七工程”,要求縣以上的郵電局,在1997年底前讓通信系統完全實現數據共享。
也在此時,電信資費和電話初裝費大幅度降價,市話開始普及,各地都在搶著安裝電話,郵電局門口排起長龍。1998年,全國新增固定電話用戶1800萬戶,“樓上樓下,電燈電話”的生活,從夢想照進了現實。
圖說:上世紀,電話裝機排長隊
數據量猛增的同時,對IT設施的需求也非常旺盛。之前電信系統的計費方式比較原始,還是脫機讀帶,靠人工整理,長途和國際業務,甚至需要2~3個月才能結算出來,引入先進的數據庫,并搭建起一套完整的服務系統,就成為了迫切的任務。
甲骨文就趁著這個機會,輕松拿下了東三省郵電管理局五期工程的大單,此后不斷滲透,成了中國電信行業最大的數據庫供應商。到了2008年,甲骨文已經拿下了全國18家省級以上的通信公司,包括中國移動和中國聯通總部。
2001年,在深圳市長的熱情邀請下,甲骨文把全亞洲第一家研發中心放在了深圳。次年,甲骨文又把全球技術大會首次弄到了北京,并在北京建立研發中心。
甲骨文給開拓中國市場的計劃起了一個響亮的名字——金色中國,給自己定的目標是“3年趕上韓國,5年超過日本”。不知道甲骨文董事長埃里森來之前是不是看了《馬可波羅游記》,覺得中國遍地黃金。
埃里森雖然不太喜歡中國,但對中國的這個判斷大體是準確的。此后20年時間,政府、金融、能源、電力等關鍵部門的數據庫生意基本被甲骨文、IBM和微軟所壟斷。中國市場也給這些軟件巨頭貢獻了龐大的營收和利潤。
2
1999年,國內第一家數據庫公司人大金倉成立,當時還是中國人民大學的老師集資53萬元籌辦的校企,牽頭人是人大教授、國內數據庫的領軍人物王珊。王珊是國內數據庫學科奠基人薩師煊的弟子,兩人曾合著出版了國內第一本數據庫教材《數據庫系統概論》,成為數據庫專業的必讀科目。
圖說:薩師煊,國內數據庫學科奠基人
雖然數據庫不是我們發明的東西,但國內在改革開放初期就引入了這門學科,并且早早意識到重要性,所以幾乎在每一個重大科研工程項目里,數據庫都是重點支持的對象。比如“863計劃”設立了“數據庫重大專項”,“核高基”重大科研專項中的基礎軟件也包括了數據庫。
但科研歸科研,運用到產業和市場,光靠政策行不通。上世紀90年代初,中軟總公司牽頭,研制了國產基礎軟件平臺COSA,其中就包括了數據庫系統。當時集結了幾家高校,花了4年時間。數據庫做出來了,但產業化程度不高,缺乏應用實踐,并沒有在市場上獲得成功。
所以,不難發現,最早一批成立的數據庫公司多與大學或者科研院所有關。除了人大金倉,武漢達夢誕生于華中科技大學,南大通用是南開大學的背景,神舟通用則是中國航天和浙江大學支持的項目。上面四家被稱為國產數據庫的“四朵金花”,通過辦校企的方式,把科研成果產業化,一是為了接受市場檢驗,產業報國,二也順帶賺點錢。
但這一批數據庫公司走的大多是甲骨文這種集中式路線,技術上沒有自己的東西。
想用魔法打敗魔法,在軟件行業行不通。關鍵是,你的魔法又不如別人深厚。無論是人才還是資本,根本沒辦法與有著數萬工程師的甲骨文和IBM競爭,所以差距越來越大。大家都很同情國產數據庫,但除了政府,很少客戶真正買單。
原401工程的總工程師陳咨兮曾說過一句很精辟的話:用國外軟件好比“抽大煙”,上了癮,戒不了;而用國產軟件好比吃中藥,開始苦,后來甜。這句話其實也反映了另一個事實:國外數據庫在產品質量上確實讓客戶放心,國產軟件多少差點意思。
所以說,愿意“抽大煙”的人還是比中吃藥的多。國產數據庫努力了十幾年,在能源、電信和政企有了些市場,但最有錢也最重要的大型銀行,依然在采買外國數據庫。
直到2012年,國產數據庫的“四朵金花”加在一起所占市場份額僅到4.47%。
美團的王興都觀察到了這種現象:“在美國,科技業的一半是to C的公司,他們占了一半的市值,to B的這些公司占了另外一半市值,比如說Oracle。所以其實to B還有很多很牛逼的公司,但是我們把這個來看中國的話,發現中國to C的公司都很牛逼,最大的是阿里,然后是騰訊、百度,to B的公司居然找不到,或者說有活著的,但是活得很慘。”
當時業內看著國產數據庫身板這么脆弱,一度有“造不如買”的說法,希望以市場換技術。當年達夢數據庫曾拜訪了近千家國內企業,感興趣者寥寥。
但現實證明,國外是靠不住的,核心技術全都拽在自己手里,系統都是黑盒子。甲骨文唯一一次是把Oracle10的版本拿出來,賣給了國內四家廠商,允許在它的代碼基礎上進行開發,但其實那是它的落后版本。這基本也是歐美企業的套路,好東西不分享,總是拿一些過時產品和技術來吊吊胃口。
2019年,甲骨文干脆裁掉了北京研發中心的500名員工。甲骨文走到這一天也不奇怪,一方面是甲骨文在中國的業績在走下坡路;另一方面是埃里森的傲慢和偏見,他之前說過一句很現實的話:“中國工程師絕不能超過美國工程師,因為中國是美國最大的競爭對手”。
小了,格局小了。
IBM在“棱鏡門”之后,也首次將旗下Informix數據庫技術授權給了南大通用。作為中國人民的老朋友,IBM看起來下了血本。但其實DB2才是IBM的重點和核心,最重要的東西依然被別人緊緊拽在手里。
所以說,無論是芯片、操作系統的國產化發展史,還是數據庫的國產化經歷,都在提醒著我們,核心東西沒有捷徑,市場換技術在絕大多數時候都是一廂情愿,你能依靠的永遠只有自己。
3
2021年6月,中國郵政儲蓄銀行公布了一則采購成交公告,價值高達1.45億元,投標人和中標人都只有一家:甲骨文。
估計是意識到會有爭議,郵儲銀行還專門解釋了原因:當前多個核心生產系統使用甲骨文數據庫進行數據存儲和處理,無法替換。換句話說,采購從一開始就只有甲骨文一個選項,非它莫屬。
這事在當時引起了廣泛討論,很多人不理解,去“IOE”和國產化喊了這么多年,嗓子都喊冒煙了,結果到頭來,甲骨文還是單一采購源。
所謂的IOE是IBM的小型機+Oracle的數據庫+EMC的高端存儲,這三家美國企業一直是IT系統的黃金搭檔,江湖人稱“IOE”,在過去一二十年幾乎沒有對手,賺得盆滿缽滿。
更讓人無奈的是,不僅是郵儲銀行,中國進出口銀行、中國農業銀行和烏魯木齊銀行等都在此前后采購了甲骨文的產品和服務。大家嘴上說不要,身體卻很誠實,一紙采購公告就扒了國產數據庫的底褲。
但有一說一,金融行業也有自己的難處。這么多年來,銀行等金融機構用的都是IBM和甲骨文那一套。巔峰時期,甲骨文擁有超過2.5萬家中國客戶和1500家合作伙伴,國內中大型銀行基本被它收入囊中。而IBM在國內的第一個大客戶就是中國工商銀行。
根據信通院的調研數據顯示,2018年,甲骨文在銀行各類數據庫的應用占比超過60%,遙遙領先。
原因在于,人家的數據庫不僅系統穩定、技術強,還全球接軌,顯得高大上。導致大家跟風似的選擇甲骨文或者IBM,不一定最合適,但不會出錯,反正也“不差錢”。別看銀行在儲戶面前是一副愛答不理的高冷御姐范兒,但在這些IT巨頭面前,還真的是弱勢群體。
那為何其他比如電信、電力這些基礎設施行業近幾年都陸續用了國產數據庫?比如2010年,中國聯通的綜合結算業務拋棄了甲骨文,選擇了神舟通用;2012年,國家電網調度中心放棄甲骨文,選擇了國產的達夢數據庫。
因為搞金融的最怕風險,銀行里放的都是一家人或一家家企業的資產,賬要是錯了,干脆回家種地。而IOE的IT架構被使用驗證了幾十年,非常成熟穩定。而國內數據庫底子薄,技術不太行,如果遷移,潛在的風險是他們無法承受的。比如業務架構和代碼的調整,復雜不可控;由于不同數據庫之間的語義語法上有差異,很難平滑遷移,不兼容的話風險也高。
金融行業向來倡導“無損運維”,宕機是非常嚴重的事故,得上報證監會。
2013年,宇宙行發生了一起嚴重的宕機事故。中國工商銀行在全國多地的柜臺、ATM、網銀業務無法正常使用,故障持續1個小時,波及北京、上海等多個城市。此事據說是由于交易量過大,CPU超載發生故障導致。事后,工行出了一份調查報告,工信部也專門組織專家進行了研討。
從那時起,金融及關鍵行業數據庫國產化被進一步重視。不過,金融行業更多還是在辦公系統和業務系統層面,大家試試水,而對核心交易系統的數據庫國產化還多少有點猶豫。
2020年,全國人大代表檀結慶說,中國幾千家銀行,核心交易系統幾乎都采用了甲骨文或IBM的數據庫產品。而這一年,中國數據庫軟件市場規模200億元,甲骨文等海外廠商市場占有率超過了80%。
新王換舊王,遠非一日之功。一下切換過來,造成巨大的成本浪費不說,既不實際也無必要。但國產替代的趨勢已經如潮水般涌來,這是毋庸置疑的。
電網作為基礎設施,在2008年,也是由于甲骨文太過強勢,國家電網總工程師決定破釜沉舟,尋找國產數據庫替代方案,幾家國產數據庫企業獲得了寶貴的測試機會。經歷了測試和小范圍試運行,國產數據庫在國家電網的調度業務中鋪開了。
萬事需要契機,外力也在推動著這一切。2013年,棱鏡門事件爆發,有著世界公民意識的斯諾登,揭露了美國利用電信巨頭在監控數百萬人的事實,惱羞成怒的美國政府一直想抓捕斯諾登。但這件事更大的意義在于,讓各國開始更加深刻地意識到,信息安全的緊迫性以及自主可控的必要性。
國產數據庫也在這個階段獲得了廣泛關注,融資的融資,給項目的給項目,國產數據庫開始迎來黃金歲月。以前都是產學研這條線,現在互聯網和IT巨頭也參與到國產數據庫的開發之中。
如今,一些中小銀行的核心交易系統也在用國產數據庫,比如南京銀行選擇了阿里的OceanBase,連云港銀行選擇了騰訊的TDSQL,梅州客商銀行選擇了達夢,貴陽銀行選擇了易鯨捷。而即便是五大行也開始轉向國產數據庫,盡管更多從非核心系統的數據庫開始,但歷史進程總算已經開始了。
4
2013年5月17日,阿里巴巴的最后一臺IBM小型機在支付寶下線。當時團隊還專門拉了個橫幅,合影留念。2個月后,淘寶廣告系統使用的甲骨文數據庫下線,這也是整個淘寶最后一個甲骨文數據庫。
阿里為這一天的到來堅持了4年。
阿里是國內第一個喊出“去IOE”的公司。想當年,甲骨文可是阿里巴巴的心頭好,阿里巴巴也是甲骨文亞太區最大的客戶,名副其實的金主爸爸。
但時過境遷,小甜甜變成牛夫人,各行各業掀起了“去IOE”的運動。“去IOE”也不是拍腦袋決定的,阿里提出的時候就很無奈,電商興起,淘寶的用戶數激增,產生的數據也呈指數級增長。甲骨文已經把單機性能做到了極致,穩定性和兼容性都非常強大,但系統極限也非常明顯,可擴展性不高,而且維護成本很高。
另外,甲骨文的系統都是黑盒子,不知道什么情況就出問題了,手冊上也查不到。而外企都有一個通病,本地化做得很糟糕,有問題經常要總部才能解決。阿里發現,當你把問題翻譯成英文發給對方時,1個月以后才能收到回復,效率實在感人。
出于自身業務需要和節省成本的考慮,最終阿里決定砍掉IT系統里的IOE架構。
2009年底,當時負責淘寶技術預算的劉振飛向王堅匯報,提出淘寶“2010年不會購買IBM小型機”。結果,那個被阿里人噴為“騙子”的王堅說:“既然2010年可以不買小型機了,為什么還要給自己留后路以后還可能購買呢?你要在給董事會看的PPT上明確寫一句:淘寶2010年起不再購買小型機了。”
圖說:阿里云的靈魂人物王堅差點被噴下課。
其實,去IOE也有個先后次序。最先去掉的是IBM的小型機,選擇X86的通用服務器。然后去掉的是EMC的存儲,采用分布式存儲。最后,去掉的是Oracle的數據庫,替代的是開源數據庫。
不難發現,數據庫是最難的一個環節。阿里做關系型數據庫的人叫陽振坤,北大數學系博士,師從王選,2010年加入阿里搞數據庫OceanBase的研發。在大廠做事的好處是,有大量場景和數據可以實踐。
OceanBase的第一位客戶是淘寶收藏夾,后來整個團隊并入了支付寶,支付寶拿出1%的交易庫存數據出來練手。2015年,支付寶的整個交易庫都換成了 OceanBase。兩年后,阿里云又發布了通用數據庫PolarDB,并且在第二年成功進入Gartner數據庫魔力象限,這是該榜單首次出現中國公司。
一般情況下,阿里巴巴有的,騰訊也有。而且這兩家的數據庫產品都是從自身需求延伸出來。
2007年,騰訊的社交和游戲業務蓬勃發展,騰訊的分布式數據庫系統也開始在內部孵化,這就是后來的TDSQL。時任騰訊CTO張志東提出一個要求:騰訊所有的賬戶都要像銀行一樣做到一筆都不差,一分都不差。
到了2014年,TDSQL已經支持了騰訊內部90%的計費業務。后來,騰訊數據庫也拓展到了銀行,先是在自己家的微眾銀行,后來覺得不夠有說服力,又拿下幾個城商行的核心數據庫系統。
華為的GaussDB數據庫(高斯數據庫)則是在2019年推出。當時有媒體報道說,GaussDB出貨量超3萬套。兩年后,openGauss正式對外開源。不過,華為做數據庫的時間其實不短了。2011年底,華為成立了2012實驗室,里面除了我們熟悉的海思芯片,也有高斯實驗室和GaussDB。
互聯網巨頭和IT巨頭的加入,不管是聲量還是實際成果都更加顯著。
數據庫的發展演進主要兩條路線:一條是走封閉的集中式路線,像甲骨文、IBM旗下DB2和微軟旗下的SQL Server都是屬于這類;另一條是開源路線,PostgreSQL和MySQL數據庫開源系統就是屬于這種。
一個主流的觀點是,在通用數據庫領域,不屬于任何組織的開源數據庫與自研數據庫將是未來的主流。無論是阿里騰訊,還是華為浪潮,選擇的都是在開源代碼上進行的研發。
這也是國產數據庫的機會,就像華為鴻蒙系統也有很大一部分借鑒了安卓開源代碼。但在云數據庫領域,終于迎來了趕超的機會。而且甲骨文的數據庫是集中式的,現在的云數據庫都搞分布式。相比于之前跟在別人屁股后面跑,現在的數據庫總算走了一條自己的路。
但不得不面對的一個現實是,集中式數據庫在中國依然是主流,國內存量至少600萬套,而這又是甲骨文和IBM的地盤。
不能消滅你,那就融入你。現在國產數據庫都把兼容甲骨文當成優勢來宣傳,比如阿里云2019年發布的數據庫版本,就號稱業內首個兼容甲骨文的云原生數據庫。2021年,騰訊云也發布了“全新Oracle兼容引擎”,號稱兼容度高達98%以上。
2021年,根據國家機關數據庫采購的成交公告,入圍企業除了依然強勢的甲骨文和微軟,其余的30家均為本土企業,國產數據庫份額占90%以上,而這正是一批批數據庫人努力的結果。
2018年,南大通用創始人崔維力突發心臟病去世,業內一片震驚和悲痛。他是早年回國創業的海歸精英,致力于數據庫的自主創新,但出師未捷身先死,甚至在去世前一天還在分享雷軍回答小米為什么而奮斗的文章。
如今,國產數據庫從之前的荒草叢生,現在已是百花齊放。
除了傳統數據庫廠商(人大金倉、達夢、神舟通用、南大通用等),也有大廠的“云數據庫”(阿里云、騰訊云、華為云等),還有新興數據庫,比如PingCAP的通用數據庫TiDB,濤思數據的時序數據庫TDengine、歐若數網的圖數據庫Nebula Graph。此外還有巨杉、中興、浪潮、易鯨捷等的數據庫產品,都登上了國內外流行度榜單。
數據庫的發展,總算讓人們看到了從歐美巨頭下突圍的可能。
很早之前,曾有人批評達夢創始人馮玉才,說企業做了十幾年,還這么小,不見長進。但馮玉才說,只要沒有死,就有活的希望。
來源| 數智前線
1、本文只代表作者個人觀點,不代表本站觀點,僅供大家學習參考;
2、本站屬于非營利性網站,如涉及版權和名譽問題,請及時與本站聯系,我們將及時做相應處理;
3、歡迎各位網友光臨閱覽,文明上網,依法守規,IP可查。
作者 相關信息
內容 相關信息
? 昆侖專題 ?
? 高端精神 ?
? 新征程 新任務 新前景 ?
? 習近平治國理政 理論與實踐 ?
? 我為中國夢獻一策 ?
? 國資國企改革 ?
? 雄安新區建設 ?
? 黨要管黨 從嚴治黨 ?
圖片新聞