萬億級！騰訊大數據組件TubeMQ正式開源

　　近日，一年一度的國際開源頂會 ApacheCon 2019 在美國舉辦，正值 Apache 軟件基金會(Apache Software Foundation，ASF)成立 20 周年之際，騰訊作為本次大會主會受邀的唯一中國企業，發表 ApacheCon 的 keynotes 演講。

　　會上，騰訊開源管理委員會委員、騰訊開源聯盟主席、Apache 軟件基金會 Member 堵俊平向全球開源生態伙伴介紹了騰訊開源路線圖，宣布騰訊萬億級分布式消息中間件 TubeMQ 正式對外開源，并計劃捐贈給 Apache 基金會。這將是繼加入 Apache 基金會白金會員后，騰訊與 Apache 基金會又一次緊密攜手。

　　“騰訊和 Apache 基金會在開源事業上擁有同樣的初衷和目標”，堵俊平表示：“基于 Apache 之道，我們總結出騰訊開源‘三步走’的路線圖，并建立起騰訊特色的開源管理機制，這激發了近年來多個優質自主開源項目的快速涌現。如今，騰訊也在不斷加碼資源投入，積極參與社區建設和項目貢獻，希望在國際開源舞臺上貢獻更多的智慧與創造力。”

騰訊開源路線圖

　　受益“Apache 之道”，騰訊特色開源管理機制形成

　　近年來，騰訊在開源上的步伐不斷加快。截至 9 月，騰訊自主開源項目已達 84 個，Star 數超過 24 萬，重點關注領域包括 IaaS、容器與云原生、數據庫、大數據與 AI、中間件、IoT/邊緣計算、小程序生態等。在不斷貢獻優質項目之余，騰訊也積極貢獻開源社區，除了加入 Apache 基金會、Linux 基金會、LFAI 基金會、OpenStack 基金會、MariaDB 基金會多個頂尖開源基金會的白金會員外，騰訊眾多業務團隊和技術人員也積極參與到開源貢獻中，已廣泛參與數十個社區和項目的建設。

　　騰訊云也在眾多業務場景下幫助開源技術落地，通過創新回饋開源。典型的包括 Linux、KVM、MySQL、PostgreSQL、Kubernetes、Hadoop、Spark、TensorFlow 等等。以 KVM 為例，憑借向 KVM 貢獻的 patch 數，騰訊云已經連續兩年登上 KVM 開源貢獻排行榜，成為國內貢獻度最高的公有云廠商。

　　騰訊開源的快速發展背后，離不開從“Apache 之道”脫胎而來的騰訊特色開源管理機制。

　　“Apache 之道”是 Apache 基金會開源方法論的精華所在，其中最重要的原則之一是：社區重于代碼。這意味著對開源而言，最重要的是人而不是代碼，開源組織需要吸引最優秀的人來加入，一起推動開源的成功?；诖蠖鄶等说墓沧R通常比投票的權利和流程更為重要，重大事項和決定需要通過開放透明的討論來達成等原則也具有相當的普適性。

　　堵俊平表示，這些原則對騰訊的開源工作提供了很好的指引方向。騰訊從“Apache 之道”的開源方法論中汲取了寶貴經驗，成立了騰訊開源管理辦公室，形成了自上而下傳遞騰訊開源策略、自下而上落地開源技術生態的開源管理機制。在開展開源工作時，騰訊既融合了“Apache 之道”的精髓，幫助內部的自研項目“走出去”;同時結合騰訊研發文化，有效提升開源治理與管理效率，抱以尊重和共享的精神，幫助更多的外部開發者和開源項目“走進來”。

　　來自真實生產環境，騰訊自研 TubeMQ 正式發布

　　TubeMQ 是此次騰訊在 ApacheCon 上最新發布的自研開源項目。它的原型是騰訊數據平臺部在 2013 年自研的分布式消息中間件系統(MQ)，專注于大數據場景下海量數據的高性能存儲和傳輸，長期服務微信支付、騰訊視頻、廣點通等產品。

TubeMQ 項目介紹

　　作為中國最大的互聯網公司之一，騰訊每天要處理規模驚人的數據。為支持海量業務，騰訊組建了包含存儲層、數據管理層及分析層 3 層結構的數據湖協同方案，向下管理多種數據引擎，向上支撐多種數據應用需求。TubeMQ 就是來源于騰訊數據湖存儲層的消息中間件系統，支撐著海量數據的流入和運轉。

騰訊數據湖方案，其絕大多數組件由 Apache 的開源項目組成

　　經過近 7 年、萬億規模的海量數據沉淀，TubeMQ 目前日均接入量超過 25 萬億條消息。較之于其他的開源 MQ 組件，TubeMQ 長期應用于真實生產環境中，在穩定性、性能和成本方面都有著核心優勢。

　　據了解，Apache 基金會目前已為超過 350 個開源項目提供支持，尤其在大數據與云計算領域，擁有眾多明星開源項目。

　　堵俊平介紹到，作為 Apache 基金會在中國的首家白金贊助商，騰訊計劃將 TubeMQ 捐贈給 Apache 基金會，目前已經啟動了相關的孵化流程。期望以 TubeMQ 為重要的里程碑，在大數據領域持續貢獻優秀的項目來反哺開源社區。
　　（邯鄲網站建設）