文章插圖
以下是淘寶云梯分布式計算平臺的整體架構(gòu) ， 由數(shù)據(jù)分析網(wǎng)整理自網(wǎng)絡(luò)資料 ， 供大家學習參考 。
一、系統(tǒng)架構(gòu)
1、系統(tǒng)整體架構(gòu)
數(shù)據(jù)流向從上到下 ， 從各數(shù)據(jù)源、Gateway、云梯、到各應用場景 。
2、淘寶云計算介紹
主要由數(shù)據(jù)源、數(shù)據(jù)平臺、數(shù)據(jù)集群三部分構(gòu)成
二、數(shù)據(jù)同步方案
1、數(shù)據(jù)同步方案——概覽
2、數(shù)據(jù)同步方案—— 實時同步VS非實時同步
3、數(shù)據(jù)同步方案—— TimeTunnel2 介紹
TimeTunnel是一個實時數(shù)據(jù)傳輸平臺 ， TimeTunnel的主要功能就是實時完成海量數(shù)據(jù)的交換 ， 因此TimeTunnel的業(yè)務(wù)邏輯主 要也就有兩個：一個是發(fā)布數(shù)據(jù) ， 將數(shù)據(jù)發(fā)送到TimeTunnel；一個是訂閱數(shù)據(jù) ， 從TimeTunnel讀取自己關(guān)心的數(shù)據(jù) 。
TimeTunnel作為一個實時數(shù)據(jù)傳輸平臺具有以下特點：
高效性：單點1k數(shù)據(jù)可以到4萬TPS高可靠性：M-S模式時保證數(shù)據(jù)不丟失
高可用性：單點故障不影響整個集群服務(wù)
順序性：當沒有故障發(fā)生時 ， 保證所有傳輸都
是順序的 ， 或者說一次連接內(nèi)的傳輸是順序的 。
4、數(shù)據(jù)同步方案—— Dbsync 介紹
dbsync是一個用于同步服務(wù)庫數(shù)據(jù)到HDFS的產(chǎn)品 ， 通過分析數(shù)據(jù)庫服務(wù)器的log文件來提取相應的數(shù)據(jù)庫動作 ， 進而達到數(shù)據(jù)庫到HADOOP的數(shù)據(jù)同步 ， 供相關(guān)部門提取增量數(shù)據(jù) 。
Dbsync實時同步性能
記錄大小 速度
2K 4M/s
9K 10M/s
應用場景
數(shù)據(jù)量 800G
00:10分備庫打開：
非實時同步完成時間0:55
實時同步完成時間0:25
5、數(shù)據(jù)同步方案—— DataX 介紹
DataX是一個在異構(gòu)的數(shù)據(jù)容器之間交換數(shù)據(jù)的工具 。用于在任意的數(shù)據(jù)處理系統(tǒng)(RDBMS/NoSql/FS）之間交換數(shù)據(jù) 。
Framework+plugin ， Framework處理了高速數(shù)據(jù)交換的大部分問題 ， 插件提供對數(shù)據(jù)處理系統(tǒng)的訪問 。
運行模式 ：stand-alone / on hadoop
Webui + cui 基于元數(shù)據(jù)的高效配置,例子:表A sharding為32個庫 ， 1024張表 ， 配置時間<1 min
DataX部分性能數(shù)據(jù):
三、調(diào)度系統(tǒng)
1、調(diào)度系統(tǒng)——生產(chǎn)率銀彈
2、調(diào)度系統(tǒng)——模塊/子系統(tǒng)
3、調(diào)度系統(tǒng)——任務(wù)觸發(fā)方式
Flow control/Data Trigger
Time Trigger
4、調(diào)度系統(tǒng)——調(diào)度方式
5、調(diào)度系統(tǒng)——什么是Gateway?
Gateway:參與天網(wǎng)調(diào)度的資源
? 功能:
– 數(shù)據(jù)同步(dataX, DBSync,TimeTunnel2…)
– 數(shù)據(jù)上傳/下載(hadoop fs –put/get/getmerge)
– 日志收集
– Hive sql語句提交運行
– MapReduce程序提交運行
– 集群間數(shù)據(jù)同步(hadoop distcp)
6、調(diào)度系統(tǒng)—— Gateway規(guī)模及規(guī)劃
用于生產(chǎn)的Gateway約30臺 ， 由天網(wǎng)調(diào)度統(tǒng)一進行任務(wù)
分發(fā) ， 并行控制 。
數(shù)據(jù)同步(dataX, DBSync,TimeTunnel2…)
數(shù)據(jù)上傳/下載(hadoop fs –put/get/getmerge)
日志收集
Hive sql語句提交運行
MapReduce程序提交運行
集群間數(shù)據(jù)同步(hadoop distcp)
7、調(diào)度系統(tǒng)——gateway standardization
8、調(diào)度系統(tǒng)——Dynamic LB實現(xiàn)
9、調(diào)度系統(tǒng)——優(yōu)先級策略(實現(xiàn)）
10、調(diào)度系統(tǒng)——優(yōu)先級策略(意義)
11、調(diào)度系統(tǒng)——監(jiān)控全景
四、元數(shù)據(jù)應用
面對上面的問題 ， 靠經(jīng)驗豐富的架構(gòu)師？還是靠智能的分析系統(tǒng)？
1、挖掘元數(shù)據(jù)金礦
2、基于元數(shù)據(jù)的開發(fā)平臺

以上關(guān)于本文的內(nèi)容，僅作參考！溫馨提示：如遇健康、疾病相關(guān)的問題，請您及時就醫(yī)或請專業(yè)人士給予相關(guān)指導!

「愛刨根生活網(wǎng)」www.malaban59.cn小編還為您精選了以下內(nèi)容，希望對您有所幫助：

• 大話西游3藏寶閣交易平臺手續(xù)費高嗎？
• 如何打印報關(guān)單？ 報關(guān)單查詢平臺流程
• h5平臺搭建步驟 h5建站系統(tǒng)源碼
• 用于家人生病經(jīng)濟困難的籌款平臺有哪些？ 大病籌款哪個平臺好
• 恒指期貨怎么開戶，怎么區(qū)分恒指期貨平臺正不正規(guī)？ 開戶期貨恒指
• 國內(nèi)知名直播平臺有哪些 國內(nèi)最火的直播平臺
• 如何投訴網(wǎng)絡(luò)貸款公司？ 網(wǎng)貸投訴找哪個部門
• 什么平臺可以聊天賺錢 聊天賺錢軟件哪個賺錢多又安全
• 聊天賺錢平臺哪個最好 安全的聊天賺錢軟件哪個賺錢多
• 期貨公司分類評級排名 全球期貨交易平臺排名