高可用真是一絲細節(jié)都不得馬虎 。平時跑的好好的系統(tǒng) ， 在相應硬件出現(xiàn)故障時就會引發(fā)出潛在的Bug 。偏偏這些故障在應用層的表現(xiàn)稀奇古怪 ， 很難讓人聯(lián)想到是硬件出了問題 ， 特別是偶發(fā)性出現(xiàn)的問題更難排查 。今天 ， 筆者就給大家?guī)硪粋€存儲偶發(fā)性故障的排查過程 。Bug現(xiàn)場我們的積分應用由于量非常大 ， 所以需要進行分庫分表 ， 所以接入了我們的中間件 。一直穩(wěn)定運行 ， 但應用最近確經(jīng)常偶發(fā)連接建立不上的報錯 。報錯如下:GetConnectionTimeOutException而筆者中間件這邊收到的確是:NIOReactor - register err java.nio.channels.CloasedChannelException這樣的告警 。整個Bug現(xiàn)場如下圖所示:
文章插圖
偶發(fā)性錯誤之前出過類似register err這樣的零星報警 ， 最后原因是安全掃描 ， 并沒有對業(yè)務造成任何影響 。而這一次 ， 類似的報錯造成了業(yè)務的大量連接超時 。由于封網(wǎng) ， 線上中間件和應用已經(jīng)穩(wěn)定在線上跑了一個多月 ， 代碼層面沒有任何改動！突然出現(xiàn)的這個錯誤感覺是環(huán)境出現(xiàn)了某些問題 。而且由于線上的應用和中間件都是集群 ， 出問題時候都不是孤立的機器報錯 ， 沒道理所有機器都正好有問題 。如下圖所示:
文章插圖
開始排查是否網(wǎng)絡問題遇到這種連接超時 ， 筆者最自然的想法當然是網(wǎng)絡出了問題 。于是找網(wǎng)工進行排查 ， 在監(jiān)控里面發(fā)現(xiàn)網(wǎng)絡一直很穩(wěn)定 。而且如果是網(wǎng)絡出現(xiàn)問題 ， 同一網(wǎng)段的應用應該也都會報錯 才對 。事實上只有對應的應用和中間件才報錯 ， 其它的應用依舊穩(wěn)穩(wěn)當當 。又發(fā)生了兩次就在筆者覺得這個偶發(fā)性問題可能不會再出現(xiàn)的時候 ， 又開始抖了 。而且是一個下午連抖了兩次 。臉被打的啪啪的 ， 算了算了 ， 先重啟吧 。重啟中間件后 ， 以為能消停一會 ， 沒想到半個小時之內(nèi)又報了 ?？磥斫裉觳桓傻暨@個Bug是下不了班了!
文章插圖
開始排查日志事實上 ， 筆者一開始就發(fā)現(xiàn)中間件有調(diào)用后端數(shù)據(jù)庫慢SQL的現(xiàn)象 ， 由于比較偶發(fā) ， 所以將這個現(xiàn)象發(fā)給DBA之后就沒有繼續(xù)跟進,DBA也反饋SQL執(zhí)行沒有任何異常 。筆者開始認真分析日志之后 ， 發(fā)現(xiàn)一旦有 中間件的register err 必定會出現(xiàn)中間件調(diào)用后端數(shù)據(jù)庫的sql read timeout的報錯 。但這兩個報錯完全不是在一個線程里面的 ， 一個是處理前端的Reactor線程 ， 一個是處理后端SQL的Worker線程 ， 如下圖所示:
文章插圖
這兩個線程是互相獨立的 ， 代碼中并沒有發(fā)現(xiàn)任何機制能讓這兩個線程互相影響 。難道真是這些機器本身網(wǎng)絡出了問題？前端APP失敗 ， 后端調(diào)用DB超時 ， 怎么看都像網(wǎng)絡的問題！進一步進行排查既然有DB(數(shù)據(jù)庫)超時 ， 筆者就先看看調(diào)用哪個DB超時吧 ， 畢竟后面有一堆DB 。筆者突然發(fā)現(xiàn) ， 和之前的慢SQL一樣 ， 都是調(diào)用第二個數(shù)據(jù)庫超時 ， 而DBA那邊卻說SQL執(zhí)行沒有任何異常 ，
文章插圖
筆者感覺明顯SQL執(zhí)行有問題 ， 只不過DBA是采樣而且將采樣耗時平均的 ， 偶爾的幾筆耗時并不會在整體SQL的耗時里面有所體現(xiàn) 。
以上關于本文的內(nèi)容，僅作參考！溫馨提示：如遇健康、疾病相關的問題，請您及時就醫(yī)或請專業(yè)人士給予相關指導!
「愛刨根生活網(wǎng)」www.malaban59.cn小編還為您精選了以下內(nèi)容，希望對您有所幫助：- 軟件開發(fā)培訓學校:5個讓人窒息的爛代碼，你看完都忍不了
- 商家正規(guī)放單講解 手機兼職平臺正規(guī)APP有哪些
- 夏季情緒變差 解火氣方法有哪些？
- 夏季炎熱運動各種出汗解決方法
- 2019淘寶企業(yè)店鋪開店流程 企業(yè)淘寶開店流程圖解
- 負載均衡之DNS域名解析 一個ip地址可以對應多個域名對嗎
- 收藏好了 u盤讀不出來怎么辦？四步教你輕松解決
- 軟件開發(fā)培訓學校:怎么選擇專業(yè)正規(guī)的Unity3d游戲開發(fā)培訓學校？
- 軟件開發(fā)培訓學校:計算機培訓學校主要學什么？
- 這輩子與素顏和解不了是什么梗 這輩子與素顏和解不了是什么意思