對于當前航空業(yè)面臨的海量實時業(yè)務數據監(jiān)測與分析挑戰(zhàn)，云智慧推出了一種基于業(yè)務系統(tǒng)日志數據，使用實時流式數據采集、大數據處理和人工智能技術實現海量日志數據智能化分析的解決方案，幫助IT運維人員實時、動態(tài)發(fā)現業(yè)務及IT系統(tǒng)存在的故障和異常，快速定位問題根源，保障航司業(yè)務持續(xù)、穩(wěn)定和高效運行。
挑戰(zhàn)與需求
隨著航空及上下游服務產業(yè)鏈的快速發(fā)展，系統(tǒng)多、架構復雜、新舊業(yè)務系統(tǒng)長期共存，持續(xù)產生的海量日志數據缺乏有效的處理手段，對IT運維和運營帶來極大的風險與挑戰(zhàn)。
以民航為例，旅客選擇飛機出行需要經歷訂票、值機、登機等一系列流程，每種業(yè)務處理都要跨越多個平臺的應用系統(tǒng)，每個系統(tǒng)都會實時輸出日志數據記錄當前應用運行情況，上述流程中任何一個應用的故障或者性能問題都會影響乘客出行。
如何實時了解業(yè)務的整體運行狀態(tài)，如何基于海量、實時的應用日志分析快速確定業(yè)務運行異常及潛在風險，如何根據業(yè)務量變化動態(tài)確定業(yè)務異常標準，如何針對當前業(yè)務中的異常情況及時預警，如何實現日志數據與其他運維監(jiān)控數據的融合分析和查詢，快速、準確定位業(yè)務及系統(tǒng)的故障，這都是日志智能分析平臺需要解決的難題。
云智慧日志智能分析解決方案及平臺架構
云智慧海量日志智能分析解決方案包括系統(tǒng)日志數據的實時采集、傳輸、集群化的消息隊列、預處理組件及實時流式大數據處理，完成日志數據的解析、轉換、脫敏、業(yè)務邏輯處理后，以結構化數據保存在分布式存儲系統(tǒng)中，然后調用算法集之中的一種或多種算法組合進行多場景的智能分析、告警及可視化展示，同時提供數據API滿足其它數據深入挖掘和探索需求。
海量日志智能化分析平臺架構如下圖所示：
方案特色和優(yōu)勢
云智慧日志智能化分析平臺解決方案為航空業(yè)務運行的連續(xù)性、用戶體驗的提升和業(yè)務的高效運維提供了可靠的技術支撐，此方案具有如下優(yōu)勢：
1、豐富的日志數據實時采集
• 支持自有高性能采集器，兼容主流開源數據采集器、靈活水平擴展的數據接入接口，快速接入流式數據;
• 超高的吞吐量和極小的響應時間，數據接入即可秒級查詢;
2、高性能、動態(tài)擴展數據處理平臺：內置數十種處理組件，支持可視化處理pipeline及單步處理結果驗證、處理結果采用列式存儲、線性存儲擴展。平臺具備實時流式數據處理能力，滿足航空業(yè)海量日志數據實時處理和智能分析的嚴格要求：
• 支持根據數據量進行水平伸縮，數據處理能力：40T/天，EPS：130萬/秒。
• 支持多個節(jié)點同時寫入，寫入速度：60萬條/秒/節(jié)點，同等條件下，寫入速度比Elasticsearch快10倍以上;
3、多場景智能分析平臺能力
• 算法平臺基于最新架構和人工智能算法，具備強大的智能化分析能力，為上層業(yè)務提供算法支撐和擴展。
• 內置多個智能分析場景，包括日志智能搜索及上下文分析、日志模式自動識別、基于算法的智能異常檢測、智能告警及指標告警對接、日志與應用性能監(jiān)控、基礎監(jiān)控數據的融合關聯分析等。
方案價值
基于海量日志數據的云智慧智能日志分析方案已經在航空、金融、能源等行業(yè)的智能運維項目中成功實施，實踐證明此平臺能給行業(yè)客戶帶來明顯的改善和提升：
1、實現離散日志的統(tǒng)一采集、處理、存儲、歸檔以及查詢，極大提升日志管理和分析的便捷性;
2、基于實時日志數據智能分析幫助業(yè)務人員及時掌控業(yè)務運行狀態(tài)，快速發(fā)現業(yè)務運行的異常并及時報警，減少業(yè)務中斷時間;
3、基于業(yè)務日志數據、應用性能監(jiān)控數據、基礎資源監(jiān)控數據的融合分析，實現復雜線上業(yè)務及系統(tǒng)問題原因的快速定位，提升復雜問題處理的效率。
客戶案例實戰(zhàn)
某航空企業(yè)的主營業(yè)務是面向航司及上下游服務商，提供業(yè)務處理、電子分銷、結算清算等服務，當出現性能緩慢或中斷時，現有監(jiān)控系統(tǒng)無法有效定位故障和異常。
針對此用戶需求，云智慧為該企業(yè)構建了基于海量實時業(yè)務日志數據的業(yè)務運維智能分析平臺，通過對業(yè)務數據的實時采集、處理、多維度智能分析，及時發(fā)現系統(tǒng)業(yè)務層面異常情況，增強該航空客戶業(yè)務預警、故障診斷與智能分析能力。
此平臺多次提前發(fā)現業(yè)務處理響應時間變長、業(yè)務指令交互錯誤率增加等故障先兆，基于智能分析算法對即將發(fā)生的異常作出預測和及時告警，從而有效避免故障的業(yè)務風險。
總結和展望
云智慧日志智能分析平臺基于AIOps策略，融合基礎資源監(jiān)控、應用性能監(jiān)控、用戶體驗監(jiān)控等多維度運維數據和人工智能分析算法，能夠及時發(fā)現業(yè)務運營中潛在風險，輔助管理人員作出準確判斷和決策，實現對業(yè)務運營健康及未來發(fā)展趨勢的持續(xù)洞察，增強企業(yè)核心競爭力。
（免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。 ）
