近日,Elastic中國區總經理王剛Galen、首席架構師吳斌做客選型寶直播間,與CTO和CIO們分享企業如何實現PB級大數據實時處理。作為全球最流行的開源數據搜索與實時分析技術,Elastic數據平臺以靈活部署、平滑擴展、安全性強、適用場景廣的特點,在全文檢索、地理位置、全棧監控、機器學習等各類數據應用場景中大顯身手,受到互聯網企業、金融電信乃至政府機構的青睞。
Elastic Stack數據平臺由Logstash、Beats、ElasticSearch和Kibana四大核心產品組成,在數據攝取、存儲計算分析及數據可視化方面有著無可比擬的優勢。首先,Logstash和Beats作為底層核心引擎組成數據攝取平臺,可以將數據進行標準化,便于后續分析使用。其中,Beats作為輕量級的數據搬運工,集合了多種單一用途數據采集器,將數據發送給Logstash或ElasticSearch,其可擴展的框架及豐富的預置采集器將使工作事半功倍;Logstash 是開源的服務器端數據處理管道,可同時從多個來源采集、轉換數據,并將數據發送到存儲庫中。在存儲、計算和分析方面,ElasticSearch允許執行和合并多種類型的搜索,解決不斷涌現的各種用例,并具有極高的可用性及容錯性,充分保障集群安全。Kibana作為用戶界面的核心,集成了豐富的可視化工具、界面交互開發工具和管理工具,幫助開發人員將數據輕松分享給任何人,甚至還能通過機器學習來監測數據中的隱藏異常并追溯其來源。
以這四大核心產品為基礎構建的Elastic數據平臺實現了數據實時性、相關性及擴展性的完美結合,不僅可以處理各種數據,還能深入挖掘數據的內在關聯并迅速呈現,徹底解決企業的大數據實時處理難題。
目前,Elastic數據平臺已廣泛應用于各行各業,客戶包括eBay、Facebook、Uber、微軟、思科、大眾汽車、攜程、招商銀行,聯想及政府機構等。在開源產品的核心功能之上,Elastic數據平臺為用戶提供系統安全、數據告警、全棧監控、報表分析、圖查詢和機器學習六大付費商業化的功能。以數據告警為例,Elastic數據平臺提供了基于時序性數據的告警、集群全局監控和自動生成報表等功能,幫助用戶迅速完成分析并做出決策,實現最大程度止損。Elastic數據平臺的機器學習及圖查詢特性可以自動檢測當前數據中的異常情況,逐級追溯至底層數據,厘清數據關聯,以圖的形式展示給用戶。
基于這六大功能,Elastic數據平臺在搜索、地理位置、內部日志、數據指標、安全監控和APM應用性能管理等場景頗具亮點。作為一個強大的分布式搜索引擎,Elastic數據平臺提供了對多種語言的支持,可以實現模糊查詢、詞根查詢及聯想查詢,而不僅是全文快速檢索。如果用戶業務數據中存在地理位置信息,并疊加有其它多維數據,Elastic數據平臺將應用新型數據結構進行存儲,從而實現高效檢索。當用戶的手機端應用遇到線上高并發的問題時,Elastic數據平臺可以快速拉起多個協調節點應對數據高峰,且不必擔心性能問題。在面對企業內部日志時,Elastic數據平臺中的Beats數據收集器將進行統一管理,使用預置或度身定做的數據模型進行分析,通過Kibana呈獻給終端用戶。此外,以各類事件信息為基礎,Elastic數據平臺提供了目前市場上獨有的APM應用性能管理體系,可通過對全量數據的串聯分析輕松發現應用的性能瓶頸。
為幫助訂閱用戶充分利用這些強大特性,Elastic不僅可為套件內的商業特性提供指導,亦可提供開源部分的集群架構設計、索引分片設計和集群整體性能優化等服務。通過專家咨詢服務團隊,幫助客戶將Elastic數據平臺與自身業務快速融合。更提供了極具彈性的Elastic企業云服務,通過與微軟Azure/亞馬遜/阿里云等合作,為用戶業務的快速增長保駕護航。Elastic企業云可對資源全局進行整體管理,在瞬息之間完成單節點的縱向擴容或多個集群間的橫向擴容。不僅大大簡化了系統架構,提升了硬件利用率,滿足業務增長需求,更憑借完整的安全機制和可靠的性能隔離策略最大化利用資源,直接節省運營費用。
另外,Elastic還提供了專業工程師認證服務,以公開課程及私塾培訓等多種學習形式,幫助企業開發人員升級進階,化解實際應用中的各類難題,更增強自身的職場競爭力。
自2012年成立以來,Elastic以解決所有實時數據問題為目標,逐步構建出數據處理的完整生態,為用戶提供了強大的開源套件、豐富的拓展工具和專業的服務支持。2018年,Elastic成立中國獨資公司,貼身服務國內用戶。目前,Elastic已于今年10月6日上市,員工達1100余名,訂閱客戶超5000家,產品的全球下載量突破3.5億次。