最近,由Platform Computing和SAS研究所共同贊助的一項華爾街科技調(diào)查顯示,各種規(guī)模和類型的企業(yè),無論其是買方還是賣方,都認為不斷增加的數(shù)據(jù)量是進行業(yè)務分析時面臨的最大挑戰(zhàn),因此,在未來的一年里,它們將優(yōu)先投資于能敏捷分析和強有力的處理技術(shù)。對內(nèi)部和外部數(shù)據(jù)進行預測分析將使得金融服務企業(yè)可以更好、更主動地管理和解決各種可能遇到的信貸和經(jīng)營風險、欺詐和聲譽風險、客戶忠誠度和盈利能力等問題。
數(shù)據(jù)的增長,尤其是諸如電子郵件這樣的非結(jié)構(gòu)化數(shù)據(jù)的增長為企業(yè)帶來了特殊的挑戰(zhàn),數(shù)據(jù)類型的多樣化和數(shù)據(jù)量的急劇增長使得傳統(tǒng)的關系型數(shù)據(jù)庫難以應對,因此,金融服務企業(yè)正在針對數(shù)據(jù)分析研究下一代數(shù)據(jù)處理技術(shù)。
對于處理“大數(shù)據(jù)”來說,最有發(fā)展前景的技術(shù)之一是Apache Hadoop軟件和MapReduce框架。然而,現(xiàn)有的Hadoop軟件還缺少金融服務企業(yè)大規(guī)模部署MapReduce應用時所需的企業(yè)級魯棒性。
在現(xiàn)有的MapReduce解決方案中,Platform公司的Platform Symphony MapReduce是最適合于投入生產(chǎn)環(huán)境中的產(chǎn)品,也是同類產(chǎn)品中的佼佼者。Platform Symphony MapReduce是一種面向MapReduce應用的企業(yè)級分布式運行時引擎,旨在為MapReduce應用提供可隨時應用到生產(chǎn)環(huán)境中的各種功能,諸如很高的資源可用性和可預測性、支持多種應用和文件系統(tǒng)、操作成熟度、SLA策略控制以及極高的資源利用率。Platform Symphony MapReduce以Platform Computing公司多年來在分布式工作負載調(diào)度和管理領域的豐富經(jīng)驗為基礎,其成熟的技術(shù)支持著《財富》500強中眾多公司要求極為苛刻的關鍵型任務的運行,為企業(yè)級的MapReduce應用提供了前所未有的分布式工作負載運行時服務。
Platform Symphony MapReduce是一款擁有增強版MapReduce框架的企業(yè)級產(chǎn)品,其功能與Apache Hadoop的功能完全兼容,解決了組織機構(gòu)在目前可用的ApacheHadoop環(huán)境里部署MapReduce應用所面臨的主要運行風險。
Platform Symphony MapReduce為企業(yè)級MapReduce應用提供了以下主要功能:
·策略驅(qū)動型工作負載調(diào)度器
Platform Symphony MapReduce策略驅(qū)動型工作負載調(diào)度器提供了10,000個優(yōu)先級,支持多個MapReduce作業(yè)并行運行。這種策略驅(qū)動型調(diào)度器的功能包括為搶先式作業(yè)提供資源優(yōu)先級,并對Map作業(yè)和Reducer作業(yè)進行公平調(diào)度,這一切都在作業(yè)層進行,以提供更好的細粒度和控制度。
·極高的資源可用性
Platform Symphony MapReduce在分布式運行時引擎中確保了正常運行時間——因為沒有單一故障點。它提供了作業(yè)跟蹤器/任務跟蹤器自動實現(xiàn)故障切換和作業(yè)恢復,無需重新啟動作業(yè)。Platform Symphony MapReduce為Hadoop文件系統(tǒng)提供了在Hadoop分布式文件系統(tǒng)里自動實現(xiàn)故障切換的功能,并提供了文件系統(tǒng)恢復和相關作業(yè)恢復功能。
·為應用開發(fā)和文件系統(tǒng)的選擇提供了開放式架構(gòu)
Platform Symphony MapReduce采用開放式架構(gòu),支持多種MapReduce應用,確保Hadoop應用與基于Java的MapReduce作業(yè)之間百分之百的兼容性。內(nèi)置在產(chǎn)品中的應用適配器(Application Adapter)技術(shù)提供了與Platform MapReduce無縫的應用集成,如此一來,采用Hadoop MapReduce技術(shù)(Java、Pig、Hive及其他技術(shù))構(gòu)建的作業(yè)無需改動編程邏輯,即可在Platform Symphony MapReduce上執(zhí)行。這種開放式架構(gòu)還提供了一種方法,可充分利用多種類型的文件系統(tǒng)和數(shù)據(jù)庫架構(gòu)。PlatformSymphonyMapReduce全面支持HDFS、GPFS及其他分布式文件系統(tǒng)類型和數(shù)據(jù)類型。此外,就MapReduce進程而言,輸入數(shù)據(jù)源文件系統(tǒng)的類型可以不同于輸出數(shù)據(jù)源文件系統(tǒng)。這便于支持許多應用,包括抽取、轉(zhuǎn)換和加載(ETL)工作流邏輯。
·支持同一集群上運行的多種MapReduce應用和混合類型的工作負載
Platform Symphony MapReduce為MapReduce工作負載支持多達300種不同的應用(作業(yè)跟蹤器),以及其他類型的分布式應用。這讓客戶可以充分利用現(xiàn)有資源和新資源,最大限度地利用IT基礎架構(gòu),同時只需使用單一管理界面。
·支持滾動升級
Platform Symphony MapReduce支持在同一集群上運行的多個版本的MapReduce應用,無需停止運行整個集群,就可以升級軟件。運行升級后應用的服務器可與其他節(jié)點上前一個版本的軟件產(chǎn)品共存,因而可以在一組服務器上逐步進行升級,無需讓整個集群停止運行。
·更出色的監(jiān)控和故障排除功能
Platform Symphony MapReduce可監(jiān)控處理器和內(nèi)存的使用量,并相應分配資源。它提供了從單臺服務器獲取日志數(shù)據(jù),并從單一界面來管理這些數(shù)據(jù)的功能。
·極強的數(shù)據(jù)親和力
Platform Symphony MapReduce擁有強大的數(shù)據(jù)親和力(data affinity)功能,通過在調(diào)度管理MapReduce工作負載時充分考慮數(shù)據(jù)位置,大幅提升應用性能和資源利用率。其數(shù)據(jù)親和力功能節(jié)省了MapReduce應用訪問大量數(shù)據(jù)所需的時間。通過加快文件訪問速度,它可以將總的應用性能提升400%。
Platform Symphony MapReduce目前已經(jīng)在多個關鍵的市場廣泛采用,其中包括金融服務、政府機構(gòu)、零售業(yè)和生命科學等行業(yè),為遍及各大行業(yè)的全球財富500強企業(yè)中要求最為苛刻、關鍵任務的分布式計算工作負載提供支持。
- 蜜度索驥:以跨模態(tài)檢索技術(shù)助力“企宣”向上生長
- 新能源車技術(shù)升級搶先看,ChatGPT崩了引熱議:未來科技如何破局?
- 自動駕駛行業(yè)大洗牌即將結(jié)束,小馬智行引領千臺車隊新篇章
- 微軟反壟斷風暴:Office捆綁銷售引質(zhì)疑,云服務策略遭調(diào)查,巨頭陷困境
- 顯卡漲價風暴來襲!NVIDIA/AMD緊急應對,全力加速生產(chǎn)運回本土
- 微軟新目標:用1000億美元打造實用通用AI,未來可期但需謹慎
- 亞馬遜云科技陳曉建預測:未來三年內(nèi),生成式AI將引發(fā)云市場新革命
- 林肯中國辟謠:財務調(diào)整非合并,業(yè)務不變穩(wěn)如泰山
- 字節(jié)跳動研發(fā)大手筆:2024年投入接近BAT之和,能否引領中國OpenAI新潮流?
- 跨境匯款平臺新舉措:螞蟻集團開發(fā)者服務限每日10萬美元,助力全球交易更便捷
- 我國充電樁建設提速,50%增長背后的高速服務區(qū)充電新篇章
免責聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內(nèi)容或斷開相關鏈接。