“云、數(shù)、智三位一體”難在哪?亞馬遜云科技讓難題有解

這幾年,關(guān)于“云(Cloud)、數(shù)(Bigdata)、智(Artificial Intelligence)”三位一體的說(shuō)法絡(luò)繹不絕,不管是ABC還是CBA,各大云服務(wù)商都希望充分利用云計(jì)算這個(gè)平臺(tái),將各種復(fù)雜的數(shù)據(jù)處理技術(shù)、機(jī)器學(xué)習(xí)技術(shù)等進(jìn)行融合,以方便用戶(hù)更好地洞察數(shù)據(jù)價(jià)值來(lái)驅(qū)動(dòng)數(shù)字化轉(zhuǎn)型。

但理想很豐滿(mǎn)、現(xiàn)實(shí)卻比較骨感。云數(shù)智的融合絕非易事。一方面,從組織架構(gòu)、人員能力、項(xiàng)目實(shí)施和工具支撐層面上,云數(shù)智融合的需求正在不斷增加;另一方面,很多用戶(hù)受制于歷史原因、真實(shí)環(huán)境、團(tuán)隊(duì)能力等因素,使得云數(shù)智融合普遍存在著很大的障礙。

如何打破這種局面?

近日,亞馬遜云科技推出“云、數(shù)、智三位一體”的大數(shù)據(jù)與機(jī)器學(xué)習(xí)融合服務(wù)組合,真正從用戶(hù)真實(shí)問(wèn)題與需求出發(fā),推進(jìn)大數(shù)據(jù)和機(jī)器學(xué)習(xí)的融合,加速企業(yè)機(jī)器學(xué)習(xí)規(guī)?;穆涞?。

三大挑戰(zhàn)不容回避

IDC預(yù)測(cè),到2022年,60%的中國(guó)1000強(qiáng)公司將在所有關(guān)鍵業(yè)務(wù)的橫向職能中擴(kuò)大使用AI/ML,如營(yíng)銷(xiāo)、法務(wù)、人力資源、采購(gòu)和供應(yīng)鏈、物流等。Gartner也預(yù)測(cè),到2024年,75%的企業(yè)將把機(jī)器學(xué)習(xí)技術(shù)用于生產(chǎn),為企業(yè)業(yè)務(wù)賦能。

隨著機(jī)器學(xué)習(xí)等AI技術(shù)在企業(yè)數(shù)字化轉(zhuǎn)型中的深入應(yīng)用,使得數(shù)據(jù)驅(qū)動(dòng)型的應(yīng)用場(chǎng)景開(kāi)始大量誕生。與此同時(shí),也帶來(lái)對(duì)于基礎(chǔ)數(shù)據(jù)服務(wù)的需求,甚至在對(duì)企業(yè)數(shù)字化轉(zhuǎn)型方方面面產(chǎn)生影響。亞馬遜云科技大中華區(qū)產(chǎn)品部總經(jīng)理陳曉建直言,企業(yè)要想重塑數(shù)據(jù)洞察,一定會(huì)將數(shù)據(jù)和只能進(jìn)行融合、統(tǒng)一,從而更加高效地圍繞數(shù)據(jù)構(gòu)建和實(shí)施項(xiàng)目,使得數(shù)據(jù)在兩者之間無(wú)縫流轉(zhuǎn),成員快速具備相關(guān)能力,推動(dòng)公司企業(yè)數(shù)字化轉(zhuǎn)型邁向新的高度。

如果從企業(yè)數(shù)字化轉(zhuǎn)型的真實(shí)需求分析,云數(shù)智融合已經(jīng)是迫在眉睫。首先,在組織架構(gòu)層面,分散在各個(gè)部門(mén)的機(jī)器學(xué)習(xí)實(shí)踐需要加速走向整合,并與大數(shù)據(jù)項(xiàng)目進(jìn)行統(tǒng)一協(xié)調(diào)、資源配置;其次,從人員能力層面看,大數(shù)據(jù)從業(yè)者具備承接機(jī)器學(xué)習(xí)相關(guān)項(xiàng)目的需求,機(jī)器學(xué)習(xí)從業(yè)者則需要掌大數(shù)據(jù)處理能力;第三,從項(xiàng)目實(shí)施層面看,企業(yè)越來(lái)越多數(shù)據(jù)驅(qū)動(dòng)型的業(yè)務(wù)場(chǎng)景需要融合大數(shù)據(jù)和機(jī)器學(xué)習(xí)兩者的能力;最后,需要面向大數(shù)據(jù)技術(shù)和機(jī)器學(xué)習(xí)技術(shù)構(gòu)建統(tǒng)一的開(kāi)發(fā)平臺(tái)和技術(shù)基礎(chǔ),或者對(duì)已有大數(shù)據(jù)平臺(tái)改造增加機(jī)器學(xué)習(xí)相關(guān)場(chǎng)景或者能力,或者重新構(gòu)建一個(gè)面向兩者的通用平臺(tái)。

在亞馬遜云科技看來(lái),在很多企業(yè)的真實(shí)情況中,企業(yè)的數(shù)據(jù)分析和機(jī)器學(xué)習(xí)融合卻絕非易事,普遍存在著三大問(wèn)題:

其一、由于企業(yè)數(shù)字化發(fā)展的歷史原因,大數(shù)據(jù)和機(jī)器學(xué)習(xí)通常存在不同的團(tuán)隊(duì),分而治之的方式使得數(shù)據(jù)和技術(shù)處于孤島狀態(tài),制約了敏捷迭代。其二、很多傳統(tǒng)企業(yè)往往是有好算法、卻不具備處理處理海量數(shù)據(jù)規(guī)模的能力,使得企業(yè)空有好算法,無(wú)法對(duì)算法進(jìn)行大量數(shù)據(jù)輸入迭代與優(yōu)化,從而使得算法模型效果與實(shí)際業(yè)務(wù)目標(biāo)相差甚遠(yuǎn)。其三、模型在企業(yè)的實(shí)驗(yàn)環(huán)節(jié)效果良好,一到真實(shí)業(yè)務(wù)場(chǎng)景中卻不盡人意,大部分企業(yè)的數(shù)據(jù)分析人員對(duì)業(yè)務(wù)參與度低,而真實(shí)的業(yè)務(wù)場(chǎng)景遠(yuǎn)比實(shí)驗(yàn)環(huán)境復(fù)雜。

“最開(kāi)始很少有用戶(hù)會(huì)考慮將大數(shù)據(jù)和機(jī)器學(xué)習(xí)放在一起,通常采取的是分開(kāi)獨(dú)立建設(shè)?!标悤越ㄑa(bǔ)充道,“以如今應(yīng)用廣泛的推薦系統(tǒng)為例,經(jīng)常會(huì)用到用戶(hù)屬性進(jìn)行大數(shù)據(jù)分析,通常是以文本的方式;但機(jī)器學(xué)習(xí)必須要轉(zhuǎn)成特定格式才行,一旦標(biāo)簽體系比較復(fù)雜,這又是機(jī)器學(xué)習(xí)團(tuán)隊(duì)所不具備的能力?!?/p>

面對(duì)上述普遍挑戰(zhàn),亞馬遜云科技的理念是從用戶(hù)需求出發(fā),反向打造出廣泛和深入的服務(wù),打通大數(shù)據(jù)和機(jī)器學(xué)習(xí)兩個(gè)領(lǐng)域的數(shù)據(jù)治理底層服務(wù),在云中構(gòu)建起統(tǒng)一的數(shù)據(jù)基礎(chǔ)底座,實(shí)現(xiàn)大數(shù)據(jù)與機(jī)器學(xué)習(xí)之間的互相賦能,為企業(yè)數(shù)字化轉(zhuǎn)提供新動(dòng)力。

如何做到雙劍合璧

不難看出,雖然市場(chǎng)上提出云數(shù)智三位一體的云服務(wù)商不在少數(shù),但是真正能夠在技術(shù)、產(chǎn)品層面實(shí)現(xiàn)有效融合的不錯(cuò)。因?yàn)楹芏鄮缀醵际钱a(chǎn)品表面上的集成,缺乏統(tǒng)一融合的數(shù)據(jù)治理底座,以及大數(shù)據(jù)與機(jī)器學(xué)習(xí)之間高效充分的雙向互動(dòng)。

亞馬遜云科技認(rèn)為,大數(shù)據(jù)與機(jī)器學(xué)習(xí)要想真正實(shí)現(xiàn)融合,必須具備三大核心能力:一、統(tǒng)一的數(shù)據(jù)共享,讓數(shù)據(jù)資產(chǎn)化、打破數(shù)據(jù)孤島;二、統(tǒng)一的權(quán)限管控,讓數(shù)據(jù)在不同的業(yè)務(wù)系統(tǒng)中高效流動(dòng);三、統(tǒng)一的開(kāi)發(fā)及流程編排,從端到端實(shí)現(xiàn)大數(shù)據(jù)和機(jī)器學(xué)習(xí)任務(wù)的融合,提升整體開(kāi)發(fā)效率。

亞馬遜云科技大中華區(qū)產(chǎn)品部總經(jīng)理陳曉建

“統(tǒng)一的治理底座可以實(shí)現(xiàn)如數(shù)據(jù)治理、數(shù)據(jù)權(quán)限、數(shù)據(jù)開(kāi)發(fā)、數(shù)據(jù)工作流、可視化等;而大數(shù)據(jù)與機(jī)器學(xué)習(xí)高效充分的雙向互動(dòng),則可以互為支撐、互為因果,形成正向循環(huán),最終為企業(yè)級(jí)發(fā)展提供新動(dòng)力?!标悤越ㄑa(bǔ)充道。

事實(shí)上,高效融合意味著云服務(wù)商需要將涉及到大數(shù)據(jù)、機(jī)器學(xué)習(xí)的大量產(chǎn)品、功能在技術(shù)、業(yè)務(wù)邏輯等層面實(shí)現(xiàn)深度的融合,對(duì)于云服務(wù)商的產(chǎn)品與技術(shù)能力極為考驗(yàn)。亞馬遜云科技大中華區(qū)產(chǎn)品部技術(shù)專(zhuān)家團(tuán)隊(duì)總監(jiān)王曉野介紹,亞馬遜云科技已經(jīng)有針對(duì)性的服務(wù)與工具,來(lái)實(shí)現(xiàn)大數(shù)據(jù)與機(jī)器學(xué)習(xí)的高效融合。

首先,亞馬遜云科技在云中構(gòu)建統(tǒng)一的數(shù)據(jù)治理底座,實(shí)現(xiàn)大數(shù)據(jù)和機(jī)器學(xué)習(xí)的數(shù)據(jù)共享,數(shù)據(jù)權(quán)限的統(tǒng)一管控,以及兩者統(tǒng)一的開(kāi)發(fā)和流程編排。

例如,Amazon Lake Formation諸多新功能實(shí)現(xiàn)了數(shù)據(jù)網(wǎng)格跨部門(mén)的數(shù)據(jù)資產(chǎn)共享和基于單元格的最細(xì)粒度的權(quán)限控制機(jī)制;Amazon SageMaker Studio則可以一站式地完成數(shù)據(jù)開(kāi)發(fā)、模型開(kāi)發(fā)及相關(guān)的生產(chǎn)任務(wù),該服務(wù)基于多種專(zhuān)門(mén)構(gòu)建的服務(wù),如交互式查詢(xún)服務(wù)Amazon Athena、云上大數(shù)據(jù)平臺(tái)Amazon Elastic MapReduce (Amazon EMR)、云數(shù)據(jù)倉(cāng)庫(kù)服務(wù)AmazonRedshift、Amazon SageMaker等,為大數(shù)據(jù)和機(jī)器學(xué)習(xí)提供統(tǒng)一的開(kāi)發(fā)平臺(tái)。

“統(tǒng)一的數(shù)據(jù)治理底座不僅讓大數(shù)據(jù)和機(jī)器學(xué)習(xí)高效融合,還減少大數(shù)據(jù)和機(jī)器學(xué)習(xí)重復(fù)構(gòu)建的工作,大幅降低成本?!蓖鯐砸氨硎镜馈?/p>

其次,亞馬遜云科技提供多種靈活可擴(kuò)展、專(zhuān)門(mén)構(gòu)建的大數(shù)據(jù)服務(wù),幫助客戶(hù)進(jìn)行復(fù)雜的數(shù)據(jù)加工及處理,應(yīng)對(duì)數(shù)據(jù)規(guī)模的動(dòng)態(tài)變化,優(yōu)化數(shù)據(jù)質(zhì)量。正所謂,巧婦難為無(wú)米之炊,機(jī)器學(xué)習(xí)項(xiàng)目成功的關(guān)鍵是對(duì)復(fù)雜的數(shù)據(jù)進(jìn)行加工和準(zhǔn)備。亞馬遜云科技以Amazon Redshift、Amazon Managed Streaming for Apache Kafka (AmazonMSK)和 Amazon EMR 為代表的無(wú)服務(wù)器分析能力,可以讓客戶(hù)無(wú)需配置、擴(kuò)展或管理底層基礎(chǔ)設(shè)施,即可輕松地處理任何規(guī)模的數(shù)據(jù),為機(jī)器學(xué)習(xí)項(xiàng)目提供兼具性能和成本效益的特征數(shù)據(jù)準(zhǔn)備。

“Amazon Athena能夠?qū)χС侄喾N開(kāi)源框架的大數(shù)據(jù)平臺(tái),包括Amazon EMR、高性能關(guān)系數(shù)據(jù)庫(kù)Amazon Aurora、NoSQL數(shù)據(jù)庫(kù)服務(wù)Amazon DynamoDB、Amazon Redshift等多種數(shù)據(jù)源,對(duì)這些數(shù)據(jù)源進(jìn)行聯(lián)邦查詢(xún),快速完成機(jī)器學(xué)習(xí)建模的數(shù)據(jù)加工?!蓖鯐砸把a(bǔ)充道。

最后,亞馬遜云科技讓數(shù)據(jù)分析技術(shù)更加低門(mén)檻,讓業(yè)務(wù)人員也有自住式訓(xùn)練機(jī)器學(xué)習(xí)模型進(jìn)行探索創(chuàng)新的能力。例如,在日常分析工具中集成機(jī)器學(xué)習(xí)模型預(yù)測(cè)能力,其中深度集成機(jī)器學(xué)習(xí)Amazon SageMaker模型預(yù)測(cè)能力的Amazon QuickSight 、在分析結(jié)果中添加基于模型預(yù)測(cè)的Amazon Athena ML,可幫助用戶(hù)使用熟悉的技術(shù),甚至通過(guò)自然語(yǔ)言來(lái)使用機(jī)器學(xué)習(xí)。

毫無(wú)疑問(wèn),亞馬遜云科技多年以來(lái)在幫助全球數(shù)十萬(wàn)的用戶(hù)通過(guò)利用大數(shù)據(jù)和AI技術(shù)的基礎(chǔ)上,深刻洞察到大數(shù)據(jù)與機(jī)器學(xué)習(xí)的融合所帶來(lái)的價(jià)值、作用,這對(duì)于更多行業(yè)用戶(hù)降低上云用數(shù)賦智的門(mén)檻大有裨益,也將成為眾多行業(yè)用戶(hù)深入開(kāi)展數(shù)字化和智能化轉(zhuǎn)型的關(guān)鍵。

“亞馬遜云科技還通過(guò)數(shù)據(jù)科學(xué)實(shí)驗(yàn)室、機(jī)器學(xué)習(xí)實(shí)驗(yàn)室和機(jī)器學(xué)習(xí)專(zhuān)業(yè)服務(wù)等一系列定制化措施,幫助企業(yè)在云上實(shí)現(xiàn)數(shù)智融合,重塑數(shù)據(jù)洞察?!标悤越ㄗ詈蟊硎镜?。

免責(zé)聲明:此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評(píng)論性文章,所有文字和圖片版權(quán)歸作者所有,且僅代表作者個(gè)人觀點(diǎn),與極客網(wǎng)無(wú)關(guān)。文章僅供讀者參考,并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。投訴郵箱:editor@fromgeek.com。

極客網(wǎng)企業(yè)會(huì)員

免責(zé)聲明:本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。

2022-05-07
“云、數(shù)、智三位一體”難在哪?亞馬遜云科技讓難題有解
亞馬遜云科技認(rèn)為,大數(shù)據(jù)與機(jī)器學(xué)習(xí)要想真正實(shí)現(xiàn)融合,必須具備三大核心能力:一、統(tǒng)一的數(shù)據(jù)共享,讓數(shù)據(jù)資產(chǎn)化、打破數(shù)據(jù)孤島;二、統(tǒng)一的權(quán)限管控,讓數(shù)據(jù)在不同的業(yè)務(wù)系統(tǒng)中高效流動(dòng);三、統(tǒng)一的開(kāi)發(fā)及流程編

長(zhǎng)按掃碼 閱讀全文