這幾年，關于“云(Cloud)、數(shù)（Bigdata）、智（Artificial Intelligence）”三位一體的說法絡繹不絕，不管是ABC還是CBA，各大云服務商都希望充分利用云計算這個平臺，將各種復雜的數(shù)據(jù)處理技術、機器學習技術等進行融合，以方便用戶更好地洞察數(shù)據(jù)價值來驅動數(shù)字化轉型。
但理想很豐滿、現(xiàn)實卻比較骨感。云數(shù)智的融合絕非易事。一方面，從組織架構、人員能力、項目實施和工具支撐層面上，云數(shù)智融合的需求正在不斷增加；另一方面，很多用戶受制于歷史原因、真實環(huán)境、團隊能力等因素，使得云數(shù)智融合普遍存在著很大的障礙。
如何打破這種局面？
近日，亞馬遜云科技推出“云、數(shù)、智三位一體”的大數(shù)據(jù)與機器學習融合服務組合，真正從用戶真實問題與需求出發(fā)，推進大數(shù)據(jù)和機器學習的融合，加速企業(yè)機器學習規(guī)模化的落地。
三大挑戰(zhàn)不容回避
IDC預測，到2022年，60%的中國1000強公司將在所有關鍵業(yè)務的橫向職能中擴大使用AI/ML，如營銷、法務、人力資源、采購和供應鏈、物流等。Gartner也預測，到2024年，75%的企業(yè)將把機器學習技術用于生產，為企業(yè)業(yè)務賦能。
隨著機器學習等AI技術在企業(yè)數(shù)字化轉型中的深入應用，使得數(shù)據(jù)驅動型的應用場景開始大量誕生。與此同時，也帶來對于基礎數(shù)據(jù)服務的需求，甚至在對企業(yè)數(shù)字化轉型方方面面產生影響。亞馬遜云科技大中華區(qū)產品部總經(jīng)理陳曉建直言，企業(yè)要想重塑數(shù)據(jù)洞察，一定會將數(shù)據(jù)和只能進行融合、統(tǒng)一，從而更加高效地圍繞數(shù)據(jù)構建和實施項目，使得數(shù)據(jù)在兩者之間無縫流轉，成員快速具備相關能力，推動公司企業(yè)數(shù)字化轉型邁向新的高度。
如果從企業(yè)數(shù)字化轉型的真實需求分析，云數(shù)智融合已經(jīng)是迫在眉睫。首先，在組織架構層面，分散在各個部門的機器學習實踐需要加速走向整合，并與大數(shù)據(jù)項目進行統(tǒng)一協(xié)調、資源配置；其次，從人員能力層面看，大數(shù)據(jù)從業(yè)者具備承接機器學習相關項目的需求，機器學習從業(yè)者則需要掌大數(shù)據(jù)處理能力；第三，從項目實施層面看，企業(yè)越來越多數(shù)據(jù)驅動型的業(yè)務場景需要融合大數(shù)據(jù)和機器學習兩者的能力；最后，需要面向大數(shù)據(jù)技術和機器學習技術構建統(tǒng)一的開發(fā)平臺和技術基礎，或者對已有大數(shù)據(jù)平臺改造增加機器學習相關場景或者能力，或者重新構建一個面向兩者的通用平臺。
在亞馬遜云科技看來，在很多企業(yè)的真實情況中，企業(yè)的數(shù)據(jù)分析和機器學習融合卻絕非易事，普遍存在著三大問題：
其一、由于企業(yè)數(shù)字化發(fā)展的歷史原因，大數(shù)據(jù)和機器學習通常存在不同的團隊，分而治之的方式使得數(shù)據(jù)和技術處于孤島狀態(tài)，制約了敏捷迭代。其二、很多傳統(tǒng)企業(yè)往往是有好算法、卻不具備處理處理海量數(shù)據(jù)規(guī)模的能力，使得企業(yè)空有好算法，無法對算法進行大量數(shù)據(jù)輸入迭代與優(yōu)化，從而使得算法模型效果與實際業(yè)務目標相差甚遠。其三、模型在企業(yè)的實驗環(huán)節(jié)效果良好，一到真實業(yè)務場景中卻不盡人意，大部分企業(yè)的數(shù)據(jù)分析人員對業(yè)務參與度低，而真實的業(yè)務場景遠比實驗環(huán)境復雜。“最開始很少有用戶會考慮將大數(shù)據(jù)和機器學習放在一起，通常采取的是分開獨立建設?！标悤越ㄑa充道，“以如今應用廣泛的推薦系統(tǒng)為例，經(jīng)常會用到用戶屬性進行大數(shù)據(jù)分析，通常是以文本的方式；但機器學習必須要轉成特定格式才行，一旦標簽體系比較復雜，這又是機器學習團隊所不具備的能力?！?/p>
面對上述普遍挑戰(zhàn)，亞馬遜云科技的理念是從用戶需求出發(fā)，反向打造出廣泛和深入的服務，打通大數(shù)據(jù)和機器學習兩個領域的數(shù)據(jù)治理底層服務，在云中構建起統(tǒng)一的數(shù)據(jù)基礎底座，實現(xiàn)大數(shù)據(jù)與機器學習之間的互相賦能，為企業(yè)數(shù)字化轉提供新動力。
如何做到雙劍合璧
不難看出，雖然市場上提出云數(shù)智三位一體的云服務商不在少數(shù)，但是真正能夠在技術、產品層面實現(xiàn)有效融合的不錯。因為很多幾乎都是產品表面上的集成，缺乏統(tǒng)一融合的數(shù)據(jù)治理底座，以及大數(shù)據(jù)與機器學習之間高效充分的雙向互動。
亞馬遜云科技認為，大數(shù)據(jù)與機器學習要想真正實現(xiàn)融合，必須具備三大核心能力：一、統(tǒng)一的數(shù)據(jù)共享，讓數(shù)據(jù)資產化、打破數(shù)據(jù)孤島；二、統(tǒng)一的權限管控，讓數(shù)據(jù)在不同的業(yè)務系統(tǒng)中高效流動；三、統(tǒng)一的開發(fā)及流程編排，從端到端實現(xiàn)大數(shù)據(jù)和機器學習任務的融合，提升整體開發(fā)效率。
亞馬遜云科技大中華區(qū)產品部總經(jīng)理陳曉建
“統(tǒng)一的治理底座可以實現(xiàn)如數(shù)據(jù)治理、數(shù)據(jù)權限、數(shù)據(jù)開發(fā)、數(shù)據(jù)工作流、可視化等；而大數(shù)據(jù)與機器學習高效充分的雙向互動，則可以互為支撐、互為因果，形成正向循環(huán)，最終為企業(yè)級發(fā)展提供新動力?！标悤越ㄑa充道。
事實上，高效融合意味著云服務商需要將涉及到大數(shù)據(jù)、機器學習的大量產品、功能在技術、業(yè)務邏輯等層面實現(xiàn)深度的融合，對于云服務商的產品與技術能力極為考驗。亞馬遜云科技大中華區(qū)產品部技術專家團隊總監(jiān)王曉野介紹，亞馬遜云科技已經(jīng)有針對性的服務與工具，來實現(xiàn)大數(shù)據(jù)與機器學習的高效融合。
首先，亞馬遜云科技在云中構建統(tǒng)一的數(shù)據(jù)治理底座，實現(xiàn)大數(shù)據(jù)和機器學習的數(shù)據(jù)共享，數(shù)據(jù)權限的統(tǒng)一管控，以及兩者統(tǒng)一的開發(fā)和流程編排。
例如，Amazon Lake Formation諸多新功能實現(xiàn)了數(shù)據(jù)網(wǎng)格跨部門的數(shù)據(jù)資產共享和基于單元格的最細粒度的權限控制機制；Amazon SageMaker Studio則可以一站式地完成數(shù)據(jù)開發(fā)、模型開發(fā)及相關的生產任務，該服務基于多種專門構建的服務，如交互式查詢服務Amazon Athena、云上大數(shù)據(jù)平臺Amazon Elastic MapReduce （Amazon EMR）、云數(shù)據(jù)倉庫服務AmazonRedshift、Amazon SageMaker等，為大數(shù)據(jù)和機器學習提供統(tǒng)一的開發(fā)平臺。
“統(tǒng)一的數(shù)據(jù)治理底座不僅讓大數(shù)據(jù)和機器學習高效融合，還減少大數(shù)據(jù)和機器學習重復構建的工作，大幅降低成本?！蓖鯐砸氨硎镜馈?/p>
其次，亞馬遜云科技提供多種靈活可擴展、專門構建的大數(shù)據(jù)服務，幫助客戶進行復雜的數(shù)據(jù)加工及處理，應對數(shù)據(jù)規(guī)模的動態(tài)變化，優(yōu)化數(shù)據(jù)質量。正所謂，巧婦難為無米之炊，機器學習項目成功的關鍵是對復雜的數(shù)據(jù)進行加工和準備。亞馬遜云科技以Amazon Redshift、Amazon Managed Streaming for Apache Kafka （AmazonMSK）和 Amazon EMR 為代表的無服務器分析能力，可以讓客戶無需配置、擴展或管理底層基礎設施，即可輕松地處理任何規(guī)模的數(shù)據(jù)，為機器學習項目提供兼具性能和成本效益的特征數(shù)據(jù)準備。
“Amazon Athena能夠對支持多種開源框架的大數(shù)據(jù)平臺，包括Amazon EMR、高性能關系數(shù)據(jù)庫Amazon Aurora、NoSQL數(shù)據(jù)庫服務Amazon DynamoDB、Amazon Redshift等多種數(shù)據(jù)源，對這些數(shù)據(jù)源進行聯(lián)邦查詢，快速完成機器學習建模的數(shù)據(jù)加工。”王曉野補充道。
最后，亞馬遜云科技讓數(shù)據(jù)分析技術更加低門檻，讓業(yè)務人員也有自住式訓練機器學習模型進行探索創(chuàng)新的能力。例如，在日常分析工具中集成機器學習模型預測能力，其中深度集成機器學習Amazon SageMaker模型預測能力的Amazon QuickSight 、在分析結果中添加基于模型預測的Amazon Athena ML，可幫助用戶使用熟悉的技術，甚至通過自然語言來使用機器學習。
毫無疑問，亞馬遜云科技多年以來在幫助全球數(shù)十萬的用戶通過利用大數(shù)據(jù)和AI技術的基礎上，深刻洞察到大數(shù)據(jù)與機器學習的融合所帶來的價值、作用，這對于更多行業(yè)用戶降低上云用數(shù)賦智的門檻大有裨益，也將成為眾多行業(yè)用戶深入開展數(shù)字化和智能化轉型的關鍵。
“亞馬遜云科技還通過數(shù)據(jù)科學實驗室、機器學習實驗室和機器學習專業(yè)服務等一系列定制化措施，幫助企業(yè)在云上實現(xiàn)數(shù)智融合，重塑數(shù)據(jù)洞察?！标悤越ㄗ詈蟊硎镜?。
免責聲明：此文內容為第三方自媒體作者發(fā)布的觀察或評論性文章，所有文字和圖片版權歸作者所有，且僅代表作者個人觀點，與極客網(wǎng)無關。文章僅供讀者參考，并請自行核實相關內容。投訴郵箱：editor@fromgeek.com。
免責聲明：本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。
