選擇正確的云服務(wù)，初創(chuàng)企業(yè)也能服務(wù)上億用戶

一家創(chuàng)業(yè)公司面臨的挑戰(zhàn)

“在大宇無限的產(chǎn)品中實(shí)現(xiàn)視頻內(nèi)容的在線推薦，對(duì)我們的開發(fā)團(tuán)隊(duì)來說是一個(gè)巨大的挑戰(zhàn)，Amazon SageMaker極大地簡(jiǎn)化了機(jī)器學(xué)習(xí)系統(tǒng)的構(gòu)建、訓(xùn)練和部署流程，使我們僅用了3個(gè)月就完成了整個(gè)系統(tǒng)的建設(shè)并承受了實(shí)際用戶訪問的壓力，實(shí)現(xiàn)了從0到1的突破。”談起與AWS的合作，大宇無限技術(shù)副總裁劉克東如是說道。

深圳大宇無限科技有限公司（以下簡(jiǎn)稱“大宇無限”）是一家專注于移動(dòng)互聯(lián)網(wǎng)應(yīng)用的創(chuàng)業(yè)公司，2016年初成立，團(tuán)隊(duì)主要成員來自北京大學(xué)、香港科技大學(xué)、UCLA、Emory 等國(guó)內(nèi)外知名高校，具有一流互聯(lián)網(wǎng)公司從業(yè)背景。大宇無限每月為全球超過1億的用戶提供服務(wù)。

作為一家創(chuàng)業(yè)公司，大宇無限主要業(yè)務(wù)面向中東、東南亞、拉美等新興市場(chǎng)國(guó)家，移動(dòng)短視頻服務(wù)是公司的主要業(yè)務(wù)方向之一。在成立之初，大宇無限的首要目標(biāo)是開拓新業(yè)務(wù)并實(shí)現(xiàn)業(yè)務(wù)的快速增長(zhǎng)，要實(shí)現(xiàn)這一目標(biāo)，大宇無限需要應(yīng)對(duì)一系列挑戰(zhàn)。

首先要解決的是開發(fā)人員數(shù)量少與快速起步之間的矛盾。移動(dòng)短視頻服務(wù)包含在線視頻推薦服務(wù)，需要構(gòu)建機(jī)器學(xué)習(xí)系統(tǒng)，從設(shè)計(jì)架構(gòu)、建立訓(xùn)練模型、選擇算法和框架到最終部署到生產(chǎn)系統(tǒng)中，整個(gè)流程極為復(fù)雜，需要大量的開發(fā)人員耗費(fèi)很長(zhǎng)的時(shí)間才有可能完成。

其次是大宇無限的主要業(yè)務(wù)市場(chǎng)位于中東、東南亞與拉美，必須采用能夠覆蓋整個(gè)目標(biāo)市場(chǎng)并提供穩(wěn)定的網(wǎng)絡(luò)訪問的云平臺(tái)。

第三是要盡量減輕整個(gè)系統(tǒng)運(yùn)維管理的負(fù)擔(dān)，降低系統(tǒng)的總體成本。

為了應(yīng)對(duì)這些挑戰(zhàn)，大宇無限在分析、比較了主流的云平臺(tái)之后，選擇了AWS，將整個(gè)業(yè)務(wù)系統(tǒng)部署在AWS云上，借助AWS云在機(jī)器學(xué)習(xí)領(lǐng)域的一系列云服務(wù)，快速完成了整個(gè)系統(tǒng)的開發(fā)和部署，實(shí)現(xiàn)了快速起步、為用戶提供高質(zhì)量短視頻服務(wù)的目標(biāo)。

為什么大宇無限選擇了AWS

AWS云提供了很多業(yè)界認(rèn)可的應(yīng)用開發(fā)及部署服務(wù)、具有全球化的布局且提供多種計(jì)費(fèi)方式，這些特點(diǎn)非常適合大宇無限對(duì)IT基礎(chǔ)設(shè)施的要求。大宇無限的主打業(yè)務(wù)是基于人工智能的短視頻分發(fā)系統(tǒng)，為了給用戶提供良好體驗(yàn)，它需要解決兩個(gè)重要問題：其一是根據(jù)用戶的個(gè)人喜好進(jìn)行視頻的在線推薦；其二是過濾掉不當(dāng)視頻。完成這兩項(xiàng)任務(wù)都需要開發(fā)人員具有深厚的機(jī)器學(xué)習(xí)專業(yè)技能，AWS云提供的Amazon SageMaker和Amazon Rekognition服務(wù)，極大地簡(jiǎn)化了大規(guī)模構(gòu)建、訓(xùn)練和部署機(jī)器學(xué)習(xí)的流程，使大宇無限的開發(fā)團(tuán)隊(duì)能夠快速實(shí)現(xiàn)這兩項(xiàng)重要功能。

Amazon SageMaker是一個(gè)完全托管的服務(wù)，可以幫助開發(fā)人員和數(shù)據(jù)科學(xué)家快速而輕松地構(gòu)建、訓(xùn)練和部署機(jī)器學(xué)習(xí)模型。一方面，Amazon SageMaker 可快速連接至訓(xùn)練數(shù)據(jù)所需的內(nèi)容，使用戶可以輕松構(gòu)建機(jī)器學(xué)習(xí)模型并為訓(xùn)練做好準(zhǔn)備；另一方面，Amazon SageMaker預(yù)裝并優(yōu)化了常用的機(jī)器學(xué)習(xí)算法，這使得用戶無需花費(fèi)大量時(shí)間去選擇算法和框架。在進(jìn)行訓(xùn)練時(shí)，用戶只需單擊一下，就可以在Amazon SageMaker控制臺(tái)中開始訓(xùn)練自己的模型。當(dāng)模型經(jīng)過訓(xùn)練和調(diào)整后，Amazon SageMaker可以輕松地在生產(chǎn)環(huán)境中進(jìn)行部署。“線上推薦我們是白手起家，如果沒有Amazon SageMaker，我們需要花費(fèi)半年的時(shí)間才能完成。有了它，我們無需構(gòu)建基礎(chǔ)設(shè)施，只需要算法工程師去驅(qū)動(dòng)，為Amazon SageMaker準(zhǔn)備數(shù)據(jù)，僅用了三個(gè)月的時(shí)間就完成了整個(gè)系統(tǒng)的建設(shè)并承受了實(shí)際用戶訪問的壓力，實(shí)現(xiàn)了從0到1的突破。”劉克東說道。

在過濾不當(dāng)視頻方面，Amazon Rekognition發(fā)揮了至關(guān)重要的作用。Amazon Rekognition是基于Amazon計(jì)算機(jī)視覺科學(xué)家開發(fā)的成熟且高度可擴(kuò)展的深度學(xué)習(xí)技術(shù)，每天可分析數(shù)十億圖像和視頻，無需使用任何機(jī)器學(xué)習(xí)專業(yè)技能，只需要向Amazon Rekognition API提供圖像或視頻，它就可以快速識(shí)別對(duì)象、人員、文字、場(chǎng)景和活動(dòng)，檢測(cè)出任何不適宜的內(nèi)容。Amazon Rekognition還不斷接受新數(shù)據(jù)的訓(xùn)練以擴(kuò)展其識(shí)別對(duì)象、場(chǎng)景和活動(dòng)能力，從而提高準(zhǔn)確識(shí)別的能力。借助Amazon Rekognition，大宇無限的視頻供給及審核系統(tǒng)方便地實(shí)現(xiàn)了視頻內(nèi)容事前審核功能，可以自動(dòng)篩選出大約97%的不當(dāng)視頻?！叭绻麤]有Amazon Rekognition服務(wù)，要想實(shí)現(xiàn)視頻內(nèi)容的上線前審核功能需要投入大量的人力，造成運(yùn)營(yíng)成本上升?！眲⒖藮|表示。

全部業(yè)務(wù)系統(tǒng)實(shí)現(xiàn)上云

目前，大宇無限的全部業(yè)務(wù)系統(tǒng)都部署在AWS云上，主要包括三部分內(nèi)容。

其一是線上服務(wù)，用于支撐公司所有產(chǎn)品的多端（Android/IOS/Web）發(fā)送的服務(wù)請(qǐng)求，包括用戶中心、信息流視頻推薦、頻道推薦、關(guān)注列表、視頻解析、分享短鏈、消息推送及升級(jí)服務(wù)等；

其二是大數(shù)據(jù)系統(tǒng)，用于搜集客戶端的行為數(shù)據(jù)，為數(shù)據(jù)分析及推薦系統(tǒng)提供原始數(shù)據(jù)，日處理行為事件達(dá)數(shù)十億；

其三是視頻推薦系統(tǒng)，采用Amazon EMR和Amazon SageMaker處理數(shù)據(jù)、訓(xùn)練模型以獲得個(gè)性化的推薦結(jié)果，同時(shí)還使用Amazon Rekognition每日自動(dòng)審核數(shù)十萬的新視頻封面。

大宇無限所使用的AWS云服務(wù)，包括Amazon Elastic Compute Cloud（Amazon EC2）、Amazon Simple Storage Service（Amazon S3）、Amazon Rekognition、Amazon SageMaker、Amazon EMR、Amazon CloudWatch、Amazon DynamoDB、Amazon Relational Database Service（Amazon RDS）、Amazon RedShift、Amazon Kinesis、Amazon Elastic Container Registry（Amazon ECR）、AWS Data Transfer以及AWS Support等。以下是大宇無限使用AWS云的架構(gòu)示意圖。

大宇無限使用AWS云的架構(gòu)示意圖

使用AWS云服務(wù)后的成效

使用亞馬遜AWS云服務(wù)，使大宇無限在多個(gè)方面獲益匪淺。

在開發(fā)上，AWS云豐富的應(yīng)用開發(fā)及部署功能，極大地降低了大宇無限在基礎(chǔ)架構(gòu)上的開發(fā)投入，同時(shí)AWS Support全面、及時(shí)的技術(shù)支持服務(wù)，也使大宇無限的開發(fā)團(tuán)隊(duì)可以及時(shí)解決所遇到的技術(shù)問題，加快產(chǎn)品迭代速度，大宇無限新版本的交付時(shí)間縮短到2周以內(nèi)。同時(shí)借助Amazon SageMaker、Amazon Rekognition等智能服務(wù)，實(shí)現(xiàn)了視頻審核和推薦的自動(dòng)化，大宇無限可以給用戶提供穩(wěn)定、可靠且高質(zhì)量的視頻服務(wù)。

在運(yùn)維上，大宇無限目前用到的Amazon EC2實(shí)例超過600個(gè)，全部利用AWS云服務(wù)進(jìn)行自動(dòng)化管理，不需要專門的運(yùn)維人員，降低了運(yùn)維成本。

在運(yùn)營(yíng)上，無論用戶是在中東、拉美、東南亞還是世界其他地方，大宇無限都能借助遍布全球的AWS云，為用戶提供高質(zhì)量的視頻服務(wù)。

此外，在計(jì)算資源使用方面，AWS云提供的預(yù)留實(shí)例、按需實(shí)例和競(jìng)價(jià)實(shí)例的計(jì)費(fèi)方式，使大宇無限能夠根據(jù)業(yè)務(wù)拓展?fàn)顩r的變化，以盡可能最佳方式租用AWS云資源，在滿足業(yè)務(wù)拓展需求的同時(shí)節(jié)省總成本。

生成海報(bào)

免責(zé)聲明：此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評(píng)論性文章，所有文字和圖片版權(quán)歸作者所有，且僅代表作者個(gè)人觀點(diǎn)，與極客網(wǎng)無關(guān)。文章僅供讀者參考，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。投訴郵箱：editor@fromgeek.com。

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。