一家創(chuàng)業(yè)公司面臨的挑戰(zhàn)
“在大宇無限的產(chǎn)品中實現(xiàn)視頻內(nèi)容的在線推薦，對我們的開發(fā)團隊來說是一個巨大的挑戰(zhàn)，Amazon SageMaker極大地簡化了機器學習系統(tǒng)的構(gòu)建、訓練和部署流程，使我們僅用了3個月就完成了整個系統(tǒng)的建設并承受了實際用戶訪問的壓力，實現(xiàn)了從0到1的突破。”談起與AWS的合作，大宇無限技術(shù)副總裁劉克東如是說道。
深圳大宇無限科技有限公司（以下簡稱“大宇無限”）是一家專注于移動互聯(lián)網(wǎng)應用的創(chuàng)業(yè)公司，2016年初成立，團隊主要成員來自北京大學、香港科技大學、UCLA、Emory 等國內(nèi)外知名高校，具有一流互聯(lián)網(wǎng)公司從業(yè)背景。大宇無限每月為全球超過1億的用戶提供服務。
作為一家創(chuàng)業(yè)公司，大宇無限主要業(yè)務面向中東、東南亞、拉美等新興市場國家，移動短視頻服務是公司的主要業(yè)務方向之一。在成立之初，大宇無限的首要目標是開拓新業(yè)務并實現(xiàn)業(yè)務的快速增長，要實現(xiàn)這一目標，大宇無限需要應對一系列挑戰(zhàn)。
首先要解決的是開發(fā)人員數(shù)量少與快速起步之間的矛盾。移動短視頻服務包含在線視頻推薦服務，需要構(gòu)建機器學習系統(tǒng)，從設計架構(gòu)、建立訓練模型、選擇算法和框架到最終部署到生產(chǎn)系統(tǒng)中，整個流程極為復雜，需要大量的開發(fā)人員耗費很長的時間才有可能完成。
其次是大宇無限的主要業(yè)務市場位于中東、東南亞與拉美，必須采用能夠覆蓋整個目標市場并提供穩(wěn)定的網(wǎng)絡訪問的云平臺。
第三是要盡量減輕整個系統(tǒng)運維管理的負擔，降低系統(tǒng)的總體成本。
為了應對這些挑戰(zhàn)，大宇無限在分析、比較了主流的云平臺之后，選擇了AWS，將整個業(yè)務系統(tǒng)部署在AWS云上，借助AWS云在機器學習領域的一系列云服務，快速完成了整個系統(tǒng)的開發(fā)和部署，實現(xiàn)了快速起步、為用戶提供高質(zhì)量短視頻服務的目標。
為什么大宇無限選擇了AWS
AWS云提供了很多業(yè)界認可的應用開發(fā)及部署服務、具有全球化的布局且提供多種計費方式，這些特點非常適合大宇無限對IT基礎設施的要求。大宇無限的主打業(yè)務是基于人工智能的短視頻分發(fā)系統(tǒng)，為了給用戶提供良好體驗，它需要解決兩個重要問題：其一是根據(jù)用戶的個人喜好進行視頻的在線推薦；其二是過濾掉不當視頻。完成這兩項任務都需要開發(fā)人員具有深厚的機器學習專業(yè)技能，AWS云提供的Amazon SageMaker和Amazon Rekognition服務，極大地簡化了大規(guī)模構(gòu)建、訓練和部署機器學習的流程，使大宇無限的開發(fā)團隊能夠快速實現(xiàn)這兩項重要功能。
Amazon SageMaker是一個完全托管的服務，可以幫助開發(fā)人員和數(shù)據(jù)科學家快速而輕松地構(gòu)建、訓練和部署機器學習模型。一方面，Amazon SageMaker 可快速連接至訓練數(shù)據(jù)所需的內(nèi)容，使用戶可以輕松構(gòu)建機器學習模型并為訓練做好準備；另一方面，Amazon SageMaker預裝并優(yōu)化了常用的機器學習算法，這使得用戶無需花費大量時間去選擇算法和框架。在進行訓練時，用戶只需單擊一下，就可以在Amazon SageMaker控制臺中開始訓練自己的模型。當模型經(jīng)過訓練和調(diào)整后，Amazon SageMaker可以輕松地在生產(chǎn)環(huán)境中進行部署?！熬€上推薦我們是白手起家，如果沒有Amazon SageMaker，我們需要花費半年的時間才能完成。有了它，我們無需構(gòu)建基礎設施，只需要算法工程師去驅(qū)動，為Amazon SageMaker準備數(shù)據(jù)，僅用了三個月的時間就完成了整個系統(tǒng)的建設并承受了實際用戶訪問的壓力，實現(xiàn)了從0到1的突破?！眲⒖藮|說道。
在過濾不當視頻方面，Amazon Rekognition發(fā)揮了至關重要的作用。Amazon Rekognition是基于Amazon計算機視覺科學家開發(fā)的成熟且高度可擴展的深度學習技術(shù)，每天可分析數(shù)十億圖像和視頻，無需使用任何機器學習專業(yè)技能，只需要向Amazon Rekognition API提供圖像或視頻，它就可以快速識別對象、人員、文字、場景和活動，檢測出任何不適宜的內(nèi)容。Amazon Rekognition還不斷接受新數(shù)據(jù)的訓練以擴展其識別對象、場景和活動能力，從而提高準確識別的能力。借助Amazon Rekognition，大宇無限的視頻供給及審核系統(tǒng)方便地實現(xiàn)了視頻內(nèi)容事前審核功能，可以自動篩選出大約97%的不當視頻?！叭绻麤]有Amazon Rekognition服務，要想實現(xiàn)視頻內(nèi)容的上線前審核功能需要投入大量的人力，造成運營成本上升?！眲⒖藮|表示。
全部業(yè)務系統(tǒng)實現(xiàn)上云
目前，大宇無限的全部業(yè)務系統(tǒng)都部署在AWS云上，主要包括三部分內(nèi)容。
其一是線上服務，用于支撐公司所有產(chǎn)品的多端（Android/IOS/Web）發(fā)送的服務請求，包括用戶中心、信息流視頻推薦、頻道推薦、關注列表、視頻解析、分享短鏈、消息推送及升級服務等；
其二是大數(shù)據(jù)系統(tǒng)，用于搜集客戶端的行為數(shù)據(jù)，為數(shù)據(jù)分析及推薦系統(tǒng)提供原始數(shù)據(jù)，日處理行為事件達數(shù)十億；
其三是視頻推薦系統(tǒng)，采用Amazon EMR和Amazon SageMaker處理數(shù)據(jù)、訓練模型以獲得個性化的推薦結(jié)果，同時還使用Amazon Rekognition每日自動審核數(shù)十萬的新視頻封面。
大宇無限所使用的AWS云服務，包括Amazon Elastic Compute Cloud（Amazon EC2）、Amazon Simple Storage Service（Amazon S3）、Amazon Rekognition、Amazon SageMaker、Amazon EMR、Amazon CloudWatch、Amazon DynamoDB、Amazon Relational Database Service（Amazon RDS）、Amazon RedShift、Amazon Kinesis、Amazon Elastic Container Registry（Amazon ECR）、AWS Data Transfer以及AWS Support等。以下是大宇無限使用AWS云的架構(gòu)示意圖。
大宇無限使用AWS云的架構(gòu)示意圖
使用AWS云服務后的成效
使用亞馬遜AWS云服務，使大宇無限在多個方面獲益匪淺。
在開發(fā)上，AWS云豐富的應用開發(fā)及部署功能，極大地降低了大宇無限在基礎架構(gòu)上的開發(fā)投入，同時AWS Support全面、及時的技術(shù)支持服務，也使大宇無限的開發(fā)團隊可以及時解決所遇到的技術(shù)問題，加快產(chǎn)品迭代速度，大宇無限新版本的交付時間縮短到2周以內(nèi)。同時借助Amazon SageMaker、Amazon Rekognition等智能服務，實現(xiàn)了視頻審核和推薦的自動化，大宇無限可以給用戶提供穩(wěn)定、可靠且高質(zhì)量的視頻服務。
在運維上，大宇無限目前用到的Amazon EC2實例超過600個，全部利用AWS云服務進行自動化管理，不需要專門的運維人員，降低了運維成本。
在運營上，無論用戶是在中東、拉美、東南亞還是世界其他地方，大宇無限都能借助遍布全球的AWS云，為用戶提供高質(zhì)量的視頻服務。
此外，在計算資源使用方面，AWS云提供的預留實例、按需實例和競價實例的計費方式，使大宇無限能夠根據(jù)業(yè)務拓展狀況的變化，以盡可能最佳方式租用AWS云資源，在滿足業(yè)務拓展需求的同時節(jié)省總成本。
免責聲明：此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評論性文章，所有文字和圖片版權(quán)歸作者所有，且僅代表作者個人觀點，與極客網(wǎng)無關。文章僅供讀者參考，并請自行核實相關內(nèi)容。投訴郵箱：editor@fromgeek.com。
免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。
