“利用AWS豐富的功能和靈活的計費模式,我們不僅提升了系統的穩(wěn)定性、可靠性和動態(tài)擴容能力,從而輕松應對業(yè)務的爆發(fā)式增長,同時還使計算成本降低了1/3、運維成本降低了60%。”
——馮華寅,芝麻科技聯合創(chuàng)始人&CTO
一家快速成長的初創(chuàng)企業(yè)
南京芝麻信息科技有限公司(以下簡稱“芝麻科技”)是國內知名的線下大數據服務公司,致力于線下消費者大數據的采集與精細分析,通過數據服務驅動商業(yè)效率的提升。芝麻科技的主要產品線是MOLLI,這是一組專門針對購物中心提升業(yè)務效率的數據分析解決方案,涵蓋客流分析、廣告營銷等多個方面,目標是解決商場的引流問題以及品牌客戶的精準廣告投放問題。
目前,芝麻科技已經在全國覆蓋10萬余消費生活場所、七億部移動設備,日處理數據近百億條。芝麻科技服務的客戶包括寶潔、歐萊雅、歐時力、赫基、勁霸、北汽、福特、碧桂園、紅星美凱龍、靜安嘉里中心、佳兆業(yè)商業(yè)、虹悅城等國內外知名企業(yè),服務的主要行業(yè)包括母嬰、化妝品、汽車、房產、時尚等。
業(yè)務爆發(fā)式增長帶來的挑戰(zhàn)
芝麻科技成立于2013年,是一家創(chuàng)業(yè)公司,為了快速開展業(yè)務,芝麻科技在成立之初就決定在云平臺進行產品開發(fā)和部署。
在遷移至AWS之前,芝麻科技使用了其他云服務商的云平臺,通過在虛擬機上自建服務的方式來構建應用系統。隨著業(yè)務的快速發(fā)展,這種方式的弊端開始顯現出來,主要體現在三個方面:
一、用于數據采集的Kafka集群、用于數據分析的Hadoop集群都需要自己搭建并配備專門的運維團隊,導致前期的學習成本和運維成本相對較高;
二、系統架構動態(tài)擴容不方便,為了滿足系統的峰值需求,必須高配資源,這造成了極大的資源浪費,最嚴重的時候有2/3的計算資源都是閑置的;
三、為了提高系統的穩(wěn)定性和可靠性,需要自行設計很多基礎服務的高可用和高性能基礎架構方案,顯著增加系統的復雜性,使系統穩(wěn)定性難以得到保障。
“芝麻科技是創(chuàng)業(yè)公司,為了應對瞬息萬變的市場需求,我們希望能把人力資源聚焦在應用的迭代開發(fā)上,而不是把大量的時間和精力都花費在IT基礎設施的運維工作上?!敝ヂ榭萍悸摵蟿?chuàng)始人&CTO馮華寅說。
2016年9月,芝麻科技加入了“AWS云創(chuàng)計劃”,獲得了免費的起步云資源、技術培訓及支持服務,開始熟悉和了解AWS云服務。經過近一年的試用,芝麻科技從2017年底開始將其整個應用系統遷移至AWS ,借助AWS豐富的PaaS層服務,不僅極大地減少了對基礎架構的人力投入,同時還大幅度提升了系統的穩(wěn)定性、可靠性和動態(tài)擴容能力,促進了業(yè)務的快速增長。
芝麻科技選擇AWS的原因
作為創(chuàng)業(yè)公司,芝麻科技的目標是能實現產品的快速迭代,確保應用系統穩(wěn)定可靠并具備優(yōu)異的動態(tài)擴容能力,同時還能大幅度節(jié)省成本?;谶@一目標,芝麻科技對比了市場上主流的云服務提供商,最終AWS以豐富的產品和服務、靈活的計費方式、完善的安全機制成為芝麻科技的不二之選。
1、豐富的產品和服務
AWS提供了豐富的產品和服務,完整地涵蓋了計算、存儲、數據庫、遷移、網絡和內容分發(fā)、移動服務、分析、管理、安全等用戶需要的各個方面,這些產品和服務不僅極大地簡化了應用系統的開發(fā),同時還保證了應用系統的穩(wěn)定性和可靠性。
芝麻科技在遷移到AWS后,對原有的應用系統進行了結構升級,用Amazon Kinesis替代了原來的Kafka集群,用Amazon EMR替代了自建的Hadoop集群,利用Kinesis完成數據的實時聚合,它每小時可以從數萬種來源(如網站點擊流、財務交易、社交媒體源、定位追蹤事件等)中持續(xù)捕獲和存儲TB級數據,并將數據傳輸給后續(xù)的Amazon EMR大數據處理系統進行分析處理。在這一過程中,進入系統的實時數據在處理之前都存儲在Kinesis中,確保了整個系統的持久性和彈性?!癆WS上豐富的托管服務使我們的開發(fā)人員無需再把大量的精力用于基礎架構的維護,轉而專注于核心業(yè)務系統的創(chuàng)新和開發(fā)?!瘪T華寅說。
2、靈活的計費方式
對所有創(chuàng)業(yè)公司來說,如何降低成本至關重要。在云資源的使用上,AWS提供了三種計費方式供用戶選擇,包括預留實例、按需實例和競價實例,不同類型的實例價格差別很大,用戶可以根據自己的實際應用需求進行選擇,并利用AWS豐富的監(jiān)控和管理工具,以自動化的方式隨時進行調整,在確保系統可靠性和穩(wěn)定性的前提下盡可能降低成本。
例如,在芝麻科技的MOLLI系統中,大量的數據分析并不需要實時進行,因此可以在集中進行大數據處理時臨時啟動多個競價實例來快速完成處理任務?!爸ヂ榭萍嫉臉I(yè)務發(fā)展非常迅速,我們很難提前數月預估所需要的計算資源,因此那種按年購買云資源的模式不適合我們?!瘪T華寅說。
3、完善的安全機制
芝麻科技為企業(yè)客戶提供服務,因此系統與數據的安全性必須得到充分保障。AWS本身的架構設計、安全管理和豐富的安全服務功能為用戶提供了基礎架構層面的安全保障,用戶只需要負責其應用系統本身的安全性即可。
此外,AWS專業(yè)的技術支持服務、極高的品牌知名度和豐富的云服務運營經驗也是芝麻科技選擇AWS的原因。
使用AWS云服務的成效
芝麻科技在2016年加入AWS針對創(chuàng)業(yè)型公司的云創(chuàng)計劃,試用了大部分AWS云服務,并結合自身業(yè)務需求,重點評估了Amazon EMR、Kinesis、Amazon Relational Database Service (Amazon RDS)等服務。隨后從2017年8月開始將整個系統向AWS遷移,經過遷移評估、架構設計、遷移規(guī)劃、試運行、系統切換等一系列過程,成功地完成了整個系統的遷移和架構升級,所使用的AWS云服務包括Amazon Elastic Compute Cloud (Amazon EC2)、AWS Auto Scaling、Elastic Load Balancing、Amazon Simple Storage Service (Amazon S3)、Amazon Glacier、Kinesis、Amazon EMR、Amazon RDS、Amazon CloudWatch、Amazon Redshift、AWS Lambda等。圖1是芝麻科技使用AWS云服務的架構示意圖。
芝麻科技使用AWS云服務的架構示意圖
將整個應用系統完整地遷移到AWS上,使芝麻科技在多方面獲益。
首先,是大幅度降低了計算資源使用成本和運維成本。芝麻科技將AWS特有的按需、預留和競價實例與自身的業(yè)務特性相結合,通過組合不同種類的實例,獲得了超高的性價比,僅在后端用Amazon EMR進行大數據處理方面,由于采用了競價實例和彈性伸縮技術,在充分滿足業(yè)務對計算性能要求的前提下,將計算成本減少到之前自建Hadoop集群時的一半。同時,利用AWS Auto Scaling、ELB等服務,應用系統僅在需要時增添實例,一旦完成處理,即可立刻釋放實例,這使得總的計算資源使用成本降低了1/3。在運維方面,通過使用AWS上的PaaS層服務,減少了運維人員的投入,運維人員從原來的5人縮減為2人,節(jié)省了60%的人力成本。
其次,是縮短了系統開發(fā)、測試及部署時間,項目的迭代周期從原來的4個月縮短到2個月。系統的性能也得到大幅度提升,MOLLI系統大量采用了AWS的托管服務,組件的高可用性由AWS保證,減少了自行設計帶來的復雜度,數據存儲的持久性、系統的彈性及安全性都得到充分的保證?!案匾氖鞘褂肁WS提升了系統的穩(wěn)定性和動態(tài)擴容能力,使我們能夠輕松應對業(yè)務的爆發(fā)式增長?!瘪T華寅說道。
- 蜜度索驥:以跨模態(tài)檢索技術助力“企宣”向上生長
- 美媒聚焦比亞迪“副業(yè)”:電子代工助力蘋果,下個大計劃瞄準AI機器人
- 微信零錢通新政策:銀行卡轉入資金提現免手續(xù)費引熱議
- 消息稱塔塔集團將收購和碩印度iPhone代工廠60%股份 并接管日常運營
- 蘋果揭秘自研芯片成功之道:領先技術與深度整合是關鍵
- 英偉達新一代Blackwell GPU面臨過熱挑戰(zhàn),交付延期引發(fā)市場關注
- 馬斯克能否成為 AI 部部長?硅谷與白宮的聯系日益緊密
- 余承東:Mate70將在26號發(fā)布,意外泄露引發(fā)關注
- 無人機“黑科技”亮相航展:全球首臺低空重力測量系統引關注
- 賽力斯發(fā)布聲明:未與任何伙伴聯合開展人形機器人合作
- 賽力斯觸及漲停,汽車整車股盤初強勢拉升
免責聲明:本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網站出現的信息,均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時,應及時向本網站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后,將會依法盡快聯系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。