Sybase中國技術(shù)總監(jiān)盧東明：大數(shù)據(jù)時代的數(shù)據(jù)庫挑戰(zhàn)

日前，在Sybase IQ 15.4媒體活動上，CSDN聯(lián)合幾家技術(shù)媒體共同采訪了Sybase中國技術(shù)總監(jiān)盧東明。盧東明就大數(shù)據(jù)給傳統(tǒng)數(shù)據(jù)庫廠商的沖擊、列式和行式數(shù)據(jù)庫的比較、以及其他熱點話題分享了看法。

Sybase中國技術(shù)總監(jiān) 盧東明

盧東明首先簡單介紹了SAP旗下的5大數(shù)據(jù)庫產(chǎn)品：

Sybase Adptive Server Enterprise簡稱ASE(行式數(shù)據(jù)庫)

Sybase IQ(列式數(shù)據(jù)庫)

Sybase SQL Anywhere(小型嵌入式數(shù)據(jù)庫)

HANA(完全基于內(nèi)存、實時分析的數(shù)據(jù)庫)

Sybase ESP(數(shù)據(jù)流分析工具)

記者：為何傳統(tǒng)行式數(shù)據(jù)庫公司都在發(fā)展列式數(shù)據(jù)庫或者混合交付的方案？

Sybase中國技術(shù)總監(jiān)盧東明：目前老牌行式數(shù)據(jù)庫公司都在以某種程度聲稱擁有列式技術(shù)。但值得一提的是，列式存儲、列式存儲索引、列式壓縮和列式數(shù)據(jù)庫是完全不同的概念。為什么都在引入列式的概念，是因為列式數(shù)據(jù)庫現(xiàn)在勢頭很猛，已經(jīng)蠶食了很大市場。所以他們就在用詞上混淆視聽。

舉個例子，Oracle和微軟的(列式存儲)解決方案很像，把其中某些列讓用戶選擇性的存成行或者列。存成列以后確實能帶來大量好處，比如高壓縮性，快速的在列上做單列分析或者查詢。從某種意義上來說，這點很像列式數(shù)據(jù)庫的某些特性。但是，從根本性上來說，他們是不同的東西。純粹的列式數(shù)據(jù)庫是不存在解壓和反向操作過程，Sybase把數(shù)據(jù)拿過來以后編碼，再以這些編碼形式存儲，也做額外壓縮，但是額外壓縮帶來的效率不是最主要的，更重要的是編碼。

基于編碼的運算，傳統(tǒng)行式解決方案要反復(fù)讀、反復(fù)解壓縮、拆解然后才開始運算。所以很多行式數(shù)據(jù)庫是在混淆，想加入到列式數(shù)據(jù)庫陣營里。但為何不聲 稱自己是列式數(shù)據(jù)庫，是因為他做不到。做不到的原因有幾個，一個原因是Sybase還占著很多專利，另一個原因是的確很難，傳統(tǒng)數(shù)據(jù)廠商沒法拋棄包袱。

記者：用戶該如何選擇行式或列式數(shù)據(jù)庫？

盧東明：任何數(shù)據(jù)庫解決方案都不是萬能的，專項工具要專用。就像并沒有一個瑞士軍刀又能砍樹又能刨木頭，又能把 木頭加工成一個特殊的形狀。數(shù)據(jù)庫就是一個工具箱，里邊有各種工具，每一個工具有每一個工具的甜點，不可替代。很多數(shù)據(jù)庫用戶或者開發(fā)商，還在從老式的數(shù) 據(jù)庫環(huán)境進入新環(huán)境中，不管主動還是被動，他們還沒有接受數(shù)據(jù)庫市場是一個細(xì)分市場?？傁Ｍ灰媚敲炊喾N數(shù)據(jù)庫，用一個數(shù)據(jù)庫把它解決了。但是像現(xiàn)在電 信的用戶，非常清楚的認(rèn)識到，在這樣的數(shù)據(jù)規(guī)模下，不可能用一個所謂全能型的選手把這個規(guī)模解決掉。

記者：HANA里邊有那些技術(shù)是來自Sybase？

盧東明：現(xiàn)在沒有，但以后這兩個技術(shù)一定會融合，一個是Sybase的內(nèi)存計算的技術(shù)，還有一個是IQ里邊各種各樣的列式數(shù)據(jù)庫的技術(shù)，因為有各種各樣的專利索引，IQ里邊有10種索引，這是所有其他數(shù)據(jù)庫都沒法比的。

記者：大數(shù)據(jù)對數(shù)據(jù)倉庫廠商帶來了哪些沖擊和影響？

盧東明：傳統(tǒng)數(shù)據(jù)倉庫廠商過去解決的基本上還是數(shù)據(jù)類型比較簡單的、結(jié)構(gòu)化的數(shù)據(jù)。并沒有完全回答，如何無縫的 去處理結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。數(shù)據(jù)規(guī)模上，這一波數(shù)據(jù)增長的確讓數(shù)據(jù)庫廠商有點措手不及，數(shù)據(jù)增長忽然間以指數(shù)級上升。數(shù)據(jù)庫往后發(fā)展還有幾個方向，IQ 也在做很多新型的索引研究，有沒有更新的索引把數(shù)據(jù)壓縮、數(shù)據(jù)分析、查詢和效果做的更好，這是一個方面。另外，從HANA帶來的啟示，內(nèi)存計算。HANA 里用的一種技術(shù)叫Flash卡，F(xiàn)lash卡是直接插在機子里。

從傳統(tǒng)存儲到SSD到Flash卡到內(nèi)存大概是4個階梯，每一個階梯大概有10倍的差距。HANA用了純內(nèi)存，用了Flash卡，用了硬盤，這里邊 這幾種技術(shù)都有，IQ現(xiàn)在基本上只用了少量的內(nèi)存和巨大量的存儲。Sybase現(xiàn)在在做一個解決方案就是把Flash卡加進去。

此外，據(jù)悉Sybase IQ 15.4采用MPP列式數(shù)據(jù)庫和數(shù)據(jù)庫內(nèi)分析技術(shù)，并加入MapReduce與Hadoop集成，以應(yīng)對大數(shù)據(jù)時代的分析挑戰(zhàn)，開啟洞察關(guān)鍵業(yè)務(wù)的能力。

另一方面，據(jù)記者觀察，SAP作為一家大公司，應(yīng)用軟件底層還用到了IBM DB2、SQL Sever、Oracle數(shù)據(jù)庫，而未來用到其他數(shù)據(jù)庫產(chǎn)品的機會，會是逐年縮小，而且縮小的份額一定會轉(zhuǎn)移到ASE、IQ、HANA上。這也是SAP立 志三年后將成為數(shù)據(jù)庫市場第二位的一個重要因素。

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。