深度文章:初識智能數(shù)據(jù)分析

一、什么是智能數(shù)據(jù)分析?

智能數(shù)據(jù)分析,它是指運用統(tǒng)計學(xué)、模式識別、機器學(xué)習(xí)、數(shù)據(jù)抽象等數(shù)據(jù)分析工具從數(shù)據(jù)中發(fā)現(xiàn)知識的分析方法。智能數(shù)據(jù)分析的目的是直接或間接地提高工作效率,在實際使用中充當(dāng)智能化助手的角色,使工作人員在恰當(dāng)?shù)臅r間擁有恰當(dāng)?shù)男畔?,幫助他們在有限的時間內(nèi)作出正確的決定。

智能數(shù)據(jù)分析的目的是直接或間接地提高工作效率,在實際使用中充當(dāng)智能化助手的角色,使工作人員在恰當(dāng)?shù)臅r間擁有恰當(dāng)?shù)男畔?,幫助他們在有限的時間內(nèi)作出正確的決定。信息系統(tǒng)中積累的大量數(shù)據(jù),其原始數(shù)據(jù)的價值很小,只有通過智能化分析方法抽取其中的精華,才能從數(shù)據(jù)中挖掘出其中的價值,為人類所利用。

二、智能數(shù)據(jù)分析分類

智能數(shù)據(jù)分析方法主要為兩種類型,一是數(shù)據(jù)抽象(DataAbstraction) ;二是數(shù)據(jù)挖掘(Date Mining)。

數(shù)據(jù)抽象:數(shù)據(jù)抽象結(jié)構(gòu)是對現(xiàn)實世界的一種抽象從實際的人、物、事和概念中抽取所關(guān)心的共同特性,忽略非本質(zhì)的細節(jié)把這些特性用各種概念精確地加以描述這些概念組成了某種模型。簡而言之就是在忽略類對象間存在差異的同時,展現(xiàn)了對用戶而言最重要的特性。三種常用的抽象:分類、聚集、概括。

數(shù)據(jù)挖掘:一般是指從大量的數(shù)據(jù)中通過算法搜索隱藏于其中信息的過程。數(shù)據(jù)挖掘通常與計算機科學(xué)有關(guān),并通過統(tǒng)計、在線分析處理、情報檢索、機器學(xué)習(xí)、專家系統(tǒng)(依靠過去的經(jīng)驗法則)和模式識別等諸多方法來實現(xiàn)上述目標(biāo)。智能數(shù)據(jù)分析方法包括分類、估計、預(yù)測、相關(guān)性分組或關(guān)聯(lián)規(guī)則,聚類,復(fù)雜數(shù)據(jù)類型挖掘等。

三、智能數(shù)據(jù)分析的常見方法

智能分析技術(shù)在數(shù)據(jù)的處理數(shù)據(jù)中具有非常重要的意義,主要包括以下幾類常見方法:

決策樹:在已知各種情況發(fā)生概率的基礎(chǔ)上, 通過構(gòu)成決策樹來求取凈現(xiàn)值的期望值大于等于零的概率,評價項目風(fēng)險, 判斷其可行性的決策分析方法,是直觀運用概率分析的一種圖解法,它是建立在信息論基礎(chǔ)之上對數(shù)據(jù)進行分類的一種方法。首先通過一批已知的訓(xùn)練數(shù)據(jù)建立一棵決策樹, 然后采用建好的決策樹對數(shù)據(jù)進行預(yù)測。決策樹的建立過程是數(shù)據(jù)規(guī)則的生成過程,因此,這種方法實現(xiàn)了數(shù)據(jù)規(guī)則的可視化, 其輸出結(jié)果容易理解, 精確度較好, 效率較高, 缺點是難于處理關(guān)系復(fù)雜的數(shù)據(jù)。常用的方法有分類及回歸樹法、雙方自動交互探測法等。

關(guān)聯(lián)規(guī)則:是形如X→Y的蘊涵式,其中, X和Y分別稱為關(guān)聯(lián)規(guī)則的先導(dǎo)(antecedent或left-h(huán)and-side, LHS)和后繼(consequent或right-h(huán)and-side, RHS) 。其中,關(guān)聯(lián)規(guī)則XY,存在支持度和信任度。這種方法主要是用于事物數(shù)據(jù)庫中,通常帶有大量的數(shù)據(jù),當(dāng)今使用這種方法來削減搜索空間。

粗糙集:是繼概率論、模糊集、證據(jù)理論之后的又一個處理不確定性的數(shù)學(xué)工具。用粗糙集理論進行數(shù)據(jù)分析主要有以下優(yōu)勢: 它無需提供對知識或數(shù)據(jù)的主觀評價, 僅根據(jù)觀測數(shù)據(jù)就能達到刪除冗余信息;非常適合并行計算、提供結(jié)果的直接解釋。如下圖,X稱為R的粗糙集。

模糊數(shù)學(xué)分析:用模糊(Fuzzy sets)數(shù)學(xué)理論來進行智能數(shù)據(jù)分析?,F(xiàn)實世界中客觀事物之間通常具有某種不確定性。越復(fù)雜的系統(tǒng)其精確性越低,也就意味著模糊性越強。在數(shù)據(jù)分析過程中, 利用模糊集方法對實際問題進行模糊評判、模糊決策、模糊預(yù)測、模糊模式識別和模糊聚類分析, 這樣能夠取得更好更客觀的效果。

人工神經(jīng)網(wǎng)絡(luò):一種應(yīng)用類似于大腦神經(jīng)突觸聯(lián)接的結(jié)構(gòu)進行信息處理的數(shù)學(xué)模型。該模型由大量的節(jié)點(或稱神經(jīng)元)之間相互聯(lián)接構(gòu)成。每個節(jié)點代表一種特定的輸出函數(shù),稱為激勵函數(shù)(activationfunction)。每兩個節(jié)點間的連接都代表一個對于通過該連接信號的加權(quán)值, 稱之為權(quán)重,這相當(dāng)于人工神經(jīng)網(wǎng)絡(luò)的記憶。網(wǎng)絡(luò)的輸出則依網(wǎng)絡(luò)的連接方式, 權(quán)重值和激勵函數(shù)的不同而不同。而網(wǎng)絡(luò)自身通常都是對自然界某種算法或者函數(shù)的逼近, 也可能是對一種邏輯策略的表達。

混沌分型理論:混沌(Chaos)和分形(Fractal)理論是非線性科學(xué)中的兩個重要概念, 研究非線性系統(tǒng)內(nèi)部的確定性與隨機性之間的關(guān)系?;煦缑枋龅氖欠蔷€性動力系統(tǒng)具有的一種不穩(wěn)定且軌跡局限于有限區(qū)域但永不重復(fù)的運動, 分形解釋的是那些表面看上去雜亂無章、變幻莫測而實質(zhì)上潛在有某種內(nèi)在規(guī)律性的對象,因此,二者可以用來解釋自然界以及社會科學(xué)中存在的許多普遍現(xiàn)象。其理論方法可以作為智能認知研究、圖形圖像處理、自動控制以及經(jīng)濟管理等諸多領(lǐng)域應(yīng)用的基礎(chǔ)。

自然計算分析:這種數(shù)據(jù)分析方法根據(jù)不同生物層面的模擬與仿真, 通??梢苑譃橐韵氯N不同類型的分析方法: 一是群體智能算法, 二是免疫算術(shù)方法,三是DNA算法。群體智能主要是對集體行為進行研究,免疫算法具有多樣性, 經(jīng)典的主要有反向、克隆選擇等,DNA 算法主要使屬于隨機化搜索方法, 它可以進行全局尋優(yōu),在實際的運用中一般都能獲取優(yōu)化的搜索空間,在此基礎(chǔ)上還能自動調(diào)整搜索方向,在整個過程中都不需要確定的規(guī)則,當(dāng)前DNA算法普遍應(yīng)用于多種行業(yè)中, 并取得了不錯的成效。

(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負任何法律責(zé)任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )

贊助商
2018-10-25
深度文章:初識智能數(shù)據(jù)分析
一、什么是智能數(shù)據(jù)分析?智能數(shù)據(jù)分析,它是指運用統(tǒng)計學(xué)、模式識別、機器學(xué)習(xí)、數(shù)據(jù)抽象等數(shù)據(jù)分析工具從數(shù)據(jù)中發(fā)現(xiàn)知識的分析方法。

長按掃碼 閱讀全文