前言：人工智能機(jī)器學(xué)習(xí)有關(guān)算法內(nèi)容，請(qǐng)參見(jiàn)公眾號(hào)之前相關(guān)文章。人工智能之機(jī)器學(xué)習(xí)主要有三大類(lèi)：1）分類(lèi)；2）回歸；3）聚類(lèi)。今天我們重點(diǎn)探討一下回歸模型（RM）。
回歸不是單一的有監(jiān)督學(xué)習(xí)技術(shù)，而是許多技術(shù)所屬的整個(gè)類(lèi)別。回歸的目的是預(yù)測(cè)數(shù)值型的目標(biāo)值，如預(yù)測(cè)商品價(jià)格、未來(lái)幾天的PM2．5等。最直接的辦法是依據(jù)輸入寫(xiě)出一個(gè)目標(biāo)值的計(jì)算公式，該公式就是所謂的回歸方程（regressionequation）。求回歸方程中的回歸系數(shù)的過(guò)程就是回歸?；貧w是對(duì)真實(shí)值的一種逼近預(yù)測(cè)。回歸是統(tǒng)計(jì)學(xué)中最有力的算法之一。
回歸概念：
回歸是一個(gè)數(shù)學(xué)術(shù)語(yǔ)，指研究一組隨機(jī)變量（Y1，Y2 ，…，Yi）和另一組（X1，X2，…，Xk）變量之間關(guān)系的統(tǒng)計(jì)分析方法，又稱多重回歸分析。其中， X1、X2，…，Xk是自變量，Y1，Y2，…，Yi是因變量。
回歸模型：
回歸模型（Regression Model）對(duì)統(tǒng)計(jì)關(guān)系進(jìn)行定量描述的一種數(shù)學(xué)模型。它是一種預(yù)測(cè)性的建模技術(shù)，研究的是因變量（目標(biāo)）和自變量（預(yù)測(cè)器）之間的關(guān)系。這種技術(shù)通常用于預(yù)測(cè)分析，時(shí)間序列模型以及發(fā)現(xiàn)變量之間的因果關(guān)系。
回歸分析：
回歸模型重要的基礎(chǔ)或者方法就是回歸分析。回歸分析是研究一個(gè)變量（被解釋變量）關(guān)于另一個(gè)（些）變量（解釋變量）的具體依賴關(guān)系的計(jì)算方法和理論，是建模和分析數(shù)據(jù)的重要工具?；貧w分析是用已知樣本對(duì)未知公式參數(shù)的估計(jì)，給出一個(gè)點(diǎn)集D，用一個(gè)函數(shù)去擬合這個(gè)點(diǎn)集，并且使得點(diǎn)集與擬合函數(shù)間的誤差最小。
回歸分類(lèi)：
在統(tǒng)計(jì)學(xué)中，回歸分析（regression analysis）指的是確定兩種或兩種以上變量間相互依賴的定量關(guān)系的一種統(tǒng)計(jì)分析方法?；貧w分析按照涉及的變量多少，分為一元回歸和多元回歸分析；按照因變量的多少，可分為簡(jiǎn)單回歸分析和多重回歸分析；按照自變量和因變量之間的關(guān)系類(lèi)型，可分為線性回歸分析和非線性回歸分析。
常見(jiàn)的回歸種類(lèi)有：線性回歸、曲線回歸、邏輯回歸等。
線性回歸：
如果擬合函數(shù)為參數(shù)未知的線性函數(shù)，即因變量和自變量為線性關(guān)系時(shí)，則稱為線性回歸。
通過(guò)大量訓(xùn)練，得到一個(gè)與數(shù)據(jù)擬合效果最好的模型，可利用一些算法（比如最小二乘法、梯度下降法等）和工具（SPSS）來(lái)更快更好的訓(xùn)練出適用的線性回歸模型。實(shí)質(zhì)是求解出每個(gè)特征自變量的權(quán)值θ。
在訓(xùn)練過(guò)程中，特征選擇，擬合優(yōu)化等都需要考慮。
最終目標(biāo)是確定每個(gè)權(quán)值（參數(shù)）θ或者通過(guò)算法逼近真實(shí)的權(quán)值（參數(shù)）θ。
需要注意的是，線性回歸不是指樣本的線性，樣本可以是非線性的，而是指對(duì)參數(shù)θ的線性。
線性回歸問(wèn)題：可能會(huì)出現(xiàn)欠擬合、非滿秩矩陣問(wèn)題等。
解決方法：解決欠擬合問(wèn)題，可采用局部加權(quán)線性回歸LWLR（Locally Weighted Linear Regression）。解決非滿秩矩陣問(wèn)題，可使用嶺回歸RR（ridge regression）、Lasso法、前向逐步回歸等。
算法優(yōu)點(diǎn)：
1）最可解釋的機(jī)器學(xué)習(xí)算法之一，理解與解釋都十分直觀；
2）易于使用，因?yàn)樾枰钚〉恼{(diào)諧；
3）運(yùn)行快，效率高；
4）最廣泛使用的機(jī)器學(xué)習(xí)技術(shù)。
非線性回歸：
如果擬合函數(shù)為參數(shù)未知的非線性函數(shù)，則稱為非線性或曲線回歸。非線性函數(shù)的求解一般可分為將非線性變換成線性和不能變換成線性兩大類(lèi)。
1） 變換成線性：處理非線性回歸的基本方法。通過(guò)變量變換，將非線性回歸化為線性回歸，然后用線性回歸方法處理。一般采用線性迭代法、分段回歸法、迭代最小二乘法等。
2）不能變換成線性：基于回歸問(wèn)題的最小二乘法，在求誤差平方和最小的極值問(wèn)題上，應(yīng)用了最優(yōu)化方法中對(duì)無(wú)約束極值問(wèn)題的一種數(shù)學(xué)解法——單純形法。該算法比較簡(jiǎn)單，收斂效果和收斂速度都比較理想。
常見(jiàn)的非線性回歸模型：1）雙曲線模型；2）冪函數(shù)模型；3）指數(shù)函數(shù)模型；4）對(duì)數(shù)函數(shù)模型；5）多項(xiàng)式模型。
12下一頁(yè)>（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
