Loading presentation...

Present Remotely

Send the link below via email or IM

Copy

Present to your audience

Start remote presentation

  • Invited audience members will follow you as you navigate and present
  • People invited to a presentation do not need a Prezi account
  • This link expires 10 minutes after you close the presentation
  • A maximum of 30 users can follow your presentation
  • Learn more about this feature in our knowledge base article

Do you really want to delete this prezi?

Neither you, nor the coeditors you shared it with will be able to recover it again.

DeleteCancel

Make your likes visible on Facebook?

Connect your Facebook account to Prezi and let your likes appear on your timeline.
You can change this under Settings & Account at any time.

No, thanks

Ridge Regression & Nonlinear Regression

No description
by

蓁宜 劉

on 23 May 2014

Comments (0)

Please log in to add your comment.

Report abuse

Transcript of Ridge Regression & Nonlinear Regression

簡介
Ridge Regression &
Nonlinear Regression


當採用最小二乘法時, 表達是如下


採用最小二乘法定義損失為殘差的平方,最小損失函數為


採公式直接求解


當X中的某些列具有共線性則 近似於0,誤差提升
定義
通常嶺回歸方程的R平方值會稍低於普通回歸分析,但回歸係數的顯著性往往明顯高於普通回歸,在存在共線性問題和病態數據偏多的研究中有較大的實用價值。

1. 當自變數間有共線性

2. 當自變數多於資料量

應用
程式
load acetylene
X=[x1 x2 x3];
b=ridge(y,X,100)
plot(y);hold on;
y1=b(1)*x1+b(2)*x2+b(3)*x3;
plot(y1)
答案
b =
1.2971
0.4976
-1.2408
如何在matlab使用
非線性回歸是一種回歸分析的形式,適用於不適合做線性分析的函數 , 像是指數函數,對數函數,三角函數,幕函數,高斯函數, 洛倫茲函數
簡介

一般先將非線性化模型為線性模型,然後再用最小二乘法求出參數的估計值,最後再經過適當的變換,得到所求回歸曲線。

舉例來說
原理
程式:
x=4:0.1:12;
y=8*sin(x).*exp(x)+12.*log(x);
a=[0 1];
f=@(a,x)a(1)*sin(x).*exp(2*x)+a(2).*log(x);
a=nlinfit(x,y,f,a)
plot (x,y);hold on;
y1=a(1)*sin(x).*exp(2*x)+a(2).*log(x);
plot(x,y1);
結果:
a =

1.0e+004 *

0.0000 -1.5576
matlab tool中的nlinfit使用方法
Outline
Ridge Regression

簡介

定義

應用

如何在matlab使用




Ridge Regression
Nonlinear Regression
Nonlinear Regression

簡介

原理

matlab tool 中的nlinfit使用方法







Ridge regression,又稱Tikhonov regularization,中文翻譯為嶺回歸或脊回歸,是一種專用於共線性數據分析的有偏估計回歸方法,實質上是一種改良的最小二乘估計法,通過放棄最小二乘法的無偏性,以損失部分信息、降低精度為代價獲得回歸係數更為符合實際、更可靠的回歸方法,對病態數據的擬合要強於最小二乘法。

當自變量間存在共線性時, 迴歸係數估計的平方差, 就會不穩定,
舉例來說已知x1 x2 和y的關係服從線性回歸模型如下
最小二乘法回歸共線性所帶來的問題
對x1 x2 y做最小二乘法做回歸分析
假設不知道回歸係數與誤差, 使用做小二成法求回歸係數會得到


而原模型參數為


發現相差太大, 計算x1和x2樣本相關係數差為0.986,x1和x2間高度相關

為解決上述問題, 需要將不適定問題轉世定問題, 所以為上述的損失函數加上一個正規畫


且定義

所以得到

Full transcript