Mar 162013
 

۹۱/۱۲/۲۶
ریاضیات یادگیری
چهار شنبه ۹۲/۳/۴ کلاس حضوری امتحان از رگرسیون میان ترم گرفته می شود

 آزمون فرض – فاصله اطمینان بایستی به صورت پیش فرض بدونید

رگرسیون چند گانه :
حالتی که p تا x داریم
x  ها میتونن تبدیلی از بقیه x  ها باشند
نا اریب هست
یک کمیت داریم MSE که یک جور ریسک هست ( امید تابع زیان )

Too many  Predictors
۱- روش subset selection  زیر مجموعه ای از متغیر ها را انتخاب میکنیم
۲- Cross Validation
۳- روش Shrinkage Methods ضرایب (Beta) را کوچک می کنیم به سمت صفر

 

بهتر است که نا اریب باشد.

نا اریب باشد یعنی خطا کم باشد ، واریانس کم باشد، امیدش با خودش برابر باشد.

همه x ها را در مدل می گذاریم ولی یک ضریب براشون می گذاریم
یکی از روش های شرینکیج Ridge Regression است
روش انقباظی
مجموع مربعات خطا می نیمم می کنیم با شرط اینکه جریمه در نظر میگیریم

از روش لاگرانژ

 

مزیت های Ridge :

مجموع توان ۲ پارامترها خیلی بزرگ نمی شود

لاندا را می توان با استفاده از روش Cross Validation محاسبه می کنیم و باید داده ها را باید استاندارد کنیم

رگرسیون ریج

 

رگرسیون لاسو هم مانند رگرسون ریج هست با این تفاوت که سیگمای بتا j ها  به توان ۲ کمتر از S

سیگمای قدر مطلق بتا ها را در نظر می گیریم  کمتر از S

رگرسیون لاسو تکنیک جدیدی است ولی ریج خیلی قدیمی است

فرمول رگرسیون لاسو

فرمول رگرسیون لاسو

 

 

 Leave a Reply

You may use these HTML tags and attributes: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>

(required)

(required)


+ 5 = six

با کلیک روی آگهی زیر مبلغ 400 ریال به حساب من واریز می گردد

با کلیک روی آگهی زیر مبلغ 1000 ریال به حساب من واریز می گردد