۹۱/۱۲/۱۹
وقتی میگوییم رگرسیون خطی نسبت به بتا هست
پس در رگرسیون چند گانه خطی
صفحه ۴ از ۱۹
RSS بتا رو میشه به فرم ماتریسی نوشت
اگر y رو نسبت به x ها رسم کنیم میبینیم که
اگر از این رابطه نسبت به x مشتق بگیریم
فرضمان این است که توزیعشن نرمال هست
برآورد گری که بدست آوردیم یک برآورد گر خوب است ( نا اریب )
واریانسش هم کم هست
یک ترکیب خطی از تتا را بدست می اوریم
چون بتا هت را نداریم پس تتا هت هم مجهول است
چرا بتا را بدست نمی آورم و آپریم
بتا هت برآوری برای تتا هست
اگه امید ریاض حساب کنم خیلی راحت میشه حسابش کرد
در کلاس براورد گر های بتا هت دارای کمترین واریانس
هست
وقتی بخواهیم بگوییم که یک برآوردگر خوب هست یانه
کمترین مربعات خطا را داشته باشد
چونکمترین مربعات خطا را در کل جامعه می خواهیم ( به
جای نمونه آماری )
به جای میانگین که میگرفتیم حالا امید ریاضی میگیریم
صفحه ۶ bias-variance
برای اینکه ساده کنم و به فرم واریاس در بیاورم
واریانس = امید x منهای میانگین به توان ۲
MSE ریسک
هر چه کمتر باشد بهتر است
تابع زیان loss Function : (Teta hat-Teta)^2
Risk =E(Loss)
|Teta hat-teta|
هر چه بتوانیم تعداد x ها را کمتر میکنیم تا تعداد مجهول ها
کمتر بشه
و ممکنه حتی دترمینان صفر بشه
متغیر هایی که مهم تره رو نگه میداریم
مثلا ۵۰ تا متغیر که وارد مدل می شود فقط ۵ تا رو نگه
میداریم ( در متلب خودش با دستور Stepwise انجام میدهد)
روش دیگر هم اینست که بجای اینکه روی x کار کنیم روی
تصویر x کار میکنیم
روش سوم هم این است که ضریبی را در متغیر ها ضرب
کنیم که اثر متغیر ها را کم کند
صفحه ۸
روش subset selection
فرض کنیم که p تا متغیر وارد مدل می خواهیم بکنیم
به ازای هر متغیر که وارد کردیم RSS را حساب میکنیم
مثلا ۸ تا متغیر که دارم ۸ تا مدل خروجی داریم
همه ۲۸ حالت ها را در نظر میگیرم
ترکیب متغیر ۱ و ۲
یا ترکیب متغیر ۱ و ۳
در اینجا چون RSS خیلی تغییر نکرد بنابراین فقط ۲ ت امتغیر
را نگه میداریم
کتاب داده کاوی جلد آبی – را بگیرید
امتحان میان ترم ۵ اردیبهشت است ۱۰ تا ۱۲
از رگرسیون و آمار
۱۰ نمره میان ترم
۱۰ نمره پایان ترم
۴ نمره هم تمرین و پروژه