فضای برداری : مجموعه نا تهی است که نسبت به جمع و ضرب
اسکالر بسته است

هر عدد آلفا یی از C یا R انتخاب کنیم

فضای برداری یا خطی
پس فضای n یک فضای برداری می سازد

عملگر مشتق در فضای برداری یک عملگر خطی است
———————————–
ترکیب خطی :
یک ترکیب خطی از بردار ها انتخاب می کنیم ci*fi

استقلال خطی :
اگر هر ترکیب خطی ازشون بسازیم که حاصلش صفر نشود

f1 تا fn پایه ای برای V هستند.

فضای چند جمله ای هم یک فضای برداری است

————————————————

مفهوم متر
در فضایی که داریم یک معیار اندازه گیری به اسم متر تعریف می کنیم
X*X که یک تابع نا منفی است

فضای متری : مثل متر اقلیدسی (فاصله دو نقطه در فضای دو بعدی )

در عدد حقیقی
مفهوم کامل بودن یک فضا :
یک دنباله را میگوییم کوشی است اگر از یک جایی به بعد خیلی نزدیک
به هم شود

یک فضا را می گوییم کامل است اگر حد کوشی داخلش باشد

مفهوم d = distance که متر هست تعریف کردیم

مفهمو نرم : در فضای برداری
نورم یک تبدیل است در فضای برداری که به اعداد حقیقی نسبت داده
می شود.
نورم مفهوم اندازه داره
فاصله بین دو چیز است
قدر مطلق الفا

—————————————————–
فضای باناخ

فضای باناخ : یک نوع خاصی از فضاهای برداری
فضایی است که نورم دارد و نسبت به این نورم کامل است
—————————————————–

مفهوم Dot Product
ضرب داخلی یک نگاشت است
که خطی هست

فضای هیلبرت یک فضای باناخ است ولی ضرب داخلی

یک ماتریس را می توان به دید

ترانهاده ماتریس
ماتریس متعامد (تک تک سطر هاش دو به دو نسبت به هم عمودمد )
اگر ضرب داخلی دو بردار صفر شود آنگاه آن دو بردار نسبت به هم عمودند

یک مجموعه مستقل خطی می سازند
کل تعداد سطر ها
رتبه ماتریس با درجه ماتریس برابر است
Full Rank است
——————————————————–
مفاهیم جبر خطی بسیار پر کاربرد هست
ماتریس معین مثبت ، مقادیر ویژه اش حتما مثبت است

تعریف نورم القایی
اگر ماتریس مربعی باشد …
[U Lambda O]=svd(M)
Lambda in Matlab, is a m*n matrix whose first n rows and all columns, construct a diagonal matrix having lambdas an the diagonal.

۹۲/۱/۱۷ ESL

اگر سیگما را نداشته باشیم باید برآورد کنیم SSE
برآوردسیگما ۲ می شود SSEتقسیم بر درجه آزادی

امتحان از آمار و رگرسیون هست
بطور مستقیم از آمار امتحان نمی آید
مشابه نمونه سوالاتی که خانم گرجی حل می کنند

پروژه هم انجام بدهید در فصل ۳
۸ سری داده هست
۴ نمره اضافی پروژه دارد
مهلت تحویل پروژه تا زمانی که میشه نمره ها رو قطعی کرد( تیر یا مرداد)
بهتر است ۲ تا متغیر در نظر بگیرید

روشهای Shrinkage

اسلاید ۱۱ از ۱۹
Ridge Regression
توزیع Yi به شرط بتا j
سیگمای بتا j^2 ها را در نظر میگیریم
————————————
امروز مبحث Lasso Regression را توضیح میدهیم
مجموع مربعات خطا را مینیمم میکنیم به شرط اینکه سیگمای قدر مطلق بتا j ها از یک مقداری کمتر باشد

تفاوت ریج و لاسو :
در ریج هیچ ضریبی صفر نمی شود  ولی در لاسو ممکن است ضرایب صفر شوند

در این ۳ روش پارامتر هایی دارند که باید آنها را مشخص میکنیم که به آن Cross Validation می گوییم

subset selection
df landa

می توانیم از تصویری از داده ها استفاده کنیم تا وضوح بهتری داشته باشیم

کاری که در Principal Component Regression انجام میدهیم تصویر سازی است
ماتریس مربع داریم که تجزیه میکنیم به دو ماتریس
ماتریس D (قطری) و ماتریس V ( اوتوگونال ) Di ها مقادیر ویژه هستند

اگر بتوانیم به این صورت بنویسیم از روش پرینسیپال به راحتی میتوانیم حل کنیم

Principal Component یعنی یک X داریم مولفه های اصلی اش را با تجزیه پیدا می کنیم

در واقع اگر دو بعد داشته باشیم p=2

یک سری داده داریم در قالب X1 , X2 که نقاط سبز را تشکیل می دهند

مولفه های اصلی D1 , D2 را پیدا کنیم

در این شکل نقطه ها در جهت D1 پراکنده شده اند

اگر بخواهیم متغیری را حذف کنیم بعد D2 را حذف می کنیم چون D1 مهم تر است

(اجباری هم در حذف بعد نیست )

مقادیر وِیژه را در متلب می توانیم با دستور (SVD(x’x محاسبه کنیم

به جای اینکه p تا Z داشته باشیم M تا Z را نگه میدارم
پس در Principal به جای اینکه بین x , z رگرسیون بگیرم بین y , z رگرس میکنم
M=p least Square
z=xv

کاهش بعد هم انجام داده می شود

۴ روش در این فصل گفتیم :

1. Subset Selection
2. Ridge Regression
3. Lasso Regression
4. Principal Component Regression

4 روشرگرسیون

معمولا روش ریج دقیق تر است
امتحان از فصل ۱ و ۳ هست

۹۱/۱۲/۲۲
آزمون فرض

مثال :
میزان کارکرد کارمندان
نباید بی دلیل رد کنیم ، بنابراین از آزمون فرض استفاده می کنیم

یک فرض H0 داریم به صورت تساوی
Ha به صورت نامساوی (آزمون دوطرفه )

برای اینکه فرض H0 را بی دلیل رد نکنیم

مقادیری که خیلی به ندرت اتفاق می افتند ، به این مقادیر ناحیه
بحرانی گوییم

پس مراحل آزمون فرض
H0
Ha آلفا
n تعداد اعضای نمونه
انتخاب test
از آزمون Z در صورتی که میانگین جامعه معلوم باشد
در صورتی که میانگین جامعه معلوم نباشد از آزمون T استفاده می کنیم

مقادیر بحرانی را از جدول بدست می آوریم

————————-
Confidence Intervals VS Hypotheses Test
آزمون فرض VS فاصله اطمینان
دو نوع خطا داریم :
۱- فرض H0 را به ناحق رد کنیم ( خیلی بد است ) و باید الفا را کوچک
بگیریم
۲- فرض H0 نادرست باشد و رد نکنیم

در بعضی مسایل که آلفا را نداریم ، از p-value استفاده میکنیم
که احتمال رد فرض H0 به نا حق هست

—————————————–
Linear Space ( Vector Space )
فضا های برداری – ( فضا های خطی )
خیلی مهم است
یک مجموعه ای نا تهی از یک سری اعضا است

ویژگی های فضا های خطی :
نسبت به عمل جمع و ضرب بسته هست

۸ اصل جمع و ضرب
۱- خاصیت شرکت پذیری جمع
۲- خاصیت جابجایی جمع
۳- عضو خنثی جمع
۴- وجود عضو قرینه
۵- توزیع پذیری جمع نسبت به ضرب
۶- توزیع پذیری ضرب نسبت به جمع
۷- شرکت پذیری ضرب
۸- عضو خنثی ضرب
Linear Combination
ترکیب خطی
اگر c1 , c2 , …, cn هایی را پیدا کنیم که در بردار ضرب شود
ترکیب خطی می گوییم

میتونه یک ماتریس ترکیب خطی از ۲ ماتریس دیگه باشه

زیر فضای برداری

W زیر فضای برداری V هست به شرطی که زیر مجموعه V باشد
و W باید خواص بردار V را داشته باشد
عضو خنثی V را داشته باشد
مفهومspan مولد linear independence ،basis پایه ، cooridates مولفه

هر عضوی از V مثل f بتوانیم عدد c1 jتا cn داشته باشیم که
f=c1.f1+c2.f2+…+cn.fn

مستقل خطی :
بردار های f1 تا fn مستقل خطی هستند اگر به ازای c1f1+c2f2+…
+cnfn=0 باشد.
ترکیب خطی آنها صفر باشد

پایه :
اگر f1 تا fn بردار V را تولید کنند

مولفه :

(c1-d1).f1+…+(cn-dn).fn=0
b1.f1.+…+bn.fn=0
ci=dn

c1 تا cn مولفه نسبت به پایه f1 تا fn می گوییم

بعد ( Dimention (

تعداد اعضای f ها n تا که باشد
dim(V)=n
n بعد فضای برداری V هست

تعریف Finite فضا های برداری متناهی :
اگر فضای برداری پایه های متناهی داشته باشد فضای متناهی می
گوییم

تابع هموار : از تابع هر چقدر که مشتق بگیریم باز هم مشتق پذیر باشد

سوال : یک پایه برای فضای چند جمله ای های حداکثر از درجه n
مثل : x^4-1

رگرسیون
یک سری ورودی داریم
یک سری خروجی داریم

در رگرسیون دنبال رابطه خطی بین ورودی ها و خروجی ها هستیم
ضرایب رگرسیون را تشخیص بدیم

مدل چیست ؟
چند نوع مدل داریم ؟

مدل : نمایش دهنده بعضی پدیده ها هست
مدل تعیینی : به صورت دقیق ریاضی هست ( مثل : نیرو = شتاب * جرم )
مدل احتمالی : بعضی قسمت های مدل احتمالی تعیینی است + درصدی خطا

که ممکن است این خطا ناشی از اندازه گیری باشد

مدل رگرسیونی : یعنی خطای تصادفی در مساله داریم

مدل رگرسونی که پیدا میکنیم رابطه بین متغیر ها

متغیر های وابسته dependent ( متغیر های پاسخ )(متغیر output)
متغیری است که باید پیش بینی کنیم

مثال : تاثیر تبلیغ در فروش

کاربرد آن برای پیشبینی ( estimation ) است

باید متغیر های مساله را مشخص کنیم
ابتدا فرض میکنیم که رابطه خطی است

انواع رگرسیون :
۱- رگرسیون ساده ( یک متغیر وابسته – یک متغیر مستقل )
۱-۱ رگرسیون ساده خطی
۱-۲ رگرسیون ساده غیر خطی

۲- رگرسیون چند گانه ( بیش از ۲ متغیر مستقل داشته باشیم

صفحه ۲۸ فرمول
در مدل تعیینی
Y(i)=B(0)+B(1)X(i)+e(i)

e خطای تصادفی
X = رگرسور Input
Y = output
۰ beta = عرض از مبدا
beta 1 شیب خط
صفحه ۳۴
در نمونه آماری ما نقطه هایی را در نظر میگیرم و خط را تخمین میزنیم
e(i) خطای
معادله خط را بر آورد کردیم

خطی را که پیدا میکنیم باشد اپسیلون های کمتری داشته باشد

بهترن برازش (خط ) را باید پیدا کنیم
برازشی بهتر است که فاصله بین y و y^ کمترین باشد
خطی خوب است که مجموع مربعات خطا کمترین باشد List Square minimun (SSE)

اگر هیچ هزینه ای برای تبلیغ نکنیم میزان فروش -۰٫۱ می شود

با نرم افزار متلب انجام میدیم

X بار یعنی میانگین