اسفند ۲۶۱۳۹۱
 

۹۱/۱۲/۲۶
ریاضیات یادگیری
چهار شنبه ۹۲/۳/۴ کلاس حضوری امتحان از رگرسیون میان ترم گرفته می شود

 آزمون فرض – فاصله اطمینان بایستی به صورت پیش فرض بدونید

رگرسیون چند گانه :
حالتی که p تا x داریم
x  ها میتونن تبدیلی از بقیه x  ها باشند
نا اریب هست
یک کمیت داریم MSE که یک جور ریسک هست ( امید تابع زیان )

Too many  Predictors
1- روش subset selection  زیر مجموعه ای از متغیر ها را انتخاب میکنیم
۲- Cross Validation
3- روش Shrinkage Methods ضرایب (Beta) را کوچک می کنیم به سمت صفر

 

بهتر است که نا اریب باشد.

نا اریب باشد یعنی خطا کم باشد ، واریانس کم باشد، امیدش با خودش برابر باشد.

همه x ها را در مدل می گذاریم ولی یک ضریب براشون می گذاریم
یکی از روش های شرینکیج Ridge Regression است
روش انقباظی
مجموع مربعات خطا می نیمم می کنیم با شرط اینکه جریمه در نظر میگیریم

از روش لاگرانژ

 

مزیت های Ridge :

مجموع توان ۲ پارامترها خیلی بزرگ نمی شود

لاندا را می توان با استفاده از روش Cross Validation محاسبه می کنیم و باید داده ها را باید استاندارد کنیم

رگرسیون ریج

 

رگرسیون لاسو هم مانند رگرسون ریج هست با این تفاوت که سیگمای بتا j ها  به توان ۲ کمتر از S

سیگمای قدر مطلق بتا ها را در نظر می گیریم  کمتر از S

رگرسیون لاسو تکنیک جدیدی است ولی ریج خیلی قدیمی است

فرمول رگرسیون لاسو

فرمول رگرسیون لاسو

 

 

اسفند ۲۲۱۳۹۱
 

۹۱/۱۲/۲۲
آزمون فرض

مثال :
میزان کارکرد کارمندان
نباید بی دلیل رد کنیم ، بنابراین از آزمون فرض استفاده می کنیم

یک فرض H0 داریم به صورت تساوی
Ha به صورت نامساوی (آزمون دوطرفه )

برای اینکه فرض H0 را بی دلیل رد نکنیم

مقادیری که خیلی به ندرت اتفاق می افتند ، به این مقادیر ناحیه
بحرانی گوییم

پس مراحل آزمون فرض
H0
Ha آلفا
n تعداد اعضای نمونه
انتخاب test
از آزمون Z در صورتی که میانگین جامعه معلوم باشد
در صورتی که میانگین جامعه معلوم نباشد از آزمون T استفاده می کنیم

مقادیر بحرانی را از جدول بدست می آوریم

————————-
Confidence Intervals VS Hypotheses Test
آزمون فرض VS فاصله اطمینان
دو نوع خطا داریم :
۱- فرض H0 را به ناحق رد کنیم ( خیلی بد است ) و باید الفا را کوچک
بگیریم
۲- فرض H0 نادرست باشد و رد نکنیم

در بعضی مسایل که آلفا را نداریم ، از p-value استفاده میکنیم
که احتمال رد فرض H0 به نا حق هست

—————————————–
Linear Space ( Vector Space )
فضا های برداری – ( فضا های خطی )
خیلی مهم است
یک مجموعه ای نا تهی از یک سری اعضا است

ویژگی های فضا های خطی :
نسبت به عمل جمع و ضرب بسته هست

۸ اصل جمع و ضرب
۱- خاصیت شرکت پذیری جمع
۲- خاصیت جابجایی جمع
۳- عضو خنثی جمع
۴- وجود عضو قرینه
۵- توزیع پذیری جمع نسبت به ضرب
۶- توزیع پذیری ضرب نسبت به جمع
۷- شرکت پذیری ضرب
۸- عضو خنثی ضرب
Linear Combination
ترکیب خطی
اگر c1 , c2 , …, cn هایی را پیدا کنیم که در بردار ضرب شود
ترکیب خطی می گوییم

میتونه یک ماتریس ترکیب خطی از ۲ ماتریس دیگه باشه

زیر فضای برداری

W زیر فضای برداری V هست به شرطی که زیر مجموعه V باشد
و W باید خواص بردار V را داشته باشد
عضو خنثی V را داشته باشد
مفهومspan مولد linear independence ،basis پایه ، cooridates مولفه

هر عضوی از V مثل f بتوانیم عدد c1 jتا cn داشته باشیم که
f=c1.f1+c2.f2+…+cn.fn

مستقل خطی :
بردار های f1 تا fn مستقل خطی هستند اگر به ازای c1f1+c2f2+…
+cnfn=0 باشد.
ترکیب خطی آنها صفر باشد

پایه :
اگر f1 تا fn بردار V را تولید کنند

مولفه :

(c1-d1).f1+…+(cn-dn).fn=0
b1.f1.+…+bn.fn=0
ci=dn

c1 تا cn مولفه نسبت به پایه f1 تا fn می گوییم

بعد ( Dimention (

تعداد اعضای f ها n تا که باشد
dim(V)=n
n بعد فضای برداری V هست

تعریف Finite فضا های برداری متناهی :
اگر فضای برداری پایه های متناهی داشته باشد فضای متناهی می
گوییم

تابع هموار : از تابع هر چقدر که مشتق بگیریم باز هم مشتق پذیر باشد

سوال : یک پایه برای فضای چند جمله ای های حداکثر از درجه n
مثل : x^4-1

 

 

اسفند ۲۱۱۳۹۱
 

۹۱/۱۲/۲۱
بهینه سازی – دکتر شمسی

مسایل مقید به قیود تساوی
( مسایل لاگرانژ )

min3x+2y^2

x-y=3

j=3x+2y^2+landa(x-y-3)

round j/round x =0 ==>

3+landa=0 ==> landa=-3

Round J /Round y = 0

==>4y-landa=0 ==> y=- ۳/۴

Round j/Rounad landa =۰ ==>  x-y-3=0  ==> 9/4

تابع لاگرانژین

قید تساوی را در لاندا ضرب
میکنیم

f=3×1-2×2^3-4×3

شرایط :

۲×۱-۲×۲=۵

x1-x3=4

L=3×1-2×2^3-4×3+landa1(2×1-2×2-5)+landa2(x1-x3-4)

لاگرانژ تعبیر هندسی هم نداره

۵ معادله و ۵ مجهول به دست می آید

Round L / Round x1=0

Round L / Round x2=0

Round L / Round x3=0

Round L / Round landa1=0

Round L / Round Landa2=0

——————————–
مسایل بهینه سازی مقید به قیود تساوی و نامساوی

در اینجا باز هم یک تابع هدف داریم
علاوه بر آن هم قید نامساوی داریم هم قید مساوی

این حالت کلی NLP برنامه ریزی غیر خطی گویند
Non Leinear Programming

شرایط لازم KKT برای می نیمم موضعی

اگر X* یک می نیمم موضعی برای … باشد

min f =3×1-x2^2+2×3^2
h قید : ۲×۱-x2+x3=0
g1 قید دیگر : x1>=0
g2 قید دیگر : x2-x3<=7

قبل از اینکه شرایط kkt را اعمال کنیم باید قید ها را به فرم استاندارد بنویسیم

قید دوم : -x1<=0
قید سوم : x2-x3-7<=0

gradian f +mu 1 gradian g1+mu 2 gradian g2 + landa gradian h =0

—————————————

 

اسفند ۲۱۱۳۹۱
 

در یادگیری ماشین یک سری ویژگی ها را باید به ماشین یاد
بدهید

یادگیری با ناظر
از قبل یک سری داده ها داریم
کلاس کلی داریم

somayeh.molaei@aut.ac.ir

supervised learning
unsupervised learning
semi-supervised learning
reinforcement learning

Application :

pplication:
Machine perception

Computer vision

Natural language processing

Syntactic pattern recognition

Search engines

Medical diagnosis

Bioinformatics

Brain-machine interfaces

Cheminformatics

Detecting credit card fraud

Stock market analysis

Classifying DNA sequences

Sequence mining

Speech and handwriting recognition

Object recognition in Computer vision

Game playing

Software engineering

Adaptive websites

Robot locomotion

Computational Advertising

Computational finance

Structural health monitoring.

Sentiment Analysis (or Opinion Mining).

Affective computing

Information Retrieval

Recommender systems
یک مقاله برای پیاده سازی + امتحان میان ترم ۴ اردیبهشت

اسفند ۱۹۱۳۹۱
 

۹۱/۱۲/۱۹

وقتی میگوییم رگرسیون خطی نسبت به بتا هست
پس در رگرسیون چند گانه خطی

صفحه ۴ از ۱۹
RSS بتا رو میشه به فرم ماتریسی نوشت
اگر y رو نسبت به x ها رسم کنیم میبینیم که
اگر از این رابطه نسبت به x مشتق بگیریم
فرضمان این است که توزیعشن نرمال هست

برآورد گری که بدست آوردیم یک برآورد گر خوب است ( نا اریب )

واریانسش هم کم هست

یک ترکیب خطی از تتا را بدست می اوریم
چون بتا هت را نداریم پس تتا هت هم مجهول است

Continue reading »

اسفند ۱۴۱۳۹۱
 

۹۱/۱۲/۱۴
بهینه سازی ریاضی بنیان

اثبات صفحه ۱۳ رو ازتون نمیخواهیم
مجموعه بردار های کاهشی درx-bar
همه نقاط کاهشی را با f (x-bar ) نمایش میدهیم

یک تحقیق انجام دهید
ایا مجموعه کاهشی محدب هست یا نه

شرایط لازم برای مینیمم موضعی

جهت کاهشی تند ترین شیب
هر وقت این بردار زاویه حاده بسازد ، ضرب داخلی آن
دستورکانتور contour در متلب این کار رو انجام میده
با دستور surf(x,y) می توانید شکل را رسم کنید و بجاش contour را بگذارید

Continue reading »

اسفند ۱۳۱۳۹۱
 

۹۱/۱۲/۱۳
بهینه سازی ریاضی بنیان
مرتضی بابایی – رشته علوم کامپیوتر
مبحث درس ریاضی ۲ را یک بار دوره کنید و خیلی هم جدی است. (ماتریس ها بردار ها )

یاد آوری
مسایل مقید مساوی ، مسایل مقید مساوی

درک مساله کانتور ها مربوط به چه تابعی هست

برای بهینه سازی یک نقطه را انتخاب می کردیم
بردار گردیان هم نقش مماس را برای ما بازی میکند

۲ روش برای حل مساله داریم
۱- روش ترسیمی : جهت کاهشی {اشتباه نوشته شده شدنی }( تک متغیره )
۲- روش جبری

Continue reading »

با کلیک روی آگهی زیر مبلغ 400 ریال به حساب من واریز می گردد

با کلیک روی آگهی زیر مبلغ 1000 ریال به حساب من واریز می گردد