نادی

برنامه نویس و تحلیل گر داده علاقه مند به موتور های جستجوی مفهومی

May 212013
 

SVM
Support Vector Mchine
ماشین بردار پشتیبان
شهرت این روش بخاطر تشخیص نوشته های دست نویسOCR بوده

از روش های شبکه عصبی بهتر بوده

SVM( جزو شاخه Kernel Method است )
شبکه عصبی به دنبال خطی بود که بتواند دسته بندی کند
در شبکه عصبی wi ها را update می کرد تا دقیق تر شود ( persepptorant

هدف  : (Clustering – دسته بندی – Ranking – پاکسازی)

مسایل :نمایش الگو های پیچیده – پرهیز از overfitting )

 

اگر دو کلاس مثبت و منفی داریم  باید بتوانیم با SVM از هم جدا کنیم

جدا کننده های مختلفی امکان دارد که باشد  ولی کدام جدا کننده از همه بهتر است : خطی که از خط های مرزی بیشتری فاصله را داشته باشد.

معادله خط : w1X1+w2X2+b=0

که برای حال n بعدی هم قابل تعمیم است

آیا کاربرد ماشین بردار پشتیبان برای نقاطی هست که کاملا از هم تفکیک هستند ؟ خیر ، با ترسیم فضای چند بعدی می توان با این روش تفکیک را انجام داد.
این جلسه تا ابتدای فرمول ها

 

چند لینک مرتبط با  SVM

http://www.qub.ac.uk/research-centres/EPIC/Research/IntelligentSystems/AdvancedLearningAlgorithmforMicroarraryDataAnalysis/

http://www.statsoft.com/textbook/support-vector-machines/

http://research.microsoft.com/en-us/groups/vgv/

http://www.idsia.ch/~juergen/rnn.html

http://jmlr.org/papers/volume1/mangasarian01a/html/node2.html

http://www.jvrb.org/past-issues/3.2006/760

http://docs.opencv.org/doc/tutorials/ml/introduction_to_svm/introduction_to_svm.html

May 112013
 
زمان ارزیابی دروس نیمسال دوم ۹۲-۹۱  

دانشجویان گرامی:

ارزیابی دروس از طریق وب از تاریخ ۲۱/۲/۹۲ تا ۳/۳/۹۲ اجرا می گردد. دفتر نظارت و ارزیابی توجه دانشجویان محترم را به نکات زیر جلب می‌نماید.

v               در جهت صرفه جویی در وقت، حوصله و تأمل بیشتر، از نیمسال تحصیلی اول ۹۲-۹۱ تعداد سئوالات ارزیابی کلیه دروس تئوری و عملی اصلاح و کاهش یافته است.

v               دقت در پاسخگویی به سئوالات، مشارکت همه جانبه و ارائه پیشنهادات سازنده در بهبود کیفیت آموزش و امر تدریس دانشگاه بسیار مؤثر می باشد.

v               نظرات شما بدون ثبت اطلاعات فردی ذخیره و مورد ارزیابی قرار خواهد گرفت.

v               خواهشمند است شخصاً اقدام به انجام ارزیابی نمایید.

تذکر: ارزیابی کلیه دروس ثبت نامی برای تمامی دانشجویان الزامی می‌باشد و در صورت عدم انجام، مشاهده کارنامه در پورتال آموزشی امکان‌پذیر نخواهد بود.

از همکاری شما متشکریم

دفتر نظارت و ارزیابی و برنامه ریزی دانشگاه

لینک ارزیابی اساتید :

https://portal.aut.ac.ir/

Apr 302013
 

۹۱/۰۲/۱۰

فصل ۸ – ژنتیک

الگوریتم زنتیک و کاربرد آن در یادگیری ماشین

تکامل طبیعی (قانون انتخاب طبیعی داروین)

الگوریتم ژنتیک
مجموعه ای از افراد داریم
هر فردی خصوصیاتی دارند
هر ژن ویژگی های خاصی را میتواند رمز کند

هر کروموزوم دارای مجموعه ای خواص ژنتیکی هست.

ساختار الگوریتم های ژنتیک

مساله –>مدلسازی مساله –> تشکیل جمعیت اولیه –> جستجوی ژنتیکی–> جواب

نحوه کدکردن مساله خیلی مهم است
چون در تمامی مراحل از همین کد و دی کد استفاده می کنیم

معمولا از روش باینری استفاده می کنیم

صفحه ۱۲ از ۳۲
بازنمایی
فضایی از مساله داریم

جمعیت ، مجموعه از راه حل ها ( کروموزوم ها )

ارزیابی جمعیت – Fitness

بهینه کردن شایستگی ها

انتخاب Selection (انتخاب والدین )

روش های انتخاب والدین :
۱- انتخاب تمام جمعیت به عنوان والدین
۲- انتخاب تصادفی
۳- روشهای دیگر
۳-۱ انتخاب مناسب ترین هر اجتماع
۳-۲ چرخ رولت – مبتنی بر شایستگی
۳-۳ Scaling Selection
۳-۴ Tournoment Selection

عملگر های الگوریتم ژنتیک
ترکیب مجدد (Crossover)

چندین روش برای ترکیب هست

۱- ترکیب تک نقطه ای ( از یک قسمت ژنوم هر کدام از والد ژنوم را تقسیم کنیم و با هم ترکیب کنیم )

۲- ترکیب دو نقطه ای ( در چند نقطه می تواند ژنوم ها ترکیب شود )

۳- ترکیب بر اساس مدل

جهش ژنتیک : اگریکی از بیت ها مخالف والدین باشد

شرط خاتمه

مزایای GA

مشکل Crowding
راه حل های Crowding :
۱- استفاده از ranking
۲- Fitness sharing

 

کاربرد الگوریتم ژنتیک در یادگیری ماشین

 
Apr 292013
 

۹۲/۰۲/۰۹
optimization
الگوریتم ژنتیک

ژنوم یا کروموزوم

min x1^2 + x2^3

الگوریتم های هیوریستیک روی مسایل
گسسته بهتر عمل می کنند

ناحیه شدنی مسایل گسسته نقطه
نقطه هست
اکر نقطه بهینه ما روی نقاط قرار نگرفته
باشد ، نزدیک ترین نقطه به نقطه بهینه
جواب ما می شود

با ۹ بیت ژنوم را می توان نمایش داد
(کد گزاری)
magic matrix جواب مساله جلسه حضوری است
در کد کردن :
x={0,1,2,3,4,…,31}
xhat={1,1.1,1.2,1.3,…,3}

x=1+xhat/10
یک روش برای کد کردن کروموزوم است

 

Apr 272013
 

۹۱/۰۲/۰۷ ESL

 

معادله اصلی قضیه بیز

فرض می‌کنیم B_1,... ,B_k یک افراز برای فضای نمونه ای S تشکیل دهند. طوری که به ازای هر j=1,... ,k، داشته باشیم P(B_j)>0 و فرض کنید A پیشامدی با فرض P(A)>0 باشد، در اینصورت به ازای i=1,... ,k، داریم:

P(B_i|A) = \frac{P(B_i) \, P(A|B_i)}{\sum_{j=1}^k P(B_j) \,P(A|B_j)}

 

تصمیم بیز : تصمیمی است که ریسک بیز آن کمترین باشد

تابع ریسک بیز

ریسک پسین
چگالی پیشین اطلاعاتی که از قبل داریم
چگالی پسین ، احتمال شرطی به شرط تتا
اگر تصمیم بیز داشته باشیم
ریسک پسین کمترین مقدار خودش را دارد

اگر تابع زیان درجه ۲ باشد می نیمم بیز E(teta|x) است

E(L(teta , d)

 

احتمال پیشین

 

در آمار، توزیع احتمال پیشین یک کمیت احتمالاتی مانند q (که مثلاً میزان رای به یک نامزد انتخابات را مدل می کند.) یک  توزیع احتمالاتی است که میزان عدم قطعیت یک فرد را در مورد آن کمیت قبل از مشاهده داده نشان می دهد.

کمیت احتمالاتی می تواند پارامتر یا متغیر نهان باشد.

با استفاده از قضیه بیز می‌توان احتمال پیشین را در درستنمایی داده مشاهده‌شده ضرب و پس از نرمالیزه کردن توزیع احتمال پسین را به‌دست آورد.

احتمال پیشین کاملاً به نظر متخصص داده و آگاهی قبلی او در مورد داده بستگی دارد.

 

احتمال پسین

در آمار بیزی، توزیع احتمال پسین یک کمیت احتمالاتی توزیع احتمالی است پس از مشاهده شواهد (داده ). به عبارت دیگر، توزیع احتمال پسین احتمال شرطی آن کمیت است به شرط دیدن داده.

به بیان ریاضی: احتمال پسین یک پارامتر \theta پس از مشاهده داده X برابر است با P(\theta|X). اگر P(\theta) احتمال پیشین \theta، یعنی آگاهی پیشین ما در مورد \theta، را نشان دهد، با استفاده از قاعده بیز می‌توان نوشت:

p(\theta|X) = \frac{p(\theta)p(X|\theta)}{p(X)}.

که در آن p(X|\theta) درستنمایی داده را نشان می‌دهد. برای به خاطر سپردن این رابطه می‌توان به صورت زیر نیز فکر کرد:

\text{Posterior probability} \propto \text{Prior probability} \times \text{Likelihood}

برای امتحان ۱ خرداد فصل ۳ ( رگرسیون subset selection  , Ridge , Lasso , PCR) و تصمیم آماری تا ابتدای تصمیم روا ( ابتدای فصل ۶ گرفته می شود.

 

فصل ۶ و ۷ برای پایان ترم امتحان گرفته می شود

 

کتاب تصمیم آماری دکتر بهبودیان را بگیرید 

شماره تلفن کتابفروشی که دوستان در اختیار گذاشتند :
۶۶۴۰۵۴۰۳
۶۶۴۷۵۷۹۴

 

منبع : ویکی پدیا

قضیه بیز :

http://fa.wikipedia.org/wiki/%D9%82%D8%B6%DB%8C%D9%87_%D8%A8%DB%8C%D8%B2

احتمال پیشین :

http://fa.wikipedia.org/wiki/%D8%A7%D8%AD%D8%AA%D9%85%D8%A7%D9%84_%D9%BE%DB%8C%D8%B4%DB%8C%D9%86

احتمال پسین : 

http://fa.wikipedia.org/wiki/%D8%A7%D8%AD%D8%AA%D9%85%D8%A7%D9%84_%D9%BE%D8%B3%DB%8C%D9%86

 

 

img/daneshnameh_up/9/9f/aaaaaaaa.png
توزیع فراوانی توزیع نرمال به ازای واریانس های مختلف

توزیع نرمال ، یکی از مهمترین توزیع ها در نظریه احتمال است. و کاربردهای بسیاری در علمفیزیک و مهندسی دارد.این توزیع توسط کارل فریدریش گاوس در رابطه با کاربرد روش کمترین مربعات در آمارگیری کشف شد.فرمول آن بر حسب ،دو پارامتر امید ریاضی و واریانس بیان میشود. همچنین تابع توزیع نرمال یا گاوس از مهمترین توابعی است که در مباحث آمار و احتمالات مورد بررسی قرار می گیرد چرا که به تجربه ثابت شده است که در دنیای اطراف ما توزیع بسیاری ازمتغیرهای طبیعی از همین تابع پیروی می کنند.

منحنی توزیع

منحنی رفتار این تابع تا حد زیادی شبیه به زنگ های کلیسا می باشد و به همین دلیل به آن Bell Shaped هم گفته میشود. با وجود اینکه ممکن است ارتفاع و نحوه انحنای انواع مختلف اینمنحنی یکسان نباشد اما همه آنها یک ویژگی یکسان دارند و آن مساحت واحد می باشد.
ارتفاع این منحنی با مقادیر میانگین () و انحراف معیار() ارتباط دارد. با وجود فرمول نسبتا” پیچیده و دخیل بودن پارامترهای ثابتی چون عدد (p) یا عدد (e) در این فرمول، می توان از آن برای مدل کردن رفتار میزان IQ، قد یا وزن انسان، پراکندگی ستارگان در فضا و … استفاده کرد.

img/daneshnameh_up/6/69/normal-1.gif
سطح زیر منحنی نرمال برای مقادیر متفاوت
مقدار میانگین و واریانس

این منحنی دارای خواص بسیار جالبی است از آن جمله که نسبت به محور عمودی متقارن می باشد، نیمی از مساحت زیر منحنی بالای مقدار متوسط و نیمه دیگر در پایین مقدار متوسط قرار دارد و اینکه هرچه از طرفین به مرکز مختصات نزدیک می شویم احتمال وقوع بیشتر می شود.

سطح زیر منحنی نرمال برای مقادیر متفاوت مقدار میانگین و واریانس فراگیری این رفتار آنقدر زیاد است که دانشمندان اغلب برای مدل کردن متغیرهای تصادفی که با رفتار آنها آشنایی ندارند، از این تابع استفاده می کنند. بعنوان یک مثال در یک امتحان درسی نمرات دانش آموزان اغلب اطراف میانگین بیشتر می باشد و هر چه به سمت نمرات بالا یا پایین پیش برویم تعداد افرادی که این نمرات را گرفته اند کمتر می شود. این رفتار را بسهولت می توان با یک توزیع نرمال مدل کرد.

تابع چگالی احتمال

تابع چگالی احتمال برای توزیع نرمال بر حسب امید ریاضی و واریانس تعریف میشود.و تابع آن به صورت زیر است:

اگر در این فرمول  باشد در این صورت به آن تابع توزیع نرمال استاندارد گویند. در این حالت تابع توزیع به صورت زیر خواهد بود:

کاربردها

از مهمترین کاربردهای این تابع توزیع در دانش اقتصاد و مدیریت امروز می توان به مدل کردن پورتفولیوها (Portfolios) در سرمایه گذاری و مدیریت منابع نام برد. هنگامی که مقدار منفی برای متغییر معنی نداشته باشد معمولا” در محور x منحنی را منقل می کنند و مقدار میانگین – که دارای بیشترین احتمال وقوع هست – را به سمت مقادیر بزگتر شیفت میدهند.

img/daneshnameh_up/b/ba/chegali.gif

مرجع : مجله رشد

http://daneshnameh.roshd.ir/mavara/mavara-index.php?page=%D8%AA%D9%88%D8%B2%DB%8C%D8%B9+%D9%86%D8%B1%D9%85%D8%A7%D9%84&SSOReturnPage=Check&Rand=0

Apr 232013
 

امتحان ۱۰ صبح روز چهارشنبه ۹۲/۰۲/۰۴ برگزار خواهد شد.

امتحان از ۵ فصل اول خواهد آمد

  1. مقدمه
  2.  یادگیری مفهوم
  3. درخت تصمیم
  4. شبکه های عصبی مصنوعی
  5. ارزیابی فرضیه

نمونه هایی از حل تمرین یادگیری ماشین مربوز به فصل ۴ ( شبکه های عصبی ) که خانم مهندس مولایی تدریس یار محترم زحمت کشیدند را ملاحظه بفرمایید.

perceptron5_resize

 

qanoon (1)_resize perceptron6_resize  Machine Learning Trainingperceptron4_resize perceptron3_resize perceptron2_resize perceptron1_resize nn-moqadamati_resize nn-1 (2)_resize nn-1 (1)_resize feedforward-4_resize feedforward-3 (2)_resize feedforward2_resize feedforward-1_resize 1 009_resizeMachine Learning Training qanoon (1)_resize nn-moqadamati_resize perceptron1_resize perceptron2_resize perceptron3_resize perceptron4_resize perceptron5_resize perceptron6_resize nn-1 (2)_resize nn-1 (1)_resize feedforward-4_resize feedforward-3 (2)_resize feedforward2_resize feedforward-1_resize 1 009_resize

Apr 212013
 

الگوریتم SA
GA الگوریتم

در فضای ۳ بعدی ممکن است بعضی نقاط مینی مم باشد و بعضی نقاط ماکزیمم

کانتور آنرا کشیده ایم
الگوریتم متا هیوریستیک

exploration یک الگوریتم یعنی تمام مساله را بررسی کند
explotation توانایی پروراندن پاسخ های فعلی

یعنی کنار جوابی را که پیدا کردم خوب بتونم بگردم
Population

۱- تپه نوردی
Simulated Analing
PSI
Ant Colony

 

در الگوریتم SA یک فرمول داریم :
احتمال اینکه یک جواب بد را بپذیرم
T اول الگوریتم یک مقدار بزرگ مثلا برابر ۱۰۰ هست

الگوریتم شبیه سازی تبرید

چه وقتی دلتا اف منفی است ؟

۴ شنبه یک مساله TSA می سازیم و حل می کنیم

swap –
reversion
insertion
در SA استفاده می شود

چهارشنبه ۴ اردیبهشت ساعت ۲ تا ۴ با دکتر شمسی
و۴ تا ۸ با اقای بابایی کلاس جبرانی برگزار می شود

 

Apr 212013
 

همکلاسی های گرامی به اطلاع میرساند خانم دکتر امین غفاری امتحان میان ترم را به در خواست دوستان به کلاس حضوری خرداد ۹۲ موکول کردند.

موفق باشید.

اینشالله همه ۲۰ بشید.

محمد نادی

 

Apr 062013
 

۹۲/۱/۱۷ ESL

اگر سیگما را نداشته باشیم باید برآورد کنیم SSE
برآوردسیگما ۲ می شود SSEتقسیم بر درجه آزادی

امتحان از آمار و رگرسیون هست
بطور مستقیم از آمار امتحان نمی آید
مشابه نمونه سوالاتی که خانم گرجی حل می کنند

پروژه هم انجام بدهید در فصل ۳
۸ سری داده هست
۴ نمره اضافی پروژه دارد
مهلت تحویل پروژه تا زمانی که میشه نمره ها رو قطعی کرد( تیر یا مرداد)
بهتر است ۲ تا متغیر در نظر بگیرید

روشهای Shrinkage

اسلاید ۱۱ از ۱۹
Ridge Regression
توزیع Yi به شرط بتا j
سیگمای بتا j^2 ها را در نظر میگیریم
————————————
امروز مبحث Lasso Regression را توضیح میدهیم
مجموع مربعات خطا را مینیمم میکنیم به شرط اینکه سیگمای قدر مطلق بتا j ها از یک مقداری کمتر باشد

تفاوت ریج و لاسو :
در ریج هیچ ضریبی صفر نمی شود  ولی در لاسو ممکن است ضرایب صفر شوند

در این ۳ روش پارامتر هایی دارند که باید آنها را مشخص میکنیم که به آن Cross Validation می گوییم

subset selection
df landa

می توانیم از تصویری از داده ها استفاده کنیم تا وضوح بهتری داشته باشیم

کاری که در Principal Component Regression انجام میدهیم تصویر سازی است
ماتریس مربع داریم که تجزیه میکنیم به دو ماتریس
ماتریس D (قطری) و ماتریس V ( اوتوگونال ) Di ها مقادیر ویژه هستند

اگر بتوانیم به این صورت بنویسیم از روش پرینسیپال به راحتی میتوانیم حل کنیم

ESL-Principal-Component-Regression

Principal Component یعنی یک X داریم مولفه های اصلی اش را با تجزیه پیدا می کنیم

در واقع اگر دو بعد داشته باشیم p=2

یک سری داده داریم در قالب X1 , X2 که نقاط سبز را تشکیل می دهند

مولفه های اصلی D1 , D2 را پیدا کنیم

در این شکل نقطه ها در جهت D1 پراکنده شده اند

ESL-Principal-Component-Regression2

اگر بخواهیم متغیری را حذف کنیم بعد D2 را حذف می کنیم چون D1 مهم تر است

(اجباری هم در حذف بعد نیست )

مقادیر وِیژه را در متلب می توانیم با دستور (SVD(x’x محاسبه کنیم

به جای اینکه p تا Z داشته باشیم M تا Z را نگه میدارم
پس در Principal به جای اینکه بین x , z رگرسیون بگیرم بین y , z رگرس میکنم
M=p least Square
z=xv

کاهش بعد هم انجام داده می شود

۴ روش در این فصل گفتیم :

  1. Subset Selection
  2. Ridge Regression
  3. Lasso Regression
  4. Principal Component Regression
Regression

4 روشرگرسیون

معمولا روش ریج دقیق تر است
امتحان از فصل ۱ و ۳ هست

Mar 162013
 

۹۱/۱۲/۲۶
ریاضیات یادگیری
چهار شنبه ۹۲/۳/۴ کلاس حضوری امتحان از رگرسیون میان ترم گرفته می شود

 آزمون فرض – فاصله اطمینان بایستی به صورت پیش فرض بدونید

رگرسیون چند گانه :
حالتی که p تا x داریم
x  ها میتونن تبدیلی از بقیه x  ها باشند
نا اریب هست
یک کمیت داریم MSE که یک جور ریسک هست ( امید تابع زیان )

Too many  Predictors
۱- روش subset selection  زیر مجموعه ای از متغیر ها را انتخاب میکنیم
۲- Cross Validation
۳- روش Shrinkage Methods ضرایب (Beta) را کوچک می کنیم به سمت صفر

 

بهتر است که نا اریب باشد.

نا اریب باشد یعنی خطا کم باشد ، واریانس کم باشد، امیدش با خودش برابر باشد.

همه x ها را در مدل می گذاریم ولی یک ضریب براشون می گذاریم
یکی از روش های شرینکیج Ridge Regression است
روش انقباظی
مجموع مربعات خطا می نیمم می کنیم با شرط اینکه جریمه در نظر میگیریم

از روش لاگرانژ

 

مزیت های Ridge :

مجموع توان ۲ پارامترها خیلی بزرگ نمی شود

لاندا را می توان با استفاده از روش Cross Validation محاسبه می کنیم و باید داده ها را باید استاندارد کنیم

رگرسیون ریج

 

رگرسیون لاسو هم مانند رگرسون ریج هست با این تفاوت که سیگمای بتا j ها  به توان ۲ کمتر از S

سیگمای قدر مطلق بتا ها را در نظر می گیریم  کمتر از S

رگرسیون لاسو تکنیک جدیدی است ولی ریج خیلی قدیمی است

فرمول رگرسیون لاسو

فرمول رگرسیون لاسو

 

 

Mar 122013
 

۹۱/۱۲/۲۲
آزمون فرض

مثال :
میزان کارکرد کارمندان
نباید بی دلیل رد کنیم ، بنابراین از آزمون فرض استفاده می کنیم

یک فرض H0 داریم به صورت تساوی
Ha به صورت نامساوی (آزمون دوطرفه )

برای اینکه فرض H0 را بی دلیل رد نکنیم

مقادیری که خیلی به ندرت اتفاق می افتند ، به این مقادیر ناحیه
بحرانی گوییم

پس مراحل آزمون فرض
H0
Ha آلفا
n تعداد اعضای نمونه
انتخاب test
از آزمون Z در صورتی که میانگین جامعه معلوم باشد
در صورتی که میانگین جامعه معلوم نباشد از آزمون T استفاده می کنیم

مقادیر بحرانی را از جدول بدست می آوریم

————————-
Confidence Intervals VS Hypotheses Test
آزمون فرض VS فاصله اطمینان
دو نوع خطا داریم :
۱- فرض H0 را به ناحق رد کنیم ( خیلی بد است ) و باید الفا را کوچک
بگیریم
۲- فرض H0 نادرست باشد و رد نکنیم

در بعضی مسایل که آلفا را نداریم ، از p-value استفاده میکنیم
که احتمال رد فرض H0 به نا حق هست

—————————————–
Linear Space ( Vector Space )
فضا های برداری – ( فضا های خطی )
خیلی مهم است
یک مجموعه ای نا تهی از یک سری اعضا است

ویژگی های فضا های خطی :
نسبت به عمل جمع و ضرب بسته هست

۸ اصل جمع و ضرب
۱- خاصیت شرکت پذیری جمع
۲- خاصیت جابجایی جمع
۳- عضو خنثی جمع
۴- وجود عضو قرینه
۵- توزیع پذیری جمع نسبت به ضرب
۶- توزیع پذیری ضرب نسبت به جمع
۷- شرکت پذیری ضرب
۸- عضو خنثی ضرب
Linear Combination
ترکیب خطی
اگر c1 , c2 , …, cn هایی را پیدا کنیم که در بردار ضرب شود
ترکیب خطی می گوییم

میتونه یک ماتریس ترکیب خطی از ۲ ماتریس دیگه باشه

زیر فضای برداری

W زیر فضای برداری V هست به شرطی که زیر مجموعه V باشد
و W باید خواص بردار V را داشته باشد
عضو خنثی V را داشته باشد
مفهومspan مولد linear independence ،basis پایه ، cooridates مولفه

هر عضوی از V مثل f بتوانیم عدد c1 jتا cn داشته باشیم که
f=c1.f1+c2.f2+…+cn.fn

مستقل خطی :
بردار های f1 تا fn مستقل خطی هستند اگر به ازای c1f1+c2f2+…
+cnfn=0 باشد.
ترکیب خطی آنها صفر باشد

پایه :
اگر f1 تا fn بردار V را تولید کنند

مولفه :

(c1-d1).f1+…+(cn-dn).fn=0
b1.f1.+…+bn.fn=0
ci=dn

c1 تا cn مولفه نسبت به پایه f1 تا fn می گوییم

بعد ( Dimention (

تعداد اعضای f ها n تا که باشد
dim(V)=n
n بعد فضای برداری V هست

تعریف Finite فضا های برداری متناهی :
اگر فضای برداری پایه های متناهی داشته باشد فضای متناهی می
گوییم

تابع هموار : از تابع هر چقدر که مشتق بگیریم باز هم مشتق پذیر باشد

سوال : یک پایه برای فضای چند جمله ای های حداکثر از درجه n
مثل : x^4-1

 

 

Mar 112013
 

۹۱/۱۲/۲۱
بهینه سازی – دکتر شمسی

مسایل مقید به قیود تساوی
( مسایل لاگرانژ )

min3x+2y^2

x-y=3

j=3x+2y^2+landa(x-y-3)

round j/round x =0 ==>

۳+landa=0 ==> landa=-3

Round J /Round y = 0

==>4y-landa=0 ==> y=- ۳/۴

Round j/Rounad landa =۰ ==>  x-y-3=0  ==> 9/4

تابع لاگرانژین

قید تساوی را در لاندا ضرب
میکنیم

f=3×1-2×2^3-4×3

شرایط :

۲×۱-۲×۲=۵

x1-x3=4

L=3×1-2×2^3-4×3+landa1(2×1-2×2-5)+landa2(x1-x3-4)

لاگرانژ تعبیر هندسی هم نداره

۵ معادله و ۵ مجهول به دست می آید

Round L / Round x1=0

Round L / Round x2=0

Round L / Round x3=0

Round L / Round landa1=0

Round L / Round Landa2=0

——————————–
مسایل بهینه سازی مقید به قیود تساوی و نامساوی

در اینجا باز هم یک تابع هدف داریم
علاوه بر آن هم قید نامساوی داریم هم قید مساوی

این حالت کلی NLP برنامه ریزی غیر خطی گویند
Non Leinear Programming

شرایط لازم KKT برای می نیمم موضعی

اگر X* یک می نیمم موضعی برای … باشد

min f =3×1-x2^2+2×3^2
h قید : ۲×۱-x2+x3=0
g1 قید دیگر : x1>=0
g2 قید دیگر : x2-x3<=7

قبل از اینکه شرایط kkt را اعمال کنیم باید قید ها را به فرم استاندارد بنویسیم

قید دوم : -x1<=0
قید سوم : x2-x3-7<=0

gradian f +mu 1 gradian g1+mu 2 gradian g2 + landa gradian h =0

—————————————

 

Mar 112013
 

در یادگیری ماشین یک سری ویژگی ها را باید به ماشین یاد
بدهید

یادگیری با ناظر
از قبل یک سری داده ها داریم
کلاس کلی داریم

somayeh.molaei@aut.ac.ir

supervised learning
unsupervised learning
semi-supervised learning
reinforcement learning

Application :

pplication:
Machine perception

Computer vision

Natural language processing

Syntactic pattern recognition

Search engines

Medical diagnosis

Bioinformatics

Brain-machine interfaces

Cheminformatics

Detecting credit card fraud

Stock market analysis

Classifying DNA sequences

Sequence mining

Speech and handwriting recognition

Object recognition in Computer vision

Game playing

Software engineering

Adaptive websites

Robot locomotion

Computational Advertising

Computational finance

Structural health monitoring.

Sentiment Analysis (or Opinion Mining).

Affective computing

Information Retrieval

Recommender systems
یک مقاله برای پیاده سازی + امتحان میان ترم ۴ اردیبهشت

Mar 092013
 

۹۱/۱۲/۱۹

وقتی میگوییم رگرسیون خطی نسبت به بتا هست
پس در رگرسیون چند گانه خطی

صفحه ۴ از ۱۹
RSS بتا رو میشه به فرم ماتریسی نوشت
اگر y رو نسبت به x ها رسم کنیم میبینیم که
اگر از این رابطه نسبت به x مشتق بگیریم
فرضمان این است که توزیعشن نرمال هست

برآورد گری که بدست آوردیم یک برآورد گر خوب است ( نا اریب )

واریانسش هم کم هست

یک ترکیب خطی از تتا را بدست می اوریم
چون بتا هت را نداریم پس تتا هت هم مجهول است

Continue reading »

Mar 042013
 

۹۱/۱۲/۱۴
بهینه سازی ریاضی بنیان

اثبات صفحه ۱۳ رو ازتون نمیخواهیم
مجموعه بردار های کاهشی درx-bar
همه نقاط کاهشی را با f (x-bar ) نمایش میدهیم

یک تحقیق انجام دهید
ایا مجموعه کاهشی محدب هست یا نه

شرایط لازم برای مینیمم موضعی

جهت کاهشی تند ترین شیب
هر وقت این بردار زاویه حاده بسازد ، ضرب داخلی آن
دستورکانتور contour در متلب این کار رو انجام میده
با دستور surf(x,y) می توانید شکل را رسم کنید و بجاش contour را بگذارید

Continue reading »

Mar 032013
 

۹۱/۱۲/۱۳
بهینه سازی ریاضی بنیان
مرتضی بابایی – رشته علوم کامپیوتر
مبحث درس ریاضی ۲ را یک بار دوره کنید و خیلی هم جدی است. (ماتریس ها بردار ها )

یاد آوری
مسایل مقید مساوی ، مسایل مقید مساوی

درک مساله کانتور ها مربوط به چه تابعی هست

برای بهینه سازی یک نقطه را انتخاب می کردیم
بردار گردیان هم نقش مماس را برای ما بازی میکند

۲ روش برای حل مساله داریم
۱- روش ترسیمی : جهت کاهشی {اشتباه نوشته شده شدنی }( تک متغیره )
۲- روش جبری

Continue reading »

Feb 262013
 

۱۳۹۱/۱۲/۰۸

فاصله اطمینان برای نسبت جامعه
در یک جامعه دانشگاهی ( قبول شدگان و رد شدگان ) می خواهیم فاصله
اطمینان را بدست بیاوریم

آزمایش دو جمله ای برای n-1 داریم
فاصله اطمینان که برای p می خواهیم بدهیم

Continue reading »

Feb 252013
 

 

برای دسترسی science direct نامه ای به کتابخانه بزنید

در آدرس جدید قرار دادند

امروز می خواهیم در مورد نرم افزار word صحبت کنیم

نرم افزار LaTeX خیلی بهتر است
نیم فاصله را می توان را با این کلید ها ایجاد کرد shift + Ctrl + 2 , Del

Word Wide Blank نیست

در ورد اعداد را با فونت عربی می زند

ورد Spell check دارد
Grammer check دارد
Readiblity دارد

در ورد فاصله بین خط ها کم و زیاد می شود
و ثابت نوشتن اندازه فرمولهای ریاضی

نرم افزار Virastyar
Spell check دارد و مشکل نقطه گذاری ندارد
نیم فاصله درست میکند
اعداد عربی را فارسی می کند
و پینگلیش رو به فارسی تبدیل میکند

شرکت یکتا وب شرق یک نرم افزار مشابه داره توسعه میده
Grammerly هم هست برای اصلاح گرامر ( انگلیسی )
ginger هم یک سایت هست که به صورت آنلاین گرامر را چک میکند.
http://www.gingersoftware.com

یک نرم افزار از Grammerly قوی تر هست به نام white smoke
نرم افزار white smoke 5 نمره میدهد ، readibility ,redunduncy ,
originality
پیشنهاد هم میدهد در spell و گرامر و خوانایی و

یک مقاله به ۳ ویراستار احتیاج دارد
ویراستار ادبی
ویراستار فنی
ویراستار علمی

اکر مقاله ای به زبان انگلیسی بنویسید در دانشگاه مجانی براتون
تصحیح میکنه و می فرسته ( در معاونت پژوهشی )

با کلیک روی آگهی زیر مبلغ 400 ریال به حساب من واریز می گردد

با کلیک روی آگهی زیر مبلغ 1000 ریال به حساب من واریز می گردد