May 212013
 

SVM
Support Vector Mchine
ماشین بردار پشتیبان
شهرت این روش بخاطر تشخیص نوشته های دست نویسOCR بوده

از روش های شبکه عصبی بهتر بوده

SVM( جزو شاخه Kernel Method است )
شبکه عصبی به دنبال خطی بود که بتواند دسته بندی کند
در شبکه عصبی wi ها را update می کرد تا دقیق تر شود ( persepptorant

هدف  : (Clustering – دسته بندی – Ranking – پاکسازی)

مسایل :نمایش الگو های پیچیده – پرهیز از overfitting )

 

اگر دو کلاس مثبت و منفی داریم  باید بتوانیم با SVM از هم جدا کنیم

جدا کننده های مختلفی امکان دارد که باشد  ولی کدام جدا کننده از همه بهتر است : خطی که از خط های مرزی بیشتری فاصله را داشته باشد.

معادله خط : w1X1+w2X2+b=0

که برای حال n بعدی هم قابل تعمیم است

آیا کاربرد ماشین بردار پشتیبان برای نقاطی هست که کاملا از هم تفکیک هستند ؟ خیر ، با ترسیم فضای چند بعدی می توان با این روش تفکیک را انجام داد.
این جلسه تا ابتدای فرمول ها

 

چند لینک مرتبط با  SVM

http://www.qub.ac.uk/research-centres/EPIC/Research/IntelligentSystems/AdvancedLearningAlgorithmforMicroarraryDataAnalysis/

http://www.statsoft.com/textbook/support-vector-machines/

http://research.microsoft.com/en-us/groups/vgv/

http://www.idsia.ch/~juergen/rnn.html

http://jmlr.org/papers/volume1/mangasarian01a/html/node2.html

http://www.jvrb.org/past-issues/3.2006/760

http://docs.opencv.org/doc/tutorials/ml/introduction_to_svm/introduction_to_svm.html

Apr 302013
 

۹۱/۰۲/۱۰

فصل ۸ – ژنتیک

الگوریتم زنتیک و کاربرد آن در یادگیری ماشین

تکامل طبیعی (قانون انتخاب طبیعی داروین)

الگوریتم ژنتیک
مجموعه ای از افراد داریم
هر فردی خصوصیاتی دارند
هر ژن ویژگی های خاصی را میتواند رمز کند

هر کروموزوم دارای مجموعه ای خواص ژنتیکی هست.

ساختار الگوریتم های ژنتیک

مساله –>مدلسازی مساله –> تشکیل جمعیت اولیه –> جستجوی ژنتیکی–> جواب

نحوه کدکردن مساله خیلی مهم است
چون در تمامی مراحل از همین کد و دی کد استفاده می کنیم

معمولا از روش باینری استفاده می کنیم

صفحه ۱۲ از ۳۲
بازنمایی
فضایی از مساله داریم

جمعیت ، مجموعه از راه حل ها ( کروموزوم ها )

ارزیابی جمعیت – Fitness

بهینه کردن شایستگی ها

انتخاب Selection (انتخاب والدین )

روش های انتخاب والدین :
۱- انتخاب تمام جمعیت به عنوان والدین
۲- انتخاب تصادفی
۳- روشهای دیگر
۳-۱ انتخاب مناسب ترین هر اجتماع
۳-۲ چرخ رولت – مبتنی بر شایستگی
۳-۳ Scaling Selection
۳-۴ Tournoment Selection

عملگر های الگوریتم ژنتیک
ترکیب مجدد (Crossover)

چندین روش برای ترکیب هست

۱- ترکیب تک نقطه ای ( از یک قسمت ژنوم هر کدام از والد ژنوم را تقسیم کنیم و با هم ترکیب کنیم )

۲- ترکیب دو نقطه ای ( در چند نقطه می تواند ژنوم ها ترکیب شود )

۳- ترکیب بر اساس مدل

جهش ژنتیک : اگریکی از بیت ها مخالف والدین باشد

شرط خاتمه

مزایای GA

مشکل Crowding
راه حل های Crowding :
۱- استفاده از ranking
۲- Fitness sharing

 

کاربرد الگوریتم ژنتیک در یادگیری ماشین

 
Apr 232013
 

امتحان ۱۰ صبح روز چهارشنبه ۹۲/۰۲/۰۴ برگزار خواهد شد.

امتحان از ۵ فصل اول خواهد آمد

  1. مقدمه
  2.  یادگیری مفهوم
  3. درخت تصمیم
  4. شبکه های عصبی مصنوعی
  5. ارزیابی فرضیه

نمونه هایی از حل تمرین یادگیری ماشین مربوز به فصل ۴ ( شبکه های عصبی ) که خانم مهندس مولایی تدریس یار محترم زحمت کشیدند را ملاحظه بفرمایید.

perceptron5_resize

 

qanoon (1)_resize perceptron6_resize  Machine Learning Trainingperceptron4_resize perceptron3_resize perceptron2_resize perceptron1_resize nn-moqadamati_resize nn-1 (2)_resize nn-1 (1)_resize feedforward-4_resize feedforward-3 (2)_resize feedforward2_resize feedforward-1_resize 1 009_resizeMachine Learning Training qanoon (1)_resize nn-moqadamati_resize perceptron1_resize perceptron2_resize perceptron3_resize perceptron4_resize perceptron5_resize perceptron6_resize nn-1 (2)_resize nn-1 (1)_resize feedforward-4_resize feedforward-3 (2)_resize feedforward2_resize feedforward-1_resize 1 009_resize

Mar 112013
 

در یادگیری ماشین یک سری ویژگی ها را باید به ماشین یاد
بدهید

یادگیری با ناظر
از قبل یک سری داده ها داریم
کلاس کلی داریم

somayeh.molaei@aut.ac.ir

supervised learning
unsupervised learning
semi-supervised learning
reinforcement learning

Application :

pplication:
Machine perception

Computer vision

Natural language processing

Syntactic pattern recognition

Search engines

Medical diagnosis

Bioinformatics

Brain-machine interfaces

Cheminformatics

Detecting credit card fraud

Stock market analysis

Classifying DNA sequences

Sequence mining

Speech and handwriting recognition

Object recognition in Computer vision

Game playing

Software engineering

Adaptive websites

Robot locomotion

Computational Advertising

Computational finance

Structural health monitoring.

Sentiment Analysis (or Opinion Mining).

Affective computing

Information Retrieval

Recommender systems
یک مقاله برای پیاده سازی + امتحان میان ترم ۴ اردیبهشت

Feb 192013
 

الگوریتم Find-S

الگوریتم حذف کاندید

الگوریتم List – then – Eliminate

 

الگوریتم Find-S

اشکال این الگوریتم اینه که نکات منفی را نشان نمی دهد و فقط

یک راه حل را نشان میدهد

تنها یک فرضیه به دست می آید
مثال های آموزشی را در نظر نمیگیره

Find-S به سوالات زیر پاسخ نمیدهد
۱- آیا الگوریتم به مفهوم صحیح رسیده ، آیا فرضیه سازگار دیگری
وجود دارد
۲- چرا اختصاصی ترین فرضیه برگزیده شود ؟
۳- آیا مثال های آموزشی سازگار هستند ؟
۴- اگر چندین فرضیه اختصاصی حدکثر وجود داشت یا نداشت چه
میشود
——————————————————
نحوه سوال : یک فرضیه بدم ، الگوریتمش را پیدا کنید
———————————————————-
الگوریتم حذف کاندید

یکی از مشکلات این هم نویز هست ( داده های آموزشی بدون
نویز باید باشد )

سازگاری :
فضای مدل : (version Space )
در اینجا همه …. که …. مجموعه سازگار است

———————————————————-
الگوریتم List – then – Eliminate

لیست کردن و سپس حذف کردن
الگوریتم خوبی است ولی پیچیدگی زیادی دارد و ممکن است
عملی نباشد
—————————————————-

حد کلی maximaly
حد اختصاصی ( S )

برای الگوریتم حذف کاندید فضای مدل طوری ساخته نمی شود که
با داده های آموزشی سازگار باشد
G0 حد کلی
S0 حد اختصاصی
———–

صفحه ۱۰
مثال اول مثال S0 همش پوچ بود میاد مرزش رو عوض میکنه ( مرز
G0 رو عوض نکرد )
مثال دوم باز مثبته – مرز S رو عوض میکنه
باز G2 من مثل G1 هست

G2 عمومی ترین فرضیه ها بود
ولی باید طوری تعمیم بدم که مثال منفی را شامل نشه
اینجا Sunny بوده Rainy شده

تغییرات دومی که اینجا هست Warm بوده … شده

Change منفی است و باید Same شود

G3 دیگه G2 نیست – عوض شد
اینجا که قرمز نشان داده دلیلش اینه که باید یه جوری عوض بشه

پس G3 تبدیل شد به G4
چون این فرضیه ناسازگار بود
دو فرضیه در G4 دارم و در S4 هم دو تا فرضیه دارم
صفحه ۱۱ پنج تا فرضیه داریم
حالا Vesion Space رو پیدا کردیم

 

Feb 042013
 

پروژه های انجام شده درس یادگیری ماشین – دکتر شیری 

۱- تشخیص مستقل از متن گوینده با استفاده از ترکیب SVM و مدل آماری مرتبه دو – نویسنده سید عباس حسینی

۲- بررسی روشهای شناسایی ایمیل های هرز و پیاده سازی و تست سیستم فیلترینگ SpamHunting – نویسنده حامد کیانی

۳- طبقه بندی صفحات وب با استفاده از ماشین بردار پشتیبان بر اساس رویکرد یادگیری وزن دار – نویسنده سهیلا جعفری
خوزانی

۴- یک مدل فازی جدید برای درونیابی توابع پیوسته خطی – نویسنده مریم اسدی ، پگاه توکلخواه

۵- پیش پردازشی برای استراتژیهای تکاملی – نویسنده علی سبطی

۶- طراحی ساختار و آموزش وزنهای شبکه عصبی MLP با استفاده از استراتژی تکامل با طول متغیر – نویسنده عباس صراف
شیرازی

۷- استفاده از SVM فازی و برچسب گذاری صوری در بازیابی اطلاعات – نویسنده محمد رحیمی

۸ – Reliability Enhancement of Deregulated Power Systems Using the Strategy of Transmission Lines Pricing and
Optimum Power Distribution Based on Reliability Index by Genetic Algorithm – A. H. Ranjbar, H. Omranpour, H.
Hosseinian, S. Shiri نویسنده

۹- کشف ناهنجاری در حساب های داخلی موسسات بانکی – نویسنده لعبت عزیزی

۱۰ – Query Relaxation – نویسنده سید ناصر نوراشرف الدین

 

دانلود PDF موضوعات مقاله های ترم های گذشته یادگیری ماشین – دانشگاه امیر کبیر

با کلیک روی آگهی زیر مبلغ 400 ریال به حساب من واریز می گردد

با کلیک روی آگهی زیر مبلغ 1000 ریال به حساب من واریز می گردد