‫به نام خدا‬
‫يادگيری ماشين ‪( 40-717‬گروه دوم)‬
‫نيمسال اول ‪94-95‬‬
‫تمرين سری اول ‪ -‬مقدمات‪ :‬مرور جبر خطی‪ ،‬آمار و احتمال و تخمين‬
‫مدرس‪ :‬دکتر سليمانی‬
‫موعد تحويل‪ :‬پنج شنبه ‪ 16‬مهر‬
‫نمره‪80 :‬‬
‫سوال ‪ 9( 1‬نمره)‪ :‬جبر خطی‬
‫‪ 4( .1.1‬نمره) با توجه به تعريف تبديل خطی نشان دهيد هر تبديل خطی از فضای 𝑑 بعدی به فضای ‪ 𝑑′‬بعدی معادل با‬
‫اعمال يک تبديل ماتريسی (𝑑 × ‪ )𝑑′‬است و بالعکس‪( .‬منظورمان از تبديل ماتريسی همان ضرب ماتريسی ‪x  Ax‬‬
‫است که قرار است اعضای فضای اول را به فضای دوم ببرد)‪.‬‬
‫‪ 5( .1.1‬نمره) برای هر فضايی‪" ،‬پايه" مجموعهای از بردارهای مستقل خطی است که آن فضا را توليد می کند (همهی نقاط‬
‫آن فضا به صورت ترکيب خطی از پايهها قابل محاسبه هستند)‪ .‬پايه برای فضا يکتا نيست و میتوانيم پايههای متفاوتی‬
‫برای يک فضا داشته باشيم‪ .‬پس از تعريف يک پايه برای يک فضا‪ ،‬مختصات نقاط فضا در آن پايه محاسبه میشود‪ .‬حال‬
‫فرض کنيد دو پايه برای يک فضا داريم و مختصات نقطهای را در يکی از اين پايه ها داريم‪ .‬ماتريس تبديل پايه‬
‫ماتريسی است که مختصات يک نقطه در يک پايه را به مختصات همان نقطه در پايهی ديگر می برد‪ .‬اگر پايهی ‪ A‬و‬
‫‪B‬‬
‫به صورت زير باشند‪:‬‬
‫} )‪A = { (3,5) , (-2,4‬‬
‫} )‪B = { (6,1) , (1,7‬‬
‫أ‪.‬‬
‫در فضای دو بعدی ماتريس تبديل پايه از پايهی ‪ A‬به ‪ B‬و از پايهی ‪ B‬به ‪ A‬را به دست آوريد‪.‬‬
‫ب‪ .‬مختصات نقطهی (‪10‬و‪ )10‬را در پايهی ‪ A‬بنويسيد و سپس با استفاده از ماتريس تبديل پايهای که به دست‬
‫آوردهايد‪ ،‬متخصات آن را در پايهی ‪ B‬محاسبه کنيد‪.‬‬
‫سوال ‪ 6( 2‬نمره)‪ :‬مشتقات برداری و ماتريسی‬
‫اگر ‪ x‬و ‪ b‬بردارهای ستونی و ‪ A‬يک ماتريس مربعی باشد‪ ،‬مشتقهای زير را اثبات نماييد‪:‬‬
‫‪bT x‬‬
‫الف‪ 1( .‬نمره) ‪ b‬‬
‫‪x‬‬
‫‪xT Ax‬‬
‫ب‪ 4( .‬نمره) ‪ ( A  AT ) x‬‬
‫‪x‬‬
‫سوال ‪ 5( 3‬نمره)‪ :‬بهينهسازی با ضرايب الگرانژ‬
‫‪ .3.1‬پارامترهای ‪ x1‬و ‪ x2‬را طوری به دست آوريد که تابع ‪ f ( x)  1  x12  x22‬حداکثر مقدار خود را به دست آورد به‬
‫شرطی که ‪ x1  x2  1  0‬باشد‪.‬‬
‫سوال ‪ 35( 4‬نمره)‪ :‬آمار و احتمال‬
‫‪ 1( .1.4‬نمره) يک تاس را سه بار پرتاب میکنيم‪ ،‬احتمال اين که در دقيقا ‪ 1‬تا از اين پرتابها عدد يکسانی ظاهر شود‬
‫را پيدا کنيد‪.‬‬
‫‪ 4( .1.4‬نمره) فرد ‪ A‬و ‪ B‬برای شکار به جنگل رفتهاند‪ ،‬هر دوی آنها به سمت حيوانی نشانه گرفته شليک میکنند؛ فرد‬
‫‪ A‬به احتمال ‪ 0/7‬و فرد ‪ B‬به احتمال ‪ 0/4‬امکان دارد که دقيقا به هدف شليک کرده باشد‪.‬‬
‫أ‪.‬‬
‫اگر دقيقا يک تير به هدف اصابت کرده‪ ،‬احتمال اين که تير متعلق به فرد ‪ B‬باشد را حساب کنيد‪.‬‬
‫ب‪ .‬اگر بدانيم که تيری به هدف خورده است‪ ،‬احتمال اين که فرد ‪ B‬توانسته باشد هدف را بزند چقدر است؟‬
‫‪ 5( .3.4‬نمره) اگر داشته باشيم )‪ P(A|B) > P(A‬میگوييم واقعهی ‪ ،B‬واقعهی ‪ A‬را تقويت میکند‪ .‬به صورت مشابه اگر‬
‫)‪ P(A|B) < P(A‬میگوييم واقعهی ‪ ،B‬واقعهی ‪ A‬را تضعيف میکند‪ .‬درستی هر يک از گزارههای زير را بررسی‬
‫نماييد‪ .‬برای موارد درست اثبات و برای موارد نادرست مثال نقض ارائه دهيد‪.‬‬
‫أ‪.‬‬
‫اگر واقعهی‪ ، B‬واقعهی ‪ A‬را تقويت کند‪ ،‬آنگاه ‪ A‬نيز ‪ B‬را تقويت‬
‫ب‪ .‬اگر‪ B‬و ‪ A‬يکديگر را تقويت کنند‪ ،‬آنگاه ‪ A‬و 𝐶𝐵 يکديگر را‬
‫میکند‪.‬‬
‫تضعيف میکنند‪.‬‬
‫ج‪ .‬اگر واقعهی ‪ ،B‬واقعهی ‪ A‬را تقويت کند و واقعهی ‪ C‬نيز ‪ A‬را تقويت کند‪ ،‬آنگاه ‪ B  C‬نيز ‪ A‬را‬
‫تقويت میکند‪.‬‬
‫‪ 4( .4.4‬نمره) فرض کنيد ‪ E‬و ‪ F‬دو پيشامد ناسازگار (بدون اشتراک) از فضای نمونه يک آزمايش هستند‪ ،‬اين آزمايش را‬
‫اين قدر تکرار میکنيم تا يکی از ‪ E‬يا ‪ F‬رخ‬
‫أ‪.‬‬
‫دهد‪.‬‬
‫فضای نمونه اين آزمايش جديد را توصيف کنيد‬
‫) ‪P( E‬‬
‫ب‪ .‬نشان دهيد احتمال اين که ‪ E‬زودتر از ‪ F‬رخ دهد برابر است با‪:‬‬
‫) ‪P( E )  P( F‬‬
‫‪ 6( .5.4‬نمره) فرض کنيد از طريق يک شبکه کامپيوتری با دوستتان در ارتباط هستنيد‪ ،‬دوست شما متغير تصادفی برنولی‬
‫‪ X‬با پارامتر ‪ p‬را روی شبکه برای شما ارسال میکند‪.‬در طول مسير به عدد ارسالی دوستتان نويز ‪ Y‬که توزيع‬
‫پواسون با پارامتر ‪ ‬دارد‪ ،‬اضافه میشود‪ .‬و در نهايت عدد ‪ Z‬به دست شما میرسد‪.‬‬
‫أ‪.‬‬
‫محتملترين عددی که دوستتان فرستاده (‪ )X‬را به دست آوريد؟‬
‫ب‪ .‬اميد رياضی ‪ X‬و ‪ Y‬را به شرط ‪ Z=k‬محاسبه کنيد‪.‬‬
‫‪ 7( .6.4‬نمره) به سواالت زير با اثبات يا مثال نقص پاسخ دهيد‪.‬‬
‫أ‪.‬‬
‫در صورتی که )‪ f(x,y‬به صورت زير تعريف شده باشد‪ ،‬آيا ‪ x‬و ‪ y‬از هم مستقل هستند؟‬
‫‪1‬‬
‫‪x2  y 2  1‬‬
‫‪‬‬
‫‪f ( x, y)   ‬‬
‫‪‬‬
‫‪else‬‬
‫‪0‬‬
‫ب‪ .‬اگر دو متغير تصادفی ‪ X‬و ‪ Y‬از هم مستقل باشند‪ ،‬آيا میتوان نتيجه گرفت ‪𝐸[𝑥𝑦] = 0‬؟‬
‫ج‪ .‬اگر ‪ ،𝐸[𝑥𝑦] = 0‬آيا دو متغير تصادفی ‪ X‬و ‪ Y‬لزوما مستقل نيز هستند؟‬
‫‪ 7( .7.4‬نمره) دو مورد زير را اثبات نماييد‪:‬‬
‫])‪E [ ]  ED [ E ( | D‬‬
‫])‪Var [ ]  ED [Var ( | D)]  VarD [E ( | D‬‬
‫‪a.‬‬
‫سوال ‪ 25( 5‬نمره)‪ :‬تخمين‬
‫*دقت نماييد که برای بخشهايی که بايد پارامترها را با روشهای تخمين به دست آوريد‪ ،‬رابطهی نهايی کافی نيست‪ .‬لطفا‬
‫روابط و نحوه بهينهسازی را در پاسخ بنويسيد‪.‬‬
‫‪ 5 + 10( 1.5‬نمره) يک تاس داريم و میخواهيم ببينيم اگر آن را پرتاب کنيم‪ ،‬احتمال آمدن هريک از اعدادِ ‪ 1‬تا ‪6‬‬
‫چقدر است‪ .‬احتمالِ آمدن اعداد ‪ 1‬تا ‪ 6‬را با } ‪   {1,...,6‬نشان میدهيم‪ .‬برای تخمينِ ‪ ، ‬تاس را 𝑁 بار‬
‫پرتاب میکنيم‪ .‬فرض کنيد در اين 𝑁 پرتاب‪ N1 ،‬بار عدد ‪ N 2 ،1‬بار عدد ‪ ... ، 1‬و ‪ N 6‬بار عدد ‪ 6‬آمده است‪.‬‬
‫(طبيعتاً ‪.) N1  ...  N6  N‬‬
‫أ‪.‬‬
‫(‪ 5‬نمره) با در نظر گرفتن توزيع ‪ Multinomial‬برای متغيری که عدد تاس را نشان میدهد‪ ،‬پارامترهای‬
‫‪ ‬را با روش ‪ MLE‬تخمين بزنيد‪.‬‬
‫ب‪ 5( .‬نمره) توزيع ‪ Dirichlet‬را که تعميم چندمقداره توزيع ‪ Beta‬هست را از بخش ‪ 1.2.2‬کتاب‬
‫‪Bishop‬‬
‫مطالعه کنيد‪ .‬ابتدا نشان دهيد که اين توزيع ‪ Conjugate Prior‬برای توزيع ‪ Multinomial‬هست‪ .‬سپس در‬
‫صورتیکه توزيع ‪ prior‬زير را روی پارامترهای توزيع باال داشته باشيم‪:‬‬
‫) ‪𝑃(Θ) = 𝐷𝑖𝑟(𝛼1 , … , 𝛼6‬‬
‫پارامترهای ‪ ‬را با روش ‪ MAP‬تخمين بزنيد‪.‬‬
‫ج‪ 5( .‬نمره‪ -‬اختياری) چنانچه بخواهيم از رويکرد بيزين استفاده کنيم توزيع )𝒟|𝑥(𝑃 که 𝒟 نمونهها را‬
‫نشان میدهد را با توجه به اطالعات داده شده در بند (ب) به دست آوريد‪:‬‬
‫‪ 1.5‬فرض کنيد که متغير ‪ x‬دارای توزيع نرمال با ميانگين ‪ ‬و واريانس ‪  2‬است‪ N .‬تا دادههای آموزش را مجموعه‪-‬‬
‫ی } )𝑁( 𝑥 ‪ 𝒟 = {𝑥 (1), … ,‬میناميم‪.‬‬
‫أ‪.‬‬
‫(‪ 5‬نمره) پارامترهای ‪ ‬و ‪  2‬را با تخمين ‪ MLE‬به دست آوريد‪.‬‬
‫ب‪ 5( .‬نمره) حال فرض کنيد که پارامتر ‪  2‬معلوم است و پارامتر ‪ ‬دارای توزيع پيشين نرمال با ميانگين‬
‫‪ 0‬و واريانس ‪  2 0‬است‪ P( | D) .‬را به دست آوريد‪.‬‬
‫‪ 5( 3.5‬نمره) فرض کنيد که ‪ n‬دادهی مستقل از هم (‪ )i.i.d‬در مجموعه } )𝑁( 𝑥 ‪ 𝒟 = {𝑥 (1), … ,‬داريم که از توزيع‬
‫يکنواخت )‪ U ( ,  1‬پيروی مینمايند‪ .‬پارامتر ‪ ‬را با روش ‪ MLE‬تخمين بزنيد‪.‬‬