‫ويمسال ايل ‪92-93‬‬
‫يادگيری ماشيه ‪( 44-777‬گريٌ ديم)‬
‫مذرس‪ :‬سليماوی‬
‫تمريه سری ديم‪ :‬دستٍبىذَای مبتىی بر تابع َسيىٍ ي دستٍبىذَای احتمالی‬
‫مًعذ تحًيل تمريه دستی‪ 74 :‬آبان ‪( 92‬قبل از ‪ 72‬ظُر)‬
‫ومرٌ‪724+74 :‬‬
‫مًعذ تحًيل پيادٌسازی ي گسارش‪ 27 :‬آبان ‪92‬‬
‫سًال ‪ 72( 7‬ومرٌ)‪ :‬پرسپترين‬
‫∑ ًَضت‪ ،‬تاتغ ضرر (‪)loss‬‬
‫‪ً 3( .1.1‬ورُ) ًطاى دّيذ تاتغ ّسيٌِ پرسپترٍى را هیتَاى تِ صَرت‬
‫در ايي حالت را ترای‬
‫ٍ‬
‫تر حسة‬
‫رسن ًواييذ‪.‬‬
‫‪ .1.1‬ديگان پرسپترين‪ :‬قاًَى تِرٍزرساًی تردار ٍزى در پرسپترٍى را در ًظر تگيريذ‪:‬‬
‫‪ً 3( .a‬ورُ) ًطاى دّيذ کِ در دستِتٌذ پرسپترٍى‪ ،‬تردار ٍزى‬
‫ًَضت‪ .‬ضراية‬
‫∑‬
‫را در ترکية خغی‬
‫‪ً 4( .b‬ورُ) قاًَى تاال ترای تِرٍزرساًی تردار ٍزى‬
‫را هیتَاى تِ صَرت ترکية خغی دادُّا‬
‫هطخص کٌيذ‪.‬‬
‫در چِ حالتی هیتَاًذ تا قاًَى زير ترای تِرٍزرساًی‬
‫هؼادل تاضذ‪:‬‬
‫∑‬
‫تِجای قاًَى اصلی تِرٍز رساًی تردار ٍزى‬
‫‪ً 1( .c‬ورُ) استفادُ از قاًَى تِرٍزرساًی هقادير‬
‫چِ هسيتی‬
‫هیتَاًذ ايجاد ًوايذ؟‬
‫سًال ‪ 25( 2‬ومرٌ)‪ :‬دستٍبىذی احتمالی‬
‫‪ .1.1‬يک هسالِ دستِتٌذی تِ دٍ دستِ در حالتیکِ يک ٍيژگی ٍجَد دارد‪ ،‬را در ًظر تگيريذ‪ .‬فرض کٌيذ احتوال پيطيي‬
‫ٍ‬
‫(‪ )prior‬دستِ اٍل ٍ دٍم تِ ترتية تراتر‬
‫است‪.‬‬
‫‪ً 4( .a‬ورُ) در صَرتی کِ تذاًين تَزيغّای ضرعی دستِّا گاٍسیّای تا هياًگييّای هتفاٍت‬
‫ٍارياًس تراتر 𝜎 تِ صَرت‬
‫𝜎‬
‫𝜎‬
‫ٍ‬
‫ٍ‬
‫ٍ‬
‫است‪ ،‬راتغِی هرتَط تِ هرز دٍ‬
‫دستِ را ترای قاًَى تصوين تيس هطخص ًواييذ‪.‬‬
‫‪ً 4( .b‬ورُ) چٌاىچِ در تٌذ (‪ )a‬از هاتريس ضرر (‪ )loss‬زير استفادُ ضَد هرز تصوين حاصل چگًَِ خَاّذ تَد؟‬
‫ًتيجِ تِ دست آهذُ را تَصيف ًواييذ‪.‬‬
‫]‬
‫[‬
‫تؼذی فرض کٌيذ تَزيغّای‬
‫‪ً 5( .1.1‬ورُ) در يک دستِتٌذ احتوالی هَلذ (‪ )generative‬تا دٍ دستِ در يک فضای ٍيژگی‬
‫ضرعی دستِّا تِ صَرت گاٍسیّای تا هياًگيي ٍ هاتريس کٍَارياًس هرتَط تِ خَد تِ صَرت‬
‫ٍ‬
‫در ًظر گرفتِ ضًَذ‪ .‬چٌاىچِ هجوَػِ دادُّای آهَزش‬
‫})‬
‫({ ٍ‬
‫𝜋 در ًظر گرفتِ ضَد‪ .‬هقادير پاراهترّا را تا استفادُ‬
‫فرض ضَد ٍ ترای احتوال پيطيي دستِّا ّن يک پاراهتر‬
‫از دادُّای آهَزش از عريق ‪ ML‬تؼييي ًواييذ‪.‬‬
‫‪ .3.1‬دستِ تٌذ‬
‫‪Naïve Bayes‬‬
‫‪ً 5( .a‬ورُ) يک هسالِی دستِتٌذی تِ دٍ دستِ تا احتوال پيطيي‬
‫ٍيژگی آى ضاهل دٍ ٍيژگی پيَستِ‬
‫ٍيژگیّا گاٍسی فرض ضَد‬
‫ٍ‬
‫ٍ‬
‫را در ًظر تگيريذ کِ فضای‬
‫تاضذ‪ .‬چٌاىچِ چگالی احتوال ضرعی دستِّا رٍی ّر کذام‬
‫𝜎‬
‫‪ .‬هؼادلِ هرز دستِتٌذ ‪ Naïve Bayes‬را پيذا کٌيذ‪ .‬ايي‬
‫هرز در چِ ضرايغی خغی خَاّذ تَد؟‬
‫‪ً 7( .b‬ورُ) در يک هسالِی دستِتٌذی تا دٍ دستِ کِ فضای ٍيژگی آى ضاهل‬
‫ٍيژگی دٍدٍيی (تا تَزيغ‬
‫ترًَلی) است‪ً ،‬طاى دّيذ هرز تصويوی کِ تَسظ ‪ Naïve Bayes‬تِدست هیآيذ‪ ،‬يک هرز خغی است‪.‬‬
‫سًال ‪ )44( :3‬پيادٌسازی ‪ Logistic Regression‬ي ‪ Naïve Bayes‬در تشخيص‬
‫‪spam‬‬
‫در ايي سَال قصذ دارين ػولکرد رٍشّای احتوالی ‪ Naïve Bayes ٍ Logistic Regression‬را تر رٍی پايگاُدادُ‬
‫‪1‬‬
‫‪spambase‬‬
‫ترای تطخيص ايويلّای اسپن هَرد تررسی قرار دّين‪ .‬ايي پايگاُ دادُ ضاهل ‪ 4661‬ايويل ٍ ‪ٍ 57‬يژگی تِ ضرح زير است‪:‬‬
‫‪‬‬
‫ٍيژگی ‪ :48-1‬درصذ استفادُ از فْرستی از کلوات از پيص تؼييي ضذُ در هتي ايويل از قثيل ”‪ “free‬و ‪...‬‬
‫‪‬‬
‫ٍيژگی ‪ :54-49‬در صذ استفادُ از فْرستی از کاراکترّای از پيصتؼييي ضذُ در هتي ايويل از قثيل‬
‫‪‬‬
‫ٍيژگی ‪ :55‬هياًگيي عَل جوالت کاهل ٍ تواهاً تا حرٍف تسرگ (هياًگيي ‪)4.9‬‬
‫‪‬‬
‫ٍيژگی ‪ :56‬عَل تسرگتريي جولِ کاهل ٍ تواهاً تا حرٍف تسرگ (هياًگيي ‪)51.6‬‬
‫‪‬‬
‫ٍيژگی ‪ :57‬هجوَع عَل جوالت کاهل ٍ تواهاً تا حرٍف تسرگ (هياًگيي ‪)181.1‬‬
‫‪; ( [ ! $ #‬‬
‫‪ .1.3‬در ايي تخص ّذف پيادُسازی ‪ ٍ Logistic Regression‬تررسی ًتايج آى تر رٍی هجوَ دادُ ‪ spam‬است (‬
‫)‪:‬‬
‫‪ً 4( .a‬ورُ) کذّای هَجَد ترای آهَزش ٍ استفادُ از دستِتٌذ ‪ Logistic Regression‬تذٍى جولِ هٌظنسازی‬
‫(‪ )regularization‬را تکويل ًواييذ‪.‬‬
‫‪ً 4( .b‬ورُ) کذ تٌذ (‪ )a‬ترای آهَزش را تِ گًَِای گسترش دّيذ کِ اهکاى اضافِ ضذى جولِ هٌظنسازی تِ‬
‫صَرت ‖ ‖ را ًيس در فرايٌذ يادگيری فراّن ًوايذ‪.‬‬
‫‪ً 9( .c‬ورُ) ّريک از پيص پردازش ّای زير را تِ عَر جذاگاًِ در ًظر تگيريذ‪:‬‬
‫‪ .I‬هياًگيي ّر ٍيژگی را صفر ٍ ٍارياًس آى را ‪ً 1‬واييذ‪ .‬تِ ػثارت ديگر تِ ازای ّر ٍيژگی هياًگيي ٍ‬
‫اًحراف استاًذارد هقادير آى رٍی کل هجوَػِ دادُّای آهَزش را تِ دست آٍريذ‪ .‬سپس تِ ازای‬
‫تکتک دادُّا از هقذار ّر ٍيژگی آىّا هياًگيي هرتَعِ را کن کردُ ٍ ًتيجِ را تر اًحراف استاًذارد‬
‫هرتَط تِ آى ٍيژگی تقسين ًواييذ‪.‬‬
‫‪ftp://ftp.ics.uci.edu/pub/machine-learning-databases/spambase/‬‬
‫‪1‬‬
‫‪ .II‬از تثذيل دٍدٍيی‬
‫( استفادُ کٌيذ‪ .‬تِ ػثارت ديگر تِ ازای ّر ٍيژگی اگر هقذار آى هثثت‬
‫)‬
‫تَد تا يک ٍگرًِ تا صفر جايگسيي کٌيذ‪.‬‬
‫خغا رٍی دادُّای آهَزش ٍ آزهَى را در ّر سِ هَرد تذٍى پيصپردازش‪ ،‬تا پيصپردازش ‪ ٍ I‬پيصپردازش‬
‫‪ II‬در حالتیکِ ضرية جولِ هٌظنسازی‬
‫استفادُ‬
‫تا‬
‫از‬
‫‪CV‬‬
‫𝜆ٍ‬
‫𝜆 تاضذ‪ ،‬هحاسثِ ٍ گسارش ًواييذ‪ .‬سپس هقذار 𝜆 را‬
‫از‬
‫‪10-fold‬‬
‫تيي‬
‫هقادير‬
‫هجوَػِ‬
‫𝜆 تؼييي ًواييذ‪ .‬در ًْايت خغاّا را در يک‬
‫جذٍل تِ صَرت زير خالصِ ًوَدُ ٍ ًتايج را تحليل ًواييذ‪.‬‬
‫‪Without preprocess‬‬
‫‪Preprocess II‬‬
‫‪Preprocess I‬‬
‫‪Test error‬‬
‫‪Train error‬‬
‫‪Test error‬‬
‫‪Train error‬‬
‫‪Test error‬‬
‫‪Train error‬‬
‫‪Test error‬‬
‫‪Train error‬‬
‫‪Test error‬‬
‫‪Train error‬‬
‫‪Test error‬‬
‫‪Train error‬‬
‫‪Test error‬‬
‫‪Train error‬‬
‫‪Test error‬‬
‫‪Train error‬‬
‫‪Test error‬‬
‫‪Train error‬‬
‫𝜆‬
‫𝜆‬
‫‪𝜆, 10-fold CV‬‬
‫‪ .1.3‬در ايي سَال قصذ دارين تا استفادُ از دستِتٌذ ‪ Naïve Bayes‬دادُّای هرتَعِ را دستِتٌذی ًوايين‪.‬‬
‫‪ .a‬فرض کٌيذ‬
‫تؼذاد کل دادُّا‪،‬‬
‫تؼذاد دادُّای هَجَد در دستِ ‪،‬‬
‫تؼذاد دادُّايی از دستِ‬
‫کِ‬
‫ٍيژگی آى غير صفر است‪ ،‬تاضٌذ‪ .‬ترای ايي هٌظَر از دادُّای تثذيل ضذُ تِ صَرت دٍدٍيی در سَال قثل‬
‫استفادُ هیکٌين‪ .‬چٌاىچِ ترای تخويي تَزيغ پيطيي دستِّا ٍ ّوچٌيي تَزيغ ضرعی دستِّا‬
‫از‬
‫‪ ML‬استفادُ ضَد ٍ تَزيغ ٍيژگیّا ترًَلی در ًظر گرفتِ ضَد‪ ،‬تَزيغ پيطيي تخويي زدُ ضذُ تِ صَرت‬
‫‪⁄‬‬
‫‪⁄‬‬
‫̂𝜋 ٍ پاراهترّای تخويي زدُ ضذُ ترای چگالی ضرعی دستِّا تِ صَرت‬
‫̂‬
‫در هیآيذ‪.‬‬
‫‪ً 6( .I‬ورُ) تا استفادُ از تخوييّای هؼرفی ضذُ‪ ،‬دستِتٌذ ‪ Naïve Bayes‬را تِگًَِای پيادُسازی ًواييذ‬
‫کِ در فاز آهَزش ايي تخوييّا را تِ ازای ًوًَِّای آهَزش هحاسثِ ًوايذ ٍ در فاز دستِتٌذی تِ‬
‫ازای دريافت يک هجوَػِ دادُ ٍ ّوچٌيي پاراهترّايی کِ در فاز آهَزش پيذا ضذُاًذ‪ ،‬ضوارُ دستِ‬
‫دادُّا را هطخص ًوايذ‪ً .‬تايج دستِتٌذ ‪ Naïve Bayes‬پيادُسازی ضذُ را رٍی هجوَػِ آهَزش ٍ‬
‫آزهَى هطخص ًواييذ‪.‬‬
‫‪ً 4( .II‬ورُ) هطکل استفادُ از تخويي ̂ تا استفادُ از راتغِ تياى ضذُ در تٌذ (‪ )a‬را تياى کٌيذ‪ .‬راُحلی‬
‫تِ هٌظَر رفغ ايي هطکل ارائِ ًواييذ‪.‬‬
‫‪ .b‬اگر ترخالف تٌذ ‪ a‬دادُّا دٍدٍيی ًطًَذ ٍ چگالّای ضرعی دستِّا رٍی ٍيژگیّا هختلف‬
‫تَزيغ گاٍسی هذل ضَد‪.‬‬
‫‪ً 1( .I‬ورُ) اتتذا پاراهترّايی کِ تايذ تخويي زدُ ضًَذ ٍ ًحَُی تخويي آىّا را هطخص ًواييذ‪.‬‬
‫تا‬
‫‪ً 4( .II‬ورُ) تا استفادُ از تخوييّای تِدست آهذُ در تٌذ قثل‪ ،‬دستِتٌذ ‪ Naïve Bayes‬را تِگًَِای‬
‫پيادُسازی ًواييذ کِ در فاز آهَزش ايي تخوييّا را تِ ازای ًوًَِّای آهَزش هحاسثِ ًوايذ ٍ در‬
‫فاز دستِتٌذی تِ ازای دريافت يک هجوَػِ دادُ ٍ ّوچٌيي پاراهترّايی کِ در فاز آهَزش پيذا‬
‫ضذُاًذ‪ ،‬ضوارُ دستِ دادُّا را هطخص ًوايذ‪.‬‬
‫‪ً 3( .III‬ورُ) ًتايج دستِتٌذ ‪ Naïve Bayes‬پيادُسازی ضذُ را رٍی هجوَػِ آهَزش ٍ آزهَى هطخص‬
‫ًواييذ ٍ تا ًتيجِ تِ دست آهذُ در قسوت ‪ )a( 1.3‬هقايسِ ًواييذ‪.‬‬
‫‪ً 4( .3.3‬ورُ) ًتايج تِ دست آهذُ در قسوت ‪ 1.3 ٍ 1.3‬را هقايسِ ٍ تحليل ًواييذ‪.‬‬
‫سًال ‪ 28( :4‬ومرٌ) ‪ SVM‬ي َستٍ (‪)kernel‬‬
‫‪ .1.5‬هسالِ تْيٌِسازی ‪ SVM‬حاضيِ ًرم (‪)soft-margin‬‬
‫‪ً 5( .a‬ورُ) فرم دٍگاى (‪ )dual‬هسالِی تْيٌِسازی اصلی (‪ SVM )primal‬حاضيِ ًرم را پيذا کٌيذ‪.‬‬
‫‪ً 5( .b‬ورُ) تا استفادُ از فرم دٍگاى تِ دست آهذُ در تٌذ ‪ ٍ a‬ضرايظ ‪ً KKT‬طاى دّيذ کِ ًوًَِّای تا‬
‫دقيقاً رٍی اترصفحِّای حاضيِ ٍاقغ هیضًَذ ٍ ًوًَِّای تا‬
‫درٍى حاضيِ قرار‬
‫هیگيرًذ يا از آى رد هیضًَذ‪.‬‬
‫‪ .1.5‬دادُّای زير را در ًظر تگيريذ‪:‬‬
‫‪ً 3( .a‬ورُ) تِ صَرت تقريثی ًطاى دّيذ کِ ترای‬
‫هرز دٍ دستِ تِ چِ صَرت در هیآيذ‪ .‬تردارّای‬
‫پطتيثاى (‪ )support vectors‬را در ايي حالت هطخص ًواييذ‪.‬‬
‫‪ً 3( .b‬ورُ) تا کاّص هقذار‬
‫تِ سوت هقادير کَچک ٍ کَچکتر هرز ٍ حاضيِّا تِ چِ صَرت تغيير هیکٌٌذ؟‬
‫‪ً 4( .3.5‬ورُ) يک هسالِی دستِتٌذی تِ دٍ دستِ را در ًظر تگيريذ‪ .‬فرض کٌيذ دادُّای آهَزش تٌْا يک ٍيژگی دارًذ ٍ‬
‫ًوًَِّای آهَزش را هیتَاى در‬
‫تازُ رٍی هحَر حقيقی هقذار ٍيژگی تصَر کرد کِ ترچسة ًوًَِّای ّر دٍ تازُ‬
‫هتَالی ًاتراتر است (ضکل زير هثالی ترای‬
‫است)‪ .‬چٌاىچِ تخَاّين از ‪ Kernel SVM‬تا ّستِی چٌذجولِای‬
‫ترای ايي دادُّا استفادُ ًوايين‪ ،‬حذاقل چِ درجِ ّستِای را ترای ايي هٌظَر هٌاسة هیداًيذ؟ تَضيح دّيذ‪.‬‬
‫‪ً 4( .4.5‬ورُ) ًطاى دّيذ ضرب دٍ تاتغ ّستِی هؼتثر‬
‫ٍ‬
‫يک تاتغ ّستِی هؼتثر ّست‪.‬‬
‫‪ .5.5‬درستی يا ًادرستی گسارُّای زير را تا تَضيح هختصر هطخص ًواييذ‪:‬‬
‫‪ً 1( .a‬ورُ) در ‪ SVM‬حاضيِ ًرم تا افسايص پاراهتر‬
‫حاضيِ جذاسازی دٍ دستِ افسايص هیياتذ ٍ خغای آهَزش‬
‫کاّص هیياتذ‪.‬‬
‫‪ً 1( .b‬ورُ) ّستِ (‪ )kernel‬گاٍسی تا پاراهتر 𝜎 را در ًظر تگيريذ‪ .‬در حالت کلی از تيي هقادير هختلف پاراهتر‬
‫𝜎‬
‫ترای ّستِ گاٍسی‪ ،‬هقذاری کِ هٌجر تِ حاضيِی تسرگتر هیضَد‪ ،‬هقذار تْتری است‪.‬‬
‫سًال ‪ 25( 5‬ومرٌ)‪ :‬پيادٌسازی‬
‫‪SVM‬‬
‫پايگاُدادُ ‪ MNIST1‬ضاهل ارقام دست ًَضتِ کِ در فايل "‪ " MNIST‬در اختيار ضوا قرار گرفتِ‪ ،‬را در ًظر تگيريذ‪ّ .‬ر ػذد در‬
‫يک تصَير تِ اتؼاد‬
‫رخيرُ ضذُ است‪ّ .‬ر سغر دادُ هَجَد در فايل دادُ ‪ MNIST‬حاصل ترداری کردى يک تصَير‬
‫است کِ در اًتْای آى هطخص ضذُ است کِ ايي تصَير هرتَط تِ کذاميک از ارقام ‪ 0‬تا ‪ 9‬تَدُ است (تٌاترايي از‬
‫ستَىّای ‪ 1‬تا ‪ 784‬ترای ٍيژگیّای دادُ ٍ از ستَى ‪ 785‬ترای ترچسة استفادُ ًواييذ)‪ .‬ترای از ‪ 5666‬دادُی اٍل ترای آهَزش ٍ‬
‫از هاتقی دادُّا ترای آزهَى دستِتٌذ استفادُ ضَد‪ .‬ترای ايي سَال الزم است پيادُسازی ‪ SVM‬را (کِ در اختيار ضوا قرار گرفتِ‬
‫است) کاهل ًواييذ‪ .‬قثل از استفادُ از دادُّا ّوِی ٍيژگیّا را (کِ هحذٍدُضاى تيي ‪ 155 ٍ 6‬است) را تر ‪ 155‬تقسين کٌيذ‪.‬‬
‫‪ .1.5‬در ايي تخص‪ّ ،‬ذف استفادُ از رٍش ‪ hard-margin SVM‬ترای تفکيک تيي رقنّای ‪ 9 ٍ 1‬در تصاٍير است‪ .‬تؼذادی از‬
‫تصاٍير هَجَد در پايگاُ دادُ ترای ايي ارقام را در ضکل زير هطاّذُ هیکٌيذ‪.‬‬
‫‪http://yann.lecun.com/exdb/mnist/‬‬
‫‪2‬‬
‫‪ً 4( .a‬ورُ) در کذ دادُ ضذُ تغييرات الزم را تِگًَِای اػوال ًواييذ کِ تِ پيادُسازی دستِتٌذ‬
‫‪ SVM‬در فضای ٍيژگی اصلی (هؼادل تا تِکارگيری ّستِی خغی‬
‫‪hard-margin‬‬
‫) ضَد‪ .‬درصذ خغای‬
‫دستِتٌذ حاصل رٍی ًوًَِّای آهَزش ٍ آزهَى را تِ دست آٍريذ‪.‬‬
‫‪ً 5( .b‬ورُ) تر خالف تٌذ ‪ a‬از ّستِی گاٍسی استفادُ ًواييذ ٍ هقذار پاراهتر پٌْای پٌجرُ 𝜎 را از تيي هجوَػِ‬
‫را تا استفادُ از ‪ 5-fold CV‬تؼييي ًواييذ‪ .‬درصذ خغای‬
‫هقادير‬
‫دستِتٌذ حاصل را رٍی ًوًَِّای آهَزش‪ ،‬اػتثارسٌجی ٍ آزهَى گسارش ًواييذ‪.‬‬
‫‪ً 3( .c‬ورُ) ترای دستِتٌذ حاصل در تٌذ ‪ b‬تِ ازای ّر دستِ ‪ 5‬تا از تصاٍير آزهًَی کِ تِ ًادرستی دستِتٌذی‬
‫ضذُاًذ را در يک ضکل ًطاى دّيذ‪.‬‬
‫‪ .1.5‬در ايي تخص ّذف استفادُ از ‪ SVM‬حاضيِ ًرم (‪ ٍ )soft-margin‬ايجاد قاتليت دستِتٌذی تا تؼذاد دستِّای‬
‫است‪ .‬ترای ايي هٌظَر از تثذيل هسالِ تِ هسائل دستِتٌذی دٍ دستِای از عريق رٍيکرد ‪ one vs. one‬استفادُ ًواييذ‪.‬‬
‫فرض کٌيذ‬
‫تاضذ‪.‬‬
‫را کِ قاتليت دستِتٌذی چٌذ‬
‫‪ً 5( .a‬ورُ) ‪ SVM‬حاضيِ ًرم (‪ )soft-margin‬تا ّستِی خغی‬
‫دستِای را تِ هٌظَر دستِتٌذی ّر ‪ 16‬رقن داضتِ تاضذ‪ ،‬پيادُسازی کٌيذ‪ .‬درصذ خغای دستِتٌذ حاصل را رٍی‬
‫ًوًَِّای آهَزش ٍ آزهَى گسارش ًواييذ‪.‬‬
‫‪ً 5( .b‬ورُ) ‪ SVM‬حاضيِ ًرم (‪ )soft-margin‬تا ّستِی گاٍسی‬
‫)‬
‫‖‬
‫‖‬
‫(‬
‫ٍ قاتليت‬
‫دستِتٌذی چٌذ دستِای را هطاتْاً پيادُسازی ًواييذ‪ .‬هقذار پاراهتر پٌْای پٌجرُ را از تيي هجوَػِ هقادير‬
‫تا استفادُ از ‪ 5-fold CV‬تؼييي ًواييذ‪ .‬درصذ خغای دستِتٌذ‬
‫حاصل را رٍی ًوًَِّای آهَزش‪ ،‬اػتثارسٌجی ٍ آزهَى گسارش ًواييذ‪.‬‬
‫‪ً 3( .c‬ورُ) ًتايج تِدست آهذُ در تٌذ ‪ b ٍ a‬را هقايسِ ٍ تحليل ًواييذ‪.‬‬