‫پروشه اول – بازیابی پیشرفتهی اطالعات ‪42304‬‬
‫نیمسال اول ‪10-19‬‬
‫هذسس‪ :‬سلیواًی‬
‫هَػذ تحَيل‪ 02 :‬آبان ‪19‬‬
‫تِ ًام خذا‬
‫پروشه اول درس بازیابی پیشرفتهی اطالعات‬
‫لطفاً تِ هَاسد صيش دس تْیِ ٍ تحَيل پشٍطُ دقت ًوايیذ‪:‬‬
‫‪-‬‬
‫چٌاىچِ سَالی دس ساتطِ تا پشٍطُ داضتیذ تِ گشٍُ دسس ايویل تفشستیذ‪.‬‬
‫‌‬
‫‪-‬‬
‫پشٍطُ دسس هیتَاًذ دس گشٍُّای دٍ ًفشی اًدام ضَد‪ .‬حذاکثش تا ‪ 7‬آتاى گشٍُ خَد سا تِ استاد دسس اػالم ًوايیذ ٍ‬
‫چٌاىچِ تا ايي تاسيخ گشٍّی اػالم ًکٌیذ تِ ػٌَاى يک گشٍُ يک ًفشُ دس ًظش گشفتِ خَاّیذ ضذ‪.‬‬
‫‪-‬‬
‫کذ پشٍطُ خَد سا تِ آدسس ‪ mir.fall.2012@gmail.com‬اسسال ًوايیذ‪ .‬فايل‌ّای اسسالی تايذ دس يک پَضِ فطشدُ‬
‫تاضذ کِ اسن آى ضواسُ داًطدَيی اػضای گشٍُ کِ تا "_" اص ّن خذا ضذُاًذ‪ ،‬است‪ّ .‬وچٌیي ػٌَاى ايویل تِ غَست‬
‫‪ StudentID1_StudentID2_Phase1‬يا دس غَست تکًفشُ تَدى پشٍطُ ‪ StudentID_Phase1‬تاضذ‪ .‬هْلت‬
‫اسسال کذ ٍ گضاسش آى تا ساػت ‪ 42‬هَػذ هقشس است‪.‬‬
‫‪-‬‬
‫کذ تشًاهِ تايذ پیادُساصی خَد ضوا تاضذ‪.‬‬
‫‪-‬‬
‫تحَيل پشٍطُ تِ غَست حضَسی ًیض غَست خَاّذ گشفت‪.‬‬
‫‪-‬‬
‫تخص قاتل تَخْی اص ًوشُ تِ گضاسش ٍ تحلیل ًتايح اختػاظ داسد‪.‬‬
‫پروشه اول‬
‫دس پشٍطُ اٍل قشاس است يک سیستن پايِ تاصياتی اطالػات تا استفادُ اص ػولیات ضاخعگزاسی (‪ ٍ )indexing‬دٍ هذل تاصياتی‬
‫اطالػات تَلیي (‪ ٍ )Boolean‬تشتیةداس (‪ )ranked‬طشاحی ٍ پیادُساصی کشدُ ٍ هذلّای حاغل سا اسصياتی ًوايیذ‪ .‬تٌاتشايي دس‬
‫حالت پايِ سیستن ضوا تايذ ػولیات خَاًذى اسٌاد ٍ ‪ ،tokenization‬ضاخعگزاسی اسٌاد ٍ تاصياتی اطالػات هشتثط تا يک‬
‫پشسواى (‪ )query‬سا دس ّش يک اص هذلّای تاصياتی اطالػاتی کِ رکش خَاّذ ضذ‪ ،‬اًدام دّذ‪.‬‬
‫تِ ايي تشتیة سیستن تاصياتی اطالػات هَسدًظش تايذ اهکاًات صيش سا فشاّن ًوايذ‪:‬‬
‫أ‪.‬‬
‫‪ :Tokenizer‬پشداصش سٌذ (يا پشسواى) ٍ پیذا کشدى دًثالِی ٍاطُّا‪ .‬دس ايي تخص تايذ اهکاى استفادُ اص سيطِياتی‬
‫(‪ )stemmer‬کِ دس اختیاس ضوا قشاس خَاّذ گشفت ًیض فشاّن ضَد‪ّ .‬وچٌیي اهکاى حزف ‪ّstop word‬ا کِ لیست‬
‫آىّا دس اختیاس ضوا قشاس دادُ ضذُ (‪ً ،)stopwords.txt‬یض ٍخَد داضتِ تاضذ‪.‬‬
‫پروشه اول – بازیابی پیشرفتهی اطالعات ‪42304‬‬
‫نیمسال اول ‪10-19‬‬
‫هذسس‪ :‬سلیواًی‬
‫هَػذ تحَيل‪ 02 :‬آبان ‪19‬‬
‫تشای پیادُ ساصی ‪ tokenizer‬تايذ تَاتغ هَخَد دس قسوت ‪ tokenizer.impl‬سا پیادُ ساصی کٌیذ‪ّ .‬وچٌیي دس‬
‫پیادُساصی تِ هَاسد صيش دقت کٌیذ‪ .‬دس کٌاس خذا کشدى ‪ّ Token‬ا تِ غَست هؼوَل‪ ،‬سِ قاًَى صيش ًیض دس ًظش گشفتِ‬
‫ضَد‪:‬‬
‫‪ .1‬اگش قثل ٍ تؼذ اص ًقطِ فاغلِ ی سفیذ(‪ً )white space‬یاهذُ تاضذ‪ ،‬خضٍ ‪ token‬حساب هیضَد‪.‬‬
‫‪ "-" .4‬خذا کٌٌذُ هحسَب هیضَد‪ ،‬هگش اييکِ ػذدی دس کلوِ ٍخَد داضتِ تاضذ کِ دس ايي غَست خذا کٌٌذُ‬
‫تِ حساب ًویآيذ ٍ ػذد ٍ "‪ "-‬تا ّن يک کلوِ دس ًظش گشفتِ هیضًَذ‪.‬‬
‫‪ .3‬آدسس ايٌتشًتی ٍ ايویل يک کلوِ ی کاهل دس ًظش گشفتِ هیضًَذ‪.‬‬
‫هثال‪:‬‬
‫ٍسٍدی ‪"Please, email john.doe@foo.com by 03-09, re: m37-xq":‬‬
‫دًثالِ ‪ّtoken‬ا‪"Please" "email" "john.doe@foo.com" "by" "03-09" "re" "m37-xq" :‬‬
‫ب‪ .‬ضاخعگزاس‪ :‬تايذ ضاخع اسٌاد ضاهل ديکطٌشی ٍ لیستّای ‪ posting‬سا تطکیل دّذ‪ .‬ػولیات ضاخعگزاسی تايذ تِ‬
‫گًَِای اًدام ضَد کِ اهکاى تِسٍص ضذى ضاخع تِ اصای اضافِ ضذى يک سٌذ خذيذ ٍخَد داضتِ تاضذ‪.‬‬
‫تشای پیادُ ساصی ‪ indexer‬تايذ تَاتغ هَخَد دس قسوت ‪ indexer.impl‬سا پیادُ ساصی کٌیذ‪.‬‬
‫ج‪ .‬هذل تاصياتی تَلیي‪ :‬سیستن تاصياتی تَلیي تايذ تتَاًذ اسٌاد هشتثط تا پشسواًی کِ دس آى يک هدوَػِ لغت تا ّن ‪OR‬‬
‫ضذُاًذ يا تا ّن ‪ AND‬ضذُاًذ سا پیذا کٌذ (سادُتشيي ضکل پشسواى تَلیي)‪.‬‬
‫د‪ .‬تاصياتی اطالػات تشتیةداس‪ :‬تا استفادُ اص هذل تاصياتی فضای تشداسی ٍ تا اهکاى هحاسثِ ضثاّت‬
‫ّش يک اص سٍاتط صيش‪:‬‬
‫‪ .a‬تؼذاد کلواتی اص پشسواى‬
‫کِ دس سٌذ‬
‫‪ .b‬هدوَع تؼذاد سخذاد کلوات پشسواى‬
‫‪ .c‬ضشب داخلی‬
‫‪ .d‬کسیٌَس صاٍيِ تیي‬
‫پیذا ضذُاًذ‪.‬‬
‫دس سٌذ‬
‫دس فضای تشداسی ‪( tf-idf‬هذل ‪)lnn.ltn‬‬
‫دس فضای تشداسی ‪( tf-idf‬هذل ‪)lnc.ltc‬‬
‫تتَاًذ لیست هشتثی اص اسٌاد هشتثط تا يک پشسواى سا تشگشداًذ‪.‬‬
‫اص طشيق‬
‫پروشه اول – بازیابی پیشرفتهی اطالعات ‪42304‬‬
‫نیمسال اول ‪10-19‬‬
‫هذسس‪ :‬سلیواًی‬
‫هَػذ تحَيل‪ 02 :‬آبان ‪19‬‬
‫تشای پیادُ ساصی دٍ قسوت ج ٍ د تايذ تاتغ ّای هَسد ًظش دس قسوت ‪ retrieval.impl‬دس فايل‬
‫‪ MySearchEngine.java‬سا تکویل ًوايیذ‪ .‬تاتغ اٍل تا تَخِ تِ پشسواى دادُ ضذُ‪ ،‬تِ غَست تَلیي ٍ يا تشتیة داس‪،‬‬
‫تِ خستدَ پشداختِ ٍ حاغل سا تِ غَست لیستی اص ضواسُ اسٌاد هَسد ًظش تشهیگشداًذ‪.‬‬
‫دس ًْايت تايذ تتَاًیذ اخضای هختلف سیستن تاصياتی اطالػات سا دس کٌاس ّن قشاس دادُ ٍ تِ پشسواى دادُ ضذُ دس‬
‫ٍسٍدی پاسخ دّیذ‪ .‬تشای ايي هٌظَس تايذ قثل اص تاصياتی اطالػات ضاخعگزاسی اًدام ضذُ تاضذ (آدسس ضاخِای کِ‬
‫فايلّای اسٌاد دس آى هَخَد است اص ٍسٍدی دسيافت ضَد)‪.‬‬
‫ٍسٍدی گشفتي تشای پشسواى تِ غَست صيش است‪:‬‬
‫… ‪x-xxx term1 term2‬‬
‫کِ تِ خای ‪ x-xxx‬هی تَاًیذ ‪ R-cos ،R-dot ،R-tf ،R-bin ،B-OR ،B-AND‬کِ تِ تشتیة هؼشف هذل تَلیي ٍقتی کِ‬
‫تیي ّوِی کلوات ‪ AND‬دس ًظش گشفتِ ضَد‪ ،‬هذل تَلیي ٍقتی کِ تیي ّوِی کلوات ‪ OR‬دس ًظش گشفتِ ضَد ٍ ّوچٌیي‬
‫هذلّای تشتیةداس رکش ضذُ دس تخصّای ‪ )a‬تا ‪ )d‬تٌذ (د) قشاس دّیذ‪ .‬تشای هذلّای تشتیةداس قثل اص اٍلیي کلوِ‬
‫(‪ )term1‬هیتَاى تؼذاد اسٌاد هَسدًظش دس لیست هشتثی کِ تايذ تشگشداًذُ ضَد‪ ،‬سا ّن قشاس داسد‪.‬‬
‫معیارهای ارزیابی‬
‫تشای تشسسی ٍ هقايسِ ػولکشد هذلّای تاصياتی اطالػات اص هؼیاسّای صيش (کِ هقاديشضاى تِ طَس هیاًگیي تشای کل هدوَػِ‬
‫پشسواى هحاسثِ ضذُ) استفادُ ضَد‪:‬‬
‫‪-‬‬
‫تؼذاد اسٌاد تاصياتی ضذُ‪ ،‬اسٌاد هشتثط ٍ اسٌاد تاصياتی ضذُی هشتثط‬
‫‪-‬‬
‫هؼیاس ‪MAP‬‬
‫‪-‬‬
‫هؼیاس ‪R-precision‬‬
‫‪-‬‬
‫هقاديش دقت دسٍىياتی ضذُ ‪ً 11‬قطِای‬
‫تشای هذل تَلیي کافی است هؼیاس اٍل هحاسثِ ضَد‪.‬‬
‫مجموعه اسناد‬
‫هدوَػِ اسٌاد ‪ Time‬تشای هقايسِی هذلّای تاصياتی اطالػات دس ًظش گشفتِ ضذُ است کِ اص هدلِ ‪ Time‬اًتخاب ضذُ است‪.‬‬
‫اص آى خا کِ تؼذادی پشسواى ٍ لیست اسٌاد هشتثط تا ّش پشسواى ًیض دس کٌاس ايي هدوَػِ تْیِ ضذُ است‪ ،‬ضوا قادس ّستیذ تا‬
‫استفادُ اص هؼیاسّای اسصياتی کاسايی سیستن حاغل سا هَسد تشسسی قشاس دّیذ‪.‬‬
‫پروشه اول – بازیابی پیشرفتهی اطالعات ‪42304‬‬
‫نیمسال اول ‪10-19‬‬
‫هذسس‪ :‬سلیواًی‬
‫هَػذ تحَيل‪ 02 :‬آبان ‪19‬‬
‫گسارش و ارزیابی سیستم‬
‫دس ايي پشٍطُ ػالٍُ تش کذ تشًاهِ تايذ هستٌذات کاهلی ساخغ تِ طشاحی سیستن خَد‪ ،‬خشٍخیّا ٍ تحلیل ًتايح تحَيل ًوايیذ‪ .‬دس‬
‫قسوت تحلیل ًتايح تايذ هَاسد صيش سا تشسسی ًوايیذ‪:‬‬
‫أ‪.‬‬
‫هقايسِ ًتايح هذلّای تاصياتی اطالػات تش سٍی کل هدوَػِ پشسواىّا‬
‫ب‪ .‬تاثیش حزف ‪ Stop words‬تش سٍی ػولکشد هذلّا‬
‫(لیستی اص ‪ّ Stop word‬ا دس اختیاس ضوا قشاس دادُ هیضَد تا اثش حزف ايي کلوات سا هَسد تشسسی قشاس دّیذ‪).‬‬
‫ج‪ .‬تاثیش سيطِياتی تش سٍی ػولکشد هذلّا‬
‫(تشای ػولیات سيطِياتی يک تاتغ آهادُ دس اختیاس ضوا قشاس خَاّذ گشفت‪).‬‬
‫اختیاسی‪:‬‬
‫‪-‬‬
‫دس ايي پشٍطُ تا هدوَػِ اسٌاد رکش ضذُ‪ ،‬ساخت ضاخع هیتَاًذ هستقیواً دس حافظِ غَست گیشد‪ .‬فشؼ کٌیذ دس‬
‫ٍسٍدی حذاکثش اًذاصُی حافظِای کِ هیتَاًیذ تشای ضاخعگزاسی استفادُ کٌیذ تشای ضوا هطخع ضذُ تاضذ‪ .‬تا‬
‫استفادُ اص تکٌیکّای فطشدُساصی ٍ ّوچٌیي رخیشُساصی ٍ اًتقال هٌاسة دادُّا تیي ديسک ٍ حافظِ ػولیات‬
‫ضاخعگزاسی سا دس صهاى تا حذ هوکي کَتاُ اًدام دّیذ‪ .‬دس خشٍخی تايذ صهاى کل ساخت ضاخع ٍ هدوَع صهاى‬
‫غشف ضذُ تشای تاصياتی اسٌاد هشتثط تا کلیِ پشسواىّا رکش ضَد‪.‬‬
‫هَفق تاضیذ‬