هوش مصنوعی

هدف این پروژه پیاده‌سازی الگوریتم‌های طبقه‌بندی و خوشه‌بندی، طراحی خزنده، و ارزش‌گذاری مقالات و رتبه‌بندی نویسنده‌ها بر اساس اطلاعات جمع‌آوری‌شده توسط خزنده است. طبقه‌بندی و خوشه‌بندی : در این بخش از پروژه قصد داریم طبقه‌بندی و خوشه‌بندی را روی داده‌های متنی موجود در دیتاست AG News انجام دهیم. داده‌های این دیتاست از سه بخش تشکیل شده‌اند: عنوان خبر، متن خبر، و دسته‌ی خبر. داده‌ها (خبرها) در این دیتاست 4 دسته می‌باشند که این دسته‌ها به‌صورت زیرند: World : 0 Sports : 1 Business : 2 Sci/Tech : 3 با توجه به اینکه نمی‌توان مدل‌های طبقه‌بندی و خوشه‌بندی را به‌طور مستقیم بر روی داده‌های متنی آموزش داد و آزمود، در ابتدا باید این داده‌ها را به شکل عددی تبدیل کنیم. برای این کار روش‌های مختلفی وجود دارد. یکی از این روش‌ها، استفاده از الگوریتم tf-idf و اعمال تجزیه SVD (به‌منظور کاهش ابعاد) برای ایجاد embedding متناظر با متن می‌باشد. با استفاده از قطعه کد زیر، عملیات گفته‌شده را اجرا می‌کنیم. طبقه‌بندی : در این بخش سه مدل Naïve Bayes، k-Nearest Neighbors و SVM را بررسی می‌کنیم. به ازای هر یک، در ابتدا مدل را با استفاده از داده train، آموزش داده و سپس با استفاده از داده vaidation، به بررسی کلی عملکرد و تنظیم هایپرپارامتر و ویژگی‌های مدل می‌پردازید و بهترین مدل را با توجه به صحت (accuracy) مدل انتخاب می‌کنید. در بخش ارزیابی به بررسی عملکرد مدل‌های انتخاب‌شده بر روی داده test بر اساس معیارهای گفته‌شده، می‌پردازید. توجه داشته باشید که به ازای هر خبر، سه نوع embedding متناظر با آن خبر داریم و درنتیجه به ازای هر الگوریتم، باید سه مدل را به عنوان مدل نهایی انتخاب نمایید. یعنی 9 مدل در انتها باید بر روی داده test متناظر بررسی شوند. این مدل‌ها به‌صورت زیر می‌باشند: مدل naïve bayes آموزش داده شده روی ستون vec_1 یا embedding حاصل از عنوان خبر مدل naïve bayes آموزش داده شده روی ستون vec_2 یا embedding حاصل از متن خبر مدل naïve bayes آموزش داده شده روی ستون vec_3 یا embedding حاصل از ترکیب عنوان و متن خبر مدل knn آموزش داده شده روی ستون vec_1 یا embedding حاصل از عنوان خبر مدل knn آموزش داده شده روی ستون vec_2 یا embedding حاصل از متن خبر مدل knn آموزش داده شده روی ستون vec_3 یا embedding حاصل از ترکیب عنوان و متن خبر مدل svm آموزش داده شده روی ستون vec_1 یا embedding حاصل از عنوان خبر مدل svm آموزش داده شده روی ستون vec_2 یا embedding حاصل از متن خبر مدل svm آموزش داده شده روی ستون vec_3 یا embedding حاصل از ترکیب عنوان و متن خبر ارزیابی : با استفاده از معیارهای ارزیابی زیر، عملکرد مدل را روی داده تست بررسی نمایید و مدل‌ها را با هم دیگر مقایسه کنید. Accuracy Precision Recall F1-score Confusion Matrix با توجه به اینکه مسئله طبقه‌بندی این پروژه از نوع چند کلاسه می‌باشد، از macro معیارهای ذکرشده، استفاده نمایید. توجه داشته باشید که می‌توانید از امکانات کتابخانه sklearn برای این قسمت استفاده نمایید. باقی توضیحات در فایل پروژه ... لطفا فایل با نام Phase3.ipynb را بازکنید توضیحات وجود دارد

miladnazirzadeh

امتیاز : 0/5

لیست پیشنهادها

Niko

مجری طلایی

رتبه : 1

2 سال پیش