پردازش زبان های طبیعی

ارسال پیشنهاد

گزارش مالی

پردازش زبان های طبیعی

توضیحات بیشتر برای سوال 4 قسمت ب: در این سوال شما باید دو تابع پیاده سازی کنید. در تابع اول Lemmatization و Stemming باید پیاده سازی شود. برای پیاده سازی این تابع حق استفاده از هیچ کتابخانه آماده ای را ندارید. برای این تابع چندین کار باید انجام شود : حذف نشانه های جمع از آخر کلمات. حذف شناسه های فعل و "می" از ابتدای فعل ها و تبدیل فعل به شکل ساده آن (مصدر بدون ن آخر). برای مثال می روم باید به رفت تبدیل شود. در کل باید تلاش شود که ریشه کلمه به دست آید. برای پیاده سازی این قسمت نیاز است که با مفاهیم Lemmatization و Stemming به خوبی آشنا باشید. در تابع دوم هدف این است که شما احتمال داده های تست را حساب کنید. برای این کار ابتدا داده های ترین را به صورت ارایه هایی در کد خود بنویسید (به هر نحوی که خود راحت تر هستید). سپس باید ابتدا تابع قبل را بر روی داده های ترین پیاده کنید تا شکل ساده کلمات به دست آید. این شکل ساده را پرنیت کنید. هر داده ی تست جدید که ورودی تابع است را ابتدا به تابع اول دهید تا شکل ساده کلمات استخراج شود. سپس با استفاده از داده های ترین و مدل بایگرام به همراه Laplace Smoothing احتمال آن را حساب کرده و برگردانید. تمرین پردازش زبانهاي طبيعي