هوش مصنوعی با پایتون – پردازش زبان طبیعی

هوش مصنوعی با پایتون – پردازش زبان طبیعی

پردازش زبان طبیعی (NLP) به روش AI برای برقراری ارتباط با سیستم های هوشمند با استفاده از یک زبان طبیعی مانند انگلیسی اشاره دارد.

پیشنهاد ویژه : پکیج آموزش صفر تا صد پایتون

پردازش زبان طبیعی زمانی لازم است که بخواهید یک سیستم هوشمند مانند ربات طبق دستورالعمل شما انجام دهد، وقتی می خواهید از سیستم متخصص بالینی مبتنی بر گفتگو و غیره تصمیم بگیرید.

زمینه NLP شامل ایجاد رایانه در کارهای مفید با زبانهای طبیعی است که بشر از آنها استفاده می کند. ورودی و خروجی سیستم NLP می تواند –

• سخن، گفتار
  متن نوشته شده

اجزای NLP

در این بخش، با اجزای مختلف NLP آشنا خواهیم شد. NLP دو جز دارد. اجزای زیر شرح داده شده است –

درک زبان طبیعی (NLU)

این شامل کارهای زیر است –

• نگاشت ورودی داده شده به زبان طبیعی در نمایش های مفید.
• تجزیه و تحلیل جنبه های مختلف زبان.

تولید زبان طبیعی (NLG)

این فرآیند تولید عبارات و جملات معنی دار در قالب زبان طبیعی از برخی نمایش های داخلی است. این شامل:

• برنامه ریزی متن – این شامل بازیابی محتوای مربوطه از پایگاه دانش است.
• برنامه ریزی جمله – این شامل انتخاب کلمات مورد نیاز، تشکیل عبارات معنی دار و تنظیم لحن جمله است.
• تحقق متن – این نگاشت برنامه جمله در ساختار جمله است.

مشکلات در NLU

NLU از لحاظ فرم و ساختار بسیار غنی است. با این حال، مبهم است. ابهام می تواند سطوح مختلفی داشته باشد –

ابهام واژگانی

در سطح بسیار بدوی مانند سطح کلمات است. به عنوان مثال،  کلمه “board” به عنوان اسم یا فعل؟

ابهام سطح نحو

یک جمله را می توان به روش های مختلف تجزیه کرد. به عنوان مثال ، “او سوسک را با کلاه قرمز بلند کرد.” – آیا او برای بلند کردن سوسک از کلاه استفاده کرده است یا سوسک را که کلاه قرمزی داشت بلند کرد؟

ابهام مرجع

اشاره به چیزی با استفاده از ضمایر. به عنوان مثال، ریما به گائوری رفت. او گفت ، “من خسته شده ام.” – دقیقاً کی خسته است؟

اصطلاحات NLP

حال اجازه دهید چند اصطلاح مهم را در اصطلاحات NLP ببینیم.

• Phonology − این مطالعه سازماندهی سیستماتیک صدا است.
• Morphology  – مطالعه ساخت واژه ها از واحدهای معنی دار ابتدایی است.
• Morpheme – این یک واحد اولیه از معنا در یک زبان است.
• Syntax – منظور از ترتیب کلمات برای ساخت جمله است. همچنین شامل تعیین نقش ساختاری کلمات در جمله و عبارات است.
• Semantics  – این مربوط به معنی کلمات و نحوه ترکیب کلمات در عبارات و جملات معنی دار است.
• Pragmatics – این کار با استفاده و درک جملات در موقعیت های مختلف و نحوه تأثیرگذاری تفسیر جمله سروکار دارد.
• Discourse – به این موضوع می پردازد که جمله قبل می تواند بلافاصله بر تفسیر جمله بعدی تأثیر بگذارد.
• World Knowledge – شامل دانش عمومی در مورد جهان است.

مراحل در NLP

این بخش مراحل مختلف NLP را نشان می دهد.

تحلیل واژگانی

این شامل شناسایی و تجزیه و تحلیل ساختار کلمات است. لغت نامه یک زبان به معنای مجموعه کلمات و عبارات در یک زبان است. تجزیه و تحلیل واژگانی کل بخش txt را به پاراگراف ها، جملات و کلمات تقسیم می کند.

تجزیه و تحلیل نحوی

این شامل تجزیه و تحلیل کلمات در جمله برای دستور زبان و ترتیب کلمات به گونه ای است که رابطه بین کلمات را نشان می دهد. جمله ای مانند “مدرسه به پسر می رود” توسط تحلیلگر نحوی انگلیسی رد می شود.

تحلیل معنایی

این معنی دقیق یا معنای فرهنگ لغت را از متن می گیرد. متن از نظر معناداری بررسی می شود. این کار با نگاشت ساختارها و اشیا synt نحوی در حوزه کار انجام می شود. تحلیل گر معنایی جمله ای مانند “بستنی داغ” را نادیده می گیرد.

ادغام گفتمان

معنی هر جمله به معنای جمله قبل از آن بستگی دارد. علاوه بر این، معنای جمله فوراً جانشین را نیز به همراه دارد.

تحلیل عملی

در طی این، آنچه گفته شد در معنای واقعی آن تفسیر می شود. این شامل استخراج جنبه هایی از زبان است که نیاز به دانش دنیای واقعی دارند.

منبع.

لیست جلسات قبل آموزش هوش مصنوعی با برنامه نویسی پایتون

1. آموزش هوش مصنوعی با برنامه نویسی پایتون – مفهوم کلی
2. شروع آموزش هوش مصنوعی با برنامه نویسی پایتون
3. یادگیری ماشین در هوش مصنوعی با برنامه نویسی پایتون
4. هوش مصنوعی با برنامه نویسی پایتون، آماده ‌سازی داده ها
5. هوش مصنوعی با پایتون، یادگیری نظارت شده و طبقه بندی
6. هوش مصنوعی با برنامه نویسی پایتون – یادگیری تحت نظارت: رگرسیون
7. هوش مصنوعی با برنامه نویسی پایتون – برنامه نویسی منطقی
8. هوش مصنوعی با پایتون – یادگیری بدون نظارت: خوشه بندی