آموزش ریشه یابی کلمات در پایتون (Stemming و Lemmatization)

0 دیدگاه

در حوزه پردازش زبان طبیعی (Natural Language Processing)، گاهی شرایطی پیش می‌آید که دو یا چند کلمه ریشه (Root) مشترک دارند. برای مثال، سه کلمه agreed ،agreeing و agreeable همگی از ریشه مشترک agree ساخته می‌شوند. در جستجویی که شامل هر یک از این کلمات باشد، سیستم باید آن‌ها را معادل یکدیگر و همان کلمه ریشه در نظر بگیرد. به همین دلیل، ما همه این کلمات را به ریشه اصلی‌شان متصل می‌کنیم. کتابخانه NLTK در پایتون ابزارهایی دارد که این اتصال را انجام می‌دهد و خروجی را همراه با کلمه ریشه نمایش می‌دهد.

در برنامه زیر، از Porter Stemming Algorithm برای استخراج ریشه کلمات استفاده می‌کنیم:

import nltk
from nltk.stem.porter import PorterStemmer
porter_stemmer = PorterStemmer()

word_data = "It originated from the idea that there are readers who prefer learning new skills from the comforts of their drawing rooms"
# First Word tokenization
nltk_tokens = nltk.word_tokenize(word_data)
#Next find the roots of the word
for w in nltk_tokens:
       print "Actual: %s  Stem: %s"  % (w,porter_stemmer.stem(w))

import nltk

from nltk.stem.porter import PorterStemmer

porter_stemmer = PorterStemmer()

word_data = "It originated from the idea that there are readers who prefer learning new skills from the comforts of their drawing rooms"

# First Word tokenization

nltk_tokens = nltk.word_tokenize(word_data)

#Next find the roots of the word

for w in nltk_tokens:

print "Actual: %s Stem: %s" % (w,porter_stemmer.stem(w))

خروجی اجرای کد بالا به شکل زیر است:

Actual: It  Stem: It
Actual: originated  Stem: origin
Actual: from  Stem: from
Actual: the  Stem: the
Actual: idea  Stem: idea
Actual: that  Stem: that
Actual: there  Stem: there
Actual: are  Stem: are
Actual: readers  Stem: reader
Actual: who  Stem: who
Actual: prefer  Stem: prefer
Actual: learning  Stem: learn
Actual: new  Stem: new
Actual: skills  Stem: skill
Actual: from  Stem: from
Actual: the  Stem: the
Actual: comforts  Stem: comfort
Actual: of  Stem: of
Actual: their  Stem: their
Actual: drawing  Stem: draw
Actual: rooms  Stem: room

Actual: It Stem: It

Actual: originated Stem: origin

Actual: from Stem: from

Actual: the Stem: the

Actual: idea Stem: idea

Actual: that Stem: that

Actual: there Stem: there

Actual: are Stem: are

Actual: readers Stem: reader

Actual: who Stem: who

Actual: prefer Stem: prefer

Actual: learning Stem: learn

Actual: new Stem: new

Actual: skills Stem: skill

Actual: from Stem: from

Actual: the Stem: the

Actual: comforts Stem: comfort

Actual: of Stem: of

Actual: their Stem: their

Actual: drawing Stem: draw

Actual: rooms Stem: room

Lemmatization عملکردی مشابه Stemming دارد اما علاوه بر استخراج ریشه، مفهوم کلمات را هم در نظر می‌گیرد. این روش یک گام فراتر می‌رود و کلماتی با معنای مشابه را به یک واژه واحد متصل می‌کند. برای مثال، اگر یک متن شامل کلماتی مثل cars ،trains و automobile باشد، ما همه آن‌ها را به automobile وصل می‌کنیم.

در برنامه زیر، از پایگاه واژگان WordNet برای انجام Lemmatization استفاده می‌کنیم:

import nltk
from nltk.stem import WordNetLemmatizer
wordnet_lemmatizer = WordNetLemmatizer()

word_data = "It originated from the idea that there are readers who prefer learning new skills from the comforts of their drawing rooms"
nltk_tokens = nltk.word_tokenize(word_data)
for w in nltk_tokens:
       print "Actual: %s  Lemma: %s"  % (w,wordnet_lemmatizer.lemmatize(w))

import nltk

from nltk.stem import WordNetLemmatizer

wordnet_lemmatizer = WordNetLemmatizer()

word_data = "It originated from the idea that there are readers who prefer learning new skills from the comforts of their drawing rooms"

nltk_tokens = nltk.word_tokenize(word_data)

for w in nltk_tokens:

print "Actual: %s Lemma: %s" % (w,wordnet_lemmatizer.lemmatize(w))

خروجی اجرای کد بالا:

Actual: It  Lemma: It
Actual: originated  Lemma: originated
Actual: from  Lemma: from
Actual: the  Lemma: the
Actual: idea  Lemma: idea
Actual: that  Lemma: that
Actual: there  Lemma: there
Actual: are  Lemma: are
Actual: readers  Lemma: reader
Actual: who  Lemma: who
Actual: prefer  Lemma: prefer
Actual: learning  Lemma: learning
Actual: new  Lemma: new
Actual: skills  Lemma: skill
Actual: from  Lemma: from
Actual: the  Lemma: the
Actual: comforts  Lemma: comfort
Actual: of  Lemma: of
Actual: their  Lemma: their
Actual: drawing  Lemma: drawing
Actual: rooms  Lemma: room

Actual: It Lemma: It

Actual: originated Lemma: originated

Actual: from Lemma: from

Actual: the Lemma: the

Actual: idea Lemma: idea

Actual: that Lemma: that

Actual: there Lemma: there

Actual: are Lemma: are

Actual: readers Lemma: reader

Actual: who Lemma: who

Actual: prefer Lemma: prefer

Actual: learning Lemma: learning

Actual: new Lemma: new

Actual: skills Lemma: skill

Actual: from Lemma: from

Actual: the Lemma: the

Actual: comforts Lemma: comfort

Actual: of Lemma: of

Actual: their Lemma: their

Actual: drawing Lemma: drawing

Actual: rooms Lemma: room

5/5 - (1 امتیاز)

راستی! برای دریافت مطالب جدید در کانال تلگرام یا پیج اینستاگرام سورس باران عضو شوید.

نظرات

برچسب ها: آموزش برنامه نویسی, آموزش پایتون

آموزش گام به گام برنامه نویسی اندروید با B4A (پروژه محور)

انتشار: ۱۹ مرداد ۱۴۰۴

آموزش ریشه یابی کلمات در پایتون (Stemming و Lemmatization)

دسته بندی موضوعات

آخرین محصولات فروشگاه

نظرات

بازخوردهای خود را برای ما ارسال کنید

لغو پاسخ

مطالب مرتبط