آموزش توکنیزه کردن کلمات در پایتون (Word Tokenization)

0 دیدگاه

توکنیزه کردن کلمات در پایتون (Word Tokenization) فرآیندی است که در آن یک متن بزرگ به بخش‌های کوچک‌تر یعنی کلمات تقسیم می‌شود. این کار در بسیاری از وظایف پردازش زبان طبیعی (Natural Language Processing) ضروری است، زیرا هر کلمه باید به طور جداگانه شناسایی و سپس برای تحلیل‌های بعدی مانند دسته‌بندی، شمارش و بررسی احساسات مورد پردازش قرار گیرد.

توکنیزه کردن کلمات در پایتون با کتابخانه NLTK

کتابخانه Natural Language Toolkit (NLTK) یکی از ابزارهای پرکاربرد برای انجام این کار است. پیش از اجرای برنامه پایتون برای توکنیزه کردن کلمات، باید NLTK را نصب کنید:

conda install -c anaconda nltk

1	conda install -c anaconda nltk

پس از نصب، می‌توانیم از متد word_tokenize برای تقسیم یک پاراگراف به کلمات مجزا استفاده کنیم:

import nltk

word_data = "It originated from the idea that there are readers who prefer learning new skills from the comforts of their drawing rooms"
nltk_tokens = nltk.word_tokenize(word_data)
print (nltk_tokens)

import nltk

word_data = "It originated from the idea that there are readers who prefer learning new skills from the comforts of their drawing rooms"

nltk_tokens = nltk.word_tokenize(word_data)

print (nltk_tokens)

اجرای کد بالا خروجی زیر را تولید می‌کند:

['It', 'originated', 'from', 'the', 'idea', 'that', 'there', 'are', 'readers', 
'who', 'prefer', 'learning', 'new', 'skills', 'from', 'the',
'comforts', 'of', 'their', 'drawing', 'rooms']

['It', 'originated', 'from', 'the', 'idea', 'that', 'there', 'are', 'readers',

'who', 'prefer', 'learning', 'new', 'skills', 'from', 'the',

'comforts', 'of', 'their', 'drawing', 'rooms']

توکنیزه کردن جملات در پایتون

علاوه بر کلمات، می‌توان جملات یک پاراگراف را نیز مانند همان روش، توکنیزه کرد. برای این کار از متد sent_tokenize استفاده می‌کنیم:

import nltk
sentence_data = "Sun rises in the east. Sun sets in the west."
nltk_tokens = nltk.sent_tokenize(sentence_data)
print (nltk_tokens)

import nltk

sentence_data = "Sun rises in the east. Sun sets in the west."

nltk_tokens = nltk.sent_tokenize(sentence_data)

print (nltk_tokens)

اجرای کد بالا خروجی زیر را ایجاد می‌کند:

['Sun rises in the east.', 'Sun sets in the west.']

1	['Sun rises in the east.', 'Sun sets in the west.']

5/5 - (1 امتیاز)

راستی! برای دریافت مطالب جدید در کانال تلگرام یا پیج اینستاگرام سورس باران عضو شوید.

نظرات

برچسب ها: آموزش برنامه نویسی, آموزش پایتون

پکیج صفر تا صد آموزش سئو و بهینه سازی بصورت عملی

انتشار: 10 آگوست 2025

آموزش توکنیزه کردن کلمات در پایتون (Word Tokenization)

توکنیزه کردن کلمات در پایتون با کتابخانه NLTK

توکنیزه کردن جملات در پایتون

دسته بندی موضوعات

آخرین محصولات فروشگاه

نظرات

بازخوردهای خود را برای ما ارسال کنید

لغو پاسخ

مطالب مرتبط