آموزش کامل بهینه سازی فایل robots.txt برای سیستم وردپرس

آموزش کامل بهینه سازی فایل robots.txt برای سیستم وردپرس

با سلام. در این مطلب آموزش کامل بهینه سازی فایل robots.txt برای سیستم وردپرس را برای دوستان عزیز سورس باران به اشتراک گذاشته ایم. فایل robots.txt در وردپرس، نقش مهمی در سئو و رتبه بندی موتور جستجو دارد. این فایل به شما کمک می کند که از ایندکس کردن و خزیدن رباتهای موتور جستجو در بخش هایی از سایت خود جلوگیری کنید . هر چند، گاهی اوقات ممکن است پیکربندی اشتباه فایل robots.txt  سایت شما را کاملا از دسترس موتورهای جستجو خارج کند . بنابراین، این مهم است که پس از انجام تغییرات ، فایل robots.txt به خوبی بهینه سازی شود و دسترسی به بخش مهم سایت شما را مسدود نکند. فایل robots.txt کمک می کند تا ربات موتور جستجو به صفحاتی که باید ایندکس کند هدایت شود. هنگامی که ربات یا اسپایدر موتور جستجو برای ایندکس صفحات به سایت شما وارد میشود ابتدا به دنبال فایل robots.txt میگردد و مسیر این فایل را برای ایندکس کردن صفحات وب سایت شما دنبال خواهد کرد . اگر از وردپرس استفاده میکنید ، فایل robots.txt را میتوانید در روت وردپرس خود بیابید . در وب سایت های استاتیک، اگر این فایل توسط شما یا برنامه نویس وب سایت تان ایجاد شده باشد، آن را در پوشه روت خود پیدا خواهید کرد. در غیر اینصورت میتوانید با استفاده از notepad به سادگی یک فایل ایجاد کرده و با نام  robots.txt آن را ذخیره کنید . سپس این فایل را با استفاده از FTP به دایرکتوری روت دامنه خود ارسال کنید.

جهت مشاهده آموزش کامل بهینه سازی فایل robots.txt برای سیستم وردپرس به ادامه مطلب مراجعه نمایید.

آموزش بهینه سازی فایل robots.txt وردپرس :

ایجاد فایل robots.txt :

همانطور که قبلا ذکر شد، robots.txt به طور کلی نام یک فایل متنی است. بنابراین، اگر  این فایل را در وب سایت خود نداشته باشید، با استفاده از ویرایشگر متن مورد نظر خود (به عنوان مثال: notepad ) آن را با یک یا چند رکورد ایجاد کنید. هر رکورد حاوی اطلاعات مهمی برای موتور جستجو است. به عنوان مثال:

User-agent: googlebot
Disallow: /cgi-bin

اگر این خط در فایل robots.txt  نوشته شود ، اجازه می دهد ربات گوگل همه صفحات سایت شما را به جز پوشه cgi-bin در دایرکتوری روت ایندکس کند. این بدان معناست که ربات گوگل ، پوشه cgi-bin را ایندکس نخواهد کرد . با استفاده از گزینه Disallow شما می توانید هر ربات و یا اسپایدر موتور جستجو را برای ایندکس کردن هر صفحه یا پوشه محدود کنید. سایت های بسیاری هستند که این فایل را به گونه ای تنظیم میکنند که پوشه Archive و یا صفحاتی که حاوی محتوای تکراری هستند ایندکس نشوند.

وارد کردن نام ربات موتور جستجو :

 اگر می خواهید بازدید کنندگان زیادی از موتورهای جستجو داشته باشید، باید به هر ربات جستجو اجازه دهید صفحات سایت شما رو ایندکس کنند. مطابق مثال زیر با قرار دادن مقدار * برای User-agent  به هر ربات جستجو اجازه ایندکس صفحات را خواهید داد :

User-agent: *
Disallow: /cgi-bin

نکات مهم :

1. در فایل robots.txt از comment استفاده نکنید.
2. در ابتدای هر خط و یا بین حروف هر کلمه خط فاصله قرار ندهید. به عنوان مثال:

غلط :

   User-agent: *
Dis allow: /support

صحیح :

User-agent: *
Disallow: /support

3. قواعد و ترتیب دستورات را تغییر ندهید:

غلط :

Disallow: /support
User-agent: *

صحیح :

User-agent: *
Disallow: /support

4. اگر می خواهید چند پوشه توسط موتور های جستجو ایندکس نشود، آنها را به صورت پشت سر هم قرار ندهید :

غلط :

User-agent: *
Disallow: /support /cgi-bin /images/

صحیح :

User-agent: *
Disallow: /support
Disallow: /cgi-bin
Disallow: /images

5. از حروف بزرگ وکوچک به درستی استفاده کنید، به عنوان مثال شما می خواهید دایرکتوری “Download” ایندکس نشود و در فایل robots.txt آن را به صورت “download” می نویسید، این باعث اشتباه ربات موتور جستجو خواهد شد.
6. اگر می خواهید تمام صفحات و دایرکتوری سایت شما ایندکس شوند ، رکوردهای زیر را قرار دهید :

   User-agent: *
   Disallow:

7. اما اگر می خواهید هیچ یک از صفحات و دایرکتوری سایت شما ایندکس نشوند ، رکوردهای زیر را قرار دهید :

   User-agent: *
   Disallow:/

    

پس از ویرایش از طریق FTP فایل robots.txt  را در روت یا صفحه اصلی دایرکتوری سایت خود آپلود کنید.

فایل robots.txt برای وردپرس :

شما می توانید فایل robots.txt وردپرس خود را با ورود به اکانت FTP سرور ویرایش کنید و یا در داشبورد وردپرس از پلاگین هایی مانندRobots meta برای ویرایش این فایل استفاده کنید. موارد دیگری هم وجود دارند که به همراه آدرس sitemap باید در فایل robots.txt اضافه شوند. اضافه کردن آدرس sitemap کمک می کند تا موتور جستجو برای پیدا کردن آن در سایت شما و ایندکس کردن صفحات سریع تر عمل کند.

در اینجا یک فایل robots.txt نمونه را مشاهده میکنید:

sitemap: http://www.shoutmeloud.com/sitemap.xml
User-agent:  *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /archives/
disallow: /*?*
Disallow: *?replytocom
Disallow: /wp-*
Disallow: /author
Disallow: /comments/feed/
User-agent: Mediapartners-Google*
Allow: /
User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Mobile
Allow: /

هم اکنون تغییراتی در فایل robots.txt خود ایجاد کرده اید و باید مطالبی که تحت تاثیر آپدیت این فایل قرار گرفته اند را بررسی کنید. شما می توانید از ابزار گوگل وب مستر ” Fetch as bot tool ” برای بررسی در دسترس بودن مطالب توسط فایل robots.txt استفاده کنید.

موفق و پیروز باشید.

راستی! برای دریافت مطالب جدید در کانال تلگرام یا پیج اینستاگرام سورس باران عضو شوید.