با سلام. در این مطلب آموزش کامل بهینه سازی فایل robots.txt برای سیستم وردپرس را برای دوستان عزیز سورس باران به اشتراک گذاشته ایم. فایل robots.txt در وردپرس، نقش مهمی در سئو و رتبه بندی موتور جستجو دارد. این فایل به شما کمک می کند که از ایندکس کردن و خزیدن رباتهای موتور جستجو در بخش هایی از سایت خود جلوگیری کنید . هر چند، گاهی اوقات ممکن است پیکربندی اشتباه فایل robots.txt سایت شما را کاملا از دسترس موتورهای جستجو خارج کند . بنابراین، این مهم است که پس از انجام تغییرات ، فایل robots.txt به خوبی بهینه سازی شود و دسترسی به بخش مهم سایت شما را مسدود نکند. فایل robots.txt کمک می کند تا ربات موتور جستجو به صفحاتی که باید ایندکس کند هدایت شود. هنگامی که ربات یا اسپایدر موتور جستجو برای ایندکس صفحات به سایت شما وارد میشود ابتدا به دنبال فایل robots.txt میگردد و مسیر این فایل را برای ایندکس کردن صفحات وب سایت شما دنبال خواهد کرد . اگر از وردپرس استفاده میکنید ، فایل robots.txt را میتوانید در روت وردپرس خود بیابید . در وب سایت های استاتیک، اگر این فایل توسط شما یا برنامه نویس وب سایت تان ایجاد شده باشد، آن را در پوشه روت خود پیدا خواهید کرد. در غیر اینصورت میتوانید با استفاده از notepad به سادگی یک فایل ایجاد کرده و با نام robots.txt آن را ذخیره کنید . سپس این فایل را با استفاده از FTP به دایرکتوری روت دامنه خود ارسال کنید.
جهت مشاهده آموزش کامل بهینه سازی فایل robots.txt برای سیستم وردپرس به ادامه مطلب مراجعه نمایید.
آموزش بهینه سازی فایل robots.txt وردپرس :
ایجاد فایل robots.txt :
همانطور که قبلا ذکر شد، robots.txt به طور کلی نام یک فایل متنی است. بنابراین، اگر این فایل را در وب سایت خود نداشته باشید، با استفاده از ویرایشگر متن مورد نظر خود (به عنوان مثال: notepad ) آن را با یک یا چند رکورد ایجاد کنید. هر رکورد حاوی اطلاعات مهمی برای موتور جستجو است. به عنوان مثال:
User-agent: googlebot Disallow: /cgi-bin
اگر این خط در فایل robots.txt نوشته شود ، اجازه می دهد ربات گوگل همه صفحات سایت شما را به جز پوشه cgi-bin در دایرکتوری روت ایندکس کند. این بدان معناست که ربات گوگل ، پوشه cgi-bin را ایندکس نخواهد کرد . با استفاده از گزینه Disallow شما می توانید هر ربات و یا اسپایدر موتور جستجو را برای ایندکس کردن هر صفحه یا پوشه محدود کنید. سایت های بسیاری هستند که این فایل را به گونه ای تنظیم میکنند که پوشه Archive و یا صفحاتی که حاوی محتوای تکراری هستند ایندکس نشوند.
وارد کردن نام ربات موتور جستجو :
اگر می خواهید بازدید کنندگان زیادی از موتورهای جستجو داشته باشید، باید به هر ربات جستجو اجازه دهید صفحات سایت شما رو ایندکس کنند. مطابق مثال زیر با قرار دادن مقدار * برای User-agent به هر ربات جستجو اجازه ایندکس صفحات را خواهید داد :
User-agent: * Disallow: /cgi-bin
نکات مهم :
- در فایل robots.txt از comment استفاده نکنید.
- در ابتدای هر خط و یا بین حروف هر کلمه خط فاصله قرار ندهید. به عنوان مثال:
غلط :
User-agent: * Dis allow: /support
صحیح :
User-agent: * Disallow: /support
- قواعد و ترتیب دستورات را تغییر ندهید:
غلط :
Disallow: /support User-agent: *
صحیح :
User-agent: * Disallow: /support
- اگر می خواهید چند پوشه توسط موتور های جستجو ایندکس نشود، آنها را به صورت پشت سر هم قرار ندهید :
غلط :
User-agent: * Disallow: /support /cgi-bin /images/
صحیح :
User-agent: * Disallow: /support Disallow: /cgi-bin Disallow: /images
- از حروف بزرگ وکوچک به درستی استفاده کنید، به عنوان مثال شما می خواهید دایرکتوری “Download” ایندکس نشود و در فایل robots.txt آن را به صورت “download” می نویسید، این باعث اشتباه ربات موتور جستجو خواهد شد.
- اگر می خواهید تمام صفحات و دایرکتوری سایت شما ایندکس شوند ، رکوردهای زیر را قرار دهید :
User-agent: * Disallow:
- اما اگر می خواهید هیچ یک از صفحات و دایرکتوری سایت شما ایندکس نشوند ، رکوردهای زیر را قرار دهید :
User-agent: * Disallow:/
پس از ویرایش از طریق FTP فایل robots.txt را در روت یا صفحه اصلی دایرکتوری سایت خود آپلود کنید.
فایل robots.txt برای وردپرس :
شما می توانید فایل robots.txt وردپرس خود را با ورود به اکانت FTP سرور ویرایش کنید و یا در داشبورد وردپرس از پلاگین هایی مانندRobots meta برای ویرایش این فایل استفاده کنید. موارد دیگری هم وجود دارند که به همراه آدرس sitemap باید در فایل robots.txt اضافه شوند. اضافه کردن آدرس sitemap کمک می کند تا موتور جستجو برای پیدا کردن آن در سایت شما و ایندکس کردن صفحات سریع تر عمل کند.
در اینجا یک فایل robots.txt نمونه را مشاهده میکنید:
sitemap: http://www.shoutmeloud.com/sitemap.xml User-agent: * Disallow: /cgi-bin/ Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/ Disallow: /archives/ disallow: /*?* Disallow: *?replytocom Disallow: /wp-* Disallow: /author Disallow: /comments/feed/ User-agent: Mediapartners-Google* Allow: / User-agent: Googlebot-Image Allow: /wp-content/uploads/ User-agent: Adsbot-Google Allow: / User-agent: Googlebot-Mobile Allow: /
هم اکنون تغییراتی در فایل robots.txt خود ایجاد کرده اید و باید مطالبی که تحت تاثیر آپدیت این فایل قرار گرفته اند را بررسی کنید. شما می توانید از ابزار گوگل وب مستر ” Fetch as bot tool ” برای بررسی در دسترس بودن مطالب توسط فایل robots.txt استفاده کنید.
موفق و پیروز باشید.
راستی! برای دریافت مطالب جدید در کانال تلگرام یا پیج اینستاگرام سورس باران عضو شوید.
- انتشار: ۲ شهریور ۱۳۹۴
دسته بندی موضوعات
- آموزش برنامه نویسی
- آموزش کریپتو کارنسی (ارز دیجیتال)
- آموزش متنی برنامه نویسی
- پروژه برنامه نویسی
- فروشگاه
- فیلم های آموزشی
- #F
- ++C
- 3ds max
- Ada
- ADO.NET
- Adobe Flash
- Agile
- Ajax
- AngularJS
- Anime Studio
- apache
- ARM
- Asp.Net
- ASP.NET MVC
- assembly
- AVR
- Azure
- Bootstrap
- Cassandra
- CCNA
- CCNP
- CCSP
- ChatGPT
- Cisco
- CMD
- COBOL
- CSS
- Cython
- Django
- Dreameaver
- Elixir
- EntityFramework
- Erlang
- Flash
- Go
- Groovy
- Haskell
- Htaccess
- HTML
- IOS
- Jade
- jquery
- Kendo UI
- Linq
- Linux
- LUA
- MariaDB
- maya
- Meteor
- MongoDB
- Mono Android
- MonoGame
- Mysql
- NoSQL
- Oracle
- Orchard
- Perl
- php
- PHPMyAdmin
- R
- Rational Rose
- Ruby
- Rust
- Scala
- Scrum Master
- SFML
- SharePoint
- SignalR
- silver light
- SQL Server
- Stimulsoft Reports
- Telerik
- UML
- VB.NET&VB6
- Vue 3
- WPF
- Xml
- آردوینو
- آموزش های پروژه محور
- آیونیک
- اتوکد
- الگوریتم تقریبی
- الگوریتم نویسی و فلوچارت
- امنیت
- اندروید
- اندروید استودیو
- انیمیشن سازی
- بازی سازی با Scratch
- بک ترک
- بیسیک فور اندروید
- پایتون
- پرولوگ
- پریمیر
- جاوا
- جاوا اسکریپت
- جنگو
- جوملا
- دارت
- دلفی
- دوره های رایگان پیشنهادی
- زامارین
- سئو
- ساخت CMS
- ساخت اتوران
- ساختمان داده ها
- سی شارپ
- شبکه و مجازی سازی
- طراحی الگوریتم
- طراحی بازی
- طراحی وب
- فتوشاپ
- فریم ورک codeigniter
- فلاتر
- کاتلین
- کامپایلرها
- کانستراکت
- کریستال ریپورت
- کلوژر
- گوگل آنالیتیکس
- گیت
- لاراول
- مای بی بی
- مایکروسافت پروجکت
- متریال دیزاین
- متلب
- معماری کامپیوتر
- مهندسی اینترنت
- میکروتیک
- نود جی اس
- نیوک
- هوش مصنوعی
- ویبولوتین
- ویژوال استودیو
- یونیتی
- کتاب های آموزشی
- Ada
- Ajax
- Android
- ASP.NET
- ASP.NET Core
- AVR
- clips
- CNC
- COBOL
- CQRS
- Cython
- Dreamweaver
- Elixir
- Entity Framework 4.0
- Erlang
- Go
- Groovy
- Haskell
- LINQ
- Lua
- Matlab
- MFC
- Node.js
- PERL
- php
- PLC
- Prolog
- React
- Rust
- Scala
- SFML
- SharePoint
- silver light
- VHDL
- VMware
- WinJS
- Workflow
- WPF
- XHTML
- Yii Framework
- اتوکد
- اچ تی ام ال
- اسمبلی
- اکتیو ایکس
- الگوریتم و فلوچارت
- انگولار
- اوبونتو
- اوراکل
- بازی سازی
- بانک اطلاعاتی
- برنامه نویسی سوکت
- برنامه نویسی موبایل
- بک ترک
- پاسکال
- پایان نامه
- پایتون
- پرولوگ
- جاوا
- جاوا اسکریپت
- جی کوئری
- حوملا
- داده کاوی
- دلفی
- رباتیک
- روبی
- زبان ماشین
- سئو
- ساختمان داده ها
- سایر کتاب ها
- سخت افزار
- سوئیفت
- سی اس اس
- سی پلاس پلاس
- سی شارپ
- سیستم عامل
- سیستم های خبره
- شبکه و مجازی سازی
- شبیه سازی کامپیوتر
- طراحی الگوریتم
- فتوشاپ
- فریم ورک گتنا
- کاتلین
- کالی لینوکس
- کریستال ریپورت
- گزارش کارآموزی
- گوگل
- لیسپ
- متلب
- مقاله
- مهندسی نرم افزار
- نیوک
- هوش مصنوعی
- وب مستر
- ویژوال بیسیک
- نرم افزار و ابزار برنامه نویسی
- وردپرس
سلام چرا فایل آموزشی رو جهت دانلود نذاشتید
سلام. کل توضیحات ذکر شده